배치 학습과 온라인 학습

머신러닝을 분류하는데 사용하는 다른 기준 : 데이터의 스트림으로부터 점진적으로 학습할 수 있는 지 여부

 

배치학습(Batch learning)

• 점진적 학습 불가
• 가용한 데이터 모두 활용
• 시간과 자원 소모 많음 -> 오프라인 진행
• 제한된 데이터
• 새로운 데이터 학습하려면 맨처음부터 다시 해야 함
• 돈과 자원이 많이 소모됨 -> 큰 데이터는 사용하기 어려움

 

온라인 학습

• 점진적 학습 가능
• 연속적으로 데이터 공급 -> 주가처럼 변화가 많은 데이터

• 데이터 양이 너무 많을 경우
  • out of core 학습을 사용
  • 부분적으로 데이터를 가져와서 점차적으로 학습
  • 오프라인으로 진행됨
• learning rate
  • learning rate = 1/inertia 
  • 관성이 높아지면 새로운 데이터에 대한 감흥이 적어짐.
• 나쁜 데이터가 들어오면 퍼포먼스가 떨어짐
  • 센서고장, 검색엔진 스팸 등
  • 모니터링해서 다시 제대로 작동하던 버전으로 되돌리는 등으로 해결
  • anomaly detection 알고리즘 사용