Stochastic Gradient Descent¶ 앞서 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 더 훈련하는 방식을 점진적 학습이라고 한다. 점진적 학습의 대표적인 알고리즘이 확률적 경사 하강법(Stochastic Gradient Descent, SGD)이다. SGD는 전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 골라 Loss function을 가장 빠르게 줄이는 방법을 찾는다. 이런 방식으로 훈련 세트를 한 번 모두 사용하는 과정을 epoch라고 한다. 일반적으로 경사 하강법은 수십, 수백 번의 epoch를 사용한다. mini-batch gradient descent는 딱 하나가 아니라 여러 개의 샘플을 사용해 경사 하강법을 수행하는 것을 뜻한다. batch ..
