신경망의 경사하강법은 통계다. 모든 입력과 출력 데이터가 구비되면, 입력에 대한 신경망 출력과 실제 출력 데이터와의 어떠한 '손실'을 계산한다. 이 손실에 미치는 신경망을 구성하는 개별 파라미터들의 '영향'으로 파라미터들을 갱신한다. 한 스텝씩 천천히 이 과정을 밟아가면 신경망의 출력은 점차 구비된 데이터의 출력에 점차 다가갈 것이다. 이론적으로는 그렇다. 하지만 실제로 경사하강법은 그렇게 동작하지 않는다. 컴퓨터는 한계를 가진다. 우리는 모든 입출력 데이터를 한 번에 신경망에게 계산시킬 수 없다. GPU 메모리가 부족하기 때문이다. 그래서 우리는 데이터를 구획한 '미니배치'를 구성한다. 우리가 하강시키고 있다는 그 경사는 사실은 '구비된 데이터에 대한 경사'가 아니다. 그 경사는 바로 '미니 배치에 대..

연구 2021. 3. 12. 02:55