신경망을 학습시켰을 때 가장 실망스러운 순간은 목적함수에 따른 손실값이 줄지 않을 때이다. 그런데 이것의 원인이 될 수 있는 후보는 너무나도 많다! 문제가 데이터인지, 코딩 모듈인지, 모델인지, 이론인지 하나씩 다 경험적으로 확인해봐야 한다. 블랙박스를 다루고 있으므로 우리는 답도 보이지 않는 끔찍한 디버깅의 심연 속으로 빠지곤 한다. 하지만 만약 당신의 신경망의 출력을 까보았을 때, 출력값이 타겟의 평균에 수렴하고 있다면 희망이 있다. 이는 배치 사이즈가 충분히 크지 않기 때문일 수도 있다! 보통 손실값이 줄지 않는 경우 신경망의 출력을 까보게 된다. 많은 경우, 이 신경망은 정답의 평균값을 내고 있다. 이는 우리가 오지선다에서 3번으로 그냥 찍어버리는 것에 비유할 수 있다. 신경망의 입장에서는 도저히..

연구/정보 2021. 10. 22. 01:26

신경망의 경사하강법은 통계다. 모든 입력과 출력 데이터가 구비되면, 입력에 대한 신경망 출력과 실제 출력 데이터와의 어떠한 '손실'을 계산한다. 이 손실에 미치는 신경망을 구성하는 개별 파라미터들의 '영향'으로 파라미터들을 갱신한다. 한 스텝씩 천천히 이 과정을 밟아가면 신경망의 출력은 점차 구비된 데이터의 출력에 점차 다가갈 것이다. 이론적으로는 그렇다. 하지만 실제로 경사하강법은 그렇게 동작하지 않는다. 컴퓨터는 한계를 가진다. 우리는 모든 입출력 데이터를 한 번에 신경망에게 계산시킬 수 없다. GPU 메모리가 부족하기 때문이다. 그래서 우리는 데이터를 구획한 '미니배치'를 구성한다. 우리가 하강시키고 있다는 그 경사는 사실은 '구비된 데이터에 대한 경사'가 아니다. 그 경사는 바로 '미니 배치에 대..

연구 2021. 3. 12. 02:55