Forgetting: A Nature of the Neural Learners Catastrophic forgetting is the main deficit of neural networks occurring in the primal properties of learning process. Neural networks cannot memorize in a long term if the things to memorize are absence in the training data coming newly. By the way, there are some needs to forget the past things in some area. For example, when we learned the '+' opera..

사색/인지과학적 사유 2021. 3. 19. 18:32

신경망의 경사하강법은 통계다. 모든 입력과 출력 데이터가 구비되면, 입력에 대한 신경망 출력과 실제 출력 데이터와의 어떠한 '손실'을 계산한다. 이 손실에 미치는 신경망을 구성하는 개별 파라미터들의 '영향'으로 파라미터들을 갱신한다. 한 스텝씩 천천히 이 과정을 밟아가면 신경망의 출력은 점차 구비된 데이터의 출력에 점차 다가갈 것이다. 이론적으로는 그렇다. 하지만 실제로 경사하강법은 그렇게 동작하지 않는다. 컴퓨터는 한계를 가진다. 우리는 모든 입출력 데이터를 한 번에 신경망에게 계산시킬 수 없다. GPU 메모리가 부족하기 때문이다. 그래서 우리는 데이터를 구획한 '미니배치'를 구성한다. 우리가 하강시키고 있다는 그 경사는 사실은 '구비된 데이터에 대한 경사'가 아니다. 그 경사는 바로 '미니 배치에 대..

연구 2021. 3. 12. 02:55