강화학습에 유전 알고리즘을 적용하는 연구를 하고 있는데 한 가지 의문스러웠던 점은 돌연변이(mutation)가 그렇게 중요한 영향을 끼칠까 하는 것이었다.
초기에 돌연변이 확률을 10% 정도로, 돌연변이 확률 감퇴율을(mutation decay) 99%로(매 세대마다 돌연변이 확률이 원래의 확률에서 99%로 감소한다.) 설정하고 별로 신경을 쓰지 않고 있었다.
실험을 하는데, 세대를 거쳐가며 적합도가 천천히 높아지기보단 확 높아졌다가 다시 낮아졌다가 다소 들쑥날쑥한 모습을 자꾸 보여줘서 이리 저리 파라미터를 변경하고 있었다.
그런데 문득 눈에 들어오는 것이 돌연변이였다. 돌연변이를 아예 없애버리면 어떨까?
결과는 놀라웠다. 세대가 아무리 지나도 성능이 정말 하나도 개선이 안 되는 것이다. 돌연변이 확률에 있어서 0과 0.1의 차이는 상당했다.
돌연변이 확률이 0.1 (10%)이 혹시 너무 높은 것은 아닐까 하여 0.01 (1%)까지 낮춰보았다. 그래도 성능은 여전히 개선되었다.
돌연변이의 존재는 그 확률이 얼마나 적든 간에 진화가 일어나느냐 안 일어나느냐를 결정하는 매우 중요한 요인이었다. 실제로 자연계에서 돌연변이는 빈번히 일어난다. 적합도에 유리한 돌연변이가 선택되는 것은 정말 진화가 일어날 수 있도록 해주는 핵심적인 것이었다.
역시 연구는 즐겁다.
Reinforcement Learning: Does 'Model-free' Really Means 'No model'? (6) | 2021.01.01 |
---|---|
Modified Behaviorism (0) | 2020.12.14 |
교사가 움직일 것인가, 학생이 움직일 것인가 (0) | 2020.04.13 |
인간의 의사결정과 확률·통계적 추정 기법 (3) | 2020.02.26 |
진화에 목적은 없다 (3) | 2020.02.17 |
댓글 영역