DeepMind에서 오늘 알람이 떠서 알게된 따끈따끈한 논문입니다. 한달 전인 2월 24일에 아카이브에 올라왔더군요. 논문링크: arxiv.org/abs/2102.12425 본 논문은 강화학습의 원초적 이슈인 Long-term credit assignment 문제를 해결하는 방법을 다룹니다. *Long-term credit assignment: Delayed reward 환경에서 발생하는 문제를 말합니다. 에이전트가 어떠한 적절한 행동을 취하여 desirable한 상태를 얻었음에도, 그에 대한 보상이 한참 후에 주어진다면 적절한 행동을 강화하는 데 장애가 됩니다. 설령 그 적절한 행동이 작업을 성공하는 정말 결정적인 행동이었다 하더라도, 해당 행동에 높은 기여도를 부여(credit assignment)하..

연구/페이퍼리뷰 2021. 3. 24. 17:59

RL WITH NEURAL NETWORKS The best way to train neural networks is to iteratively give them a batch of samples randomly sampled (i.i.d. in ideal) from a sufficient amount of input-output data pairs. As a nonlinear global function approximator, neural networks rapidly finds a way to mapping certain input with matched output during training. Once this intput-output matching is accomplished, the gene..

사색/인지과학적 사유 2021. 1. 25. 06:26

MODEL-BASED VERSUS MODEL-FREE RL In reinforcement learning, by looking at the big picture, there typically exist two types of algorithm: model-free, or model-based. Their common goal is to make the agent find the best policy to gain highest cumulative rewards in the given environments. Stacking interactions with environment, the agent can learn how to act, approximating the expected future rewar..

사색/인지과학적 사유 2021. 1. 1. 00:57

강화학습에 유전 알고리즘을 적용하는 연구를 하고 있는데 한 가지 의문스러웠던 점은 돌연변이(mutation)가 그렇게 중요한 영향을 끼칠까 하는 것이었다. 초기에 돌연변이 확률을 10% 정도로, 돌연변이 확률 감퇴율을(mutation decay) 99%로(매 세대마다 돌연변이 확률이 원래의 확률에서 99%로 감소한다.) 설정하고 별로 신경을 쓰지 않고 있었다. 실험을 하는데, 세대를 거쳐가며 적합도가 천천히 높아지기보단 확 높아졌다가 다시 낮아졌다가 다소 들쑥날쑥한 모습을 자꾸 보여줘서 이리 저리 파라미터를 변경하고 있었다. 그런데 문득 눈에 들어오는 것이 돌연변이였다. 돌연변이를 아예 없애버리면 어떨까? 결과는 놀라웠다. 세대가 아무리 지나도 성능이 정말 하나도 개선이 안 되는 것이다. 돌연변이 확률에..

사색/인지과학적 사유 2020. 10. 11. 15:38