Labels, Structure, Rewards

Actions and Rewards


강화학습(reinforcement learning)에서 에이전트는 상태를 바탕으로 행동을 고르고, 환경은 상태를 바꾸며 보상(reward)을 돌려준다. 보상은 곧바로 올 수도, 여러 행동 뒤에 올 수도 있다.

상태 sₜ와 행동 aₜ시점 t의 상황과 그때 에이전트가 고른 행동이다.
보상 rₜ선택한 행동의 결과를 평가하는 수치다.
지연된 보상여러 번 행동한 뒤에야 관측되는 보상이다.

보상 기준에 따라 보상이 관측되는 시점이 달라진다

보상 기준과 시점 t를 바꾸면 해당 시점의 상태, 행동, 보상이 바뀐다.

상자 하나가 한 시점의 상태, 행동, 사용자 반응, 보상이다. 초록 상자가 현재 시점 t이고 흐린 상자는 아직 일어나지 않은 시점이다.

같은 클릭 기록도 쓰임에 따라 출력 y 또는 보상이 된다

클릭 기록의 쓰임을 바꾸면 그 기록이 맡는 역할, 학습 목표, 기록이 주는 정보가 바뀐다.

상자는 클릭 기록이 학습에 들어가는 순서다. 파란 상자는 모델이나 에이전트가 받는 값, 초록 상자는 클릭 기록이 맡는 역할이다.