Labels, Structure, Rewards

Learning Problems


같은 추천 서비스의 기록에서도 무엇을 알아내려는지에 따라 학습 문제(learning problem)가 달라진다. 학습 문제는 가진 자료와 학습 목표로 정해진다.

자료입력과 함께 기록된 값의 종류다.
목표새 출력 예측, 비슷한 대상 찾기, 행동 선택 가운데 하나다.
판정 순서출력 예측, 행동 선택, 구조 탐색의 순서로 확인한다.

같은 추천 기록도 목표에 따라 다른 학습 문제가 된다

학습 목표를 바꾸면 기록의 각 열이 맡는 역할과 학습에 필요한 값이 바뀐다.

사용자항목상황사건시각
사용자 017항목 B모바일, 저녁클릭20:14
사용자 017항목 C모바일, 저녁건너뜀20:15
사용자 204항목 B웹, 아침건너뜀08:31
표는 추천 기록 세 건이다. 둘째 머리행은 고른 목표에서 각 열의 역할이며, 파란 칸은 모델이 받는 값, 초록 칸은 학습 기준이 되는 값이다.

학습 유형은 출력, 행동, 구조의 순서로 판정한다

사례를 바꾸면 세 질문 가운데 처음으로 ‘예’라고 답하는 질문과 학습 유형이 바뀐다.

1. 출력?학습 자료에 관측된 y가 있고 새 y를 예측하는가
2. 행동?행동으로 보상을 높이는가
3. 구조?집단이나 새 표현을 찾는가
세 상자는 판정 순서다. 초록 상자가 처음으로 ‘예’라고 답한 질문이고, 흐린 상자는 확인할 필요가 없어진 뒤 단계다.