개념 확인: Outputs, Structure, and Rewards

배달 앱에 주문마다 가게, 주문 시각, 거리, 배정한 기사, 실제 배달 시간(분)이 기록되어 있다. 다음 목표를 지도학습, 비지도학습, 강화학습 가운데 하나로 판정하고 직접적인 근거를 적는다.

1. 과거 주문의 실제 배달 시간을 출력으로 사용해 새 주문의 배달 시간을 예측한다.
2. 정답 출력 없이 시간대별 주문 패턴이 비슷한 가게끼리 묶는다.
3. 새 주문이 들어올 때마다 기사를 배정하고, 그 배정 뒤 배달이 늦지 않으면 +1, 늦으면 −1을 받아 배정 방법을 배운다.

마지막으로, 세 목표가 모두 ‘배달’이라는 같은 응용인데 학습 유형이 다른 이유를 한 문장으로 적는다.

호출어가 실제로 포함된 음성 구간 i에 대해 자료에는 y⁽ⁱ⁾ = 1이 기록되어 있다. 모델은 호출어가 없다고 판단해 ŷ⁽ⁱ⁾ = 0을 냈다.

1. y⁽ⁱ⁾와 ŷ⁽ⁱ⁾ 가운데 자료에서 관측한 값과 모델이 계산한 값을 각각 고른다.
2. 두 값의 차이를 손실 ℓ(y⁽ⁱ⁾, ŷ⁽ⁱ⁾)로 평가하는 이유를 설명한다.
3. 모델이 틀렸다고 해서 y⁽ⁱ⁾를 0으로 고치면 안 되는 이유를 적는다.

호출어 인식 자료의 일곱 번째 행에 다음 값이 있다. ‘포함’은 1, ‘미포함’은 0으로 표시한다.

• 음성 구간의 파형에서 만든 특성: (0.2, −0.1, 0.7)
• 사람이 확인한 호출어 포함 여부: 포함
• 모델의 현재 예측: 미포함

1. 이 행의 입력 x⁽⁷⁾과 관측된 출력 y⁽⁷⁾을 적어 학습 사례 (x⁽⁷⁾, y⁽⁷⁾)를 만든다.
2. 모델의 현재 예측이 이 짝의 출력 자리에 들어가지 않는 이유를 적는다.
3. 출력 y를 얻는 방법 세 가지(측정·사람의 판정·이후 결과 기록) 가운데 이 자료는 어느 방법인지 적는다.

창고 로봇이 교차로에서 현재 카메라 화면을 보고 ‘오른쪽 이동’을 선택했다. 이동 직후 선반과 부딪히지 않아 보상 +1을 받고, 오른쪽 통로가 보이는 새 화면을 관측했다.

1. 이 한 단계에서 현재 상태, 행동, 보상, 다음 상태를 각각 찾는다.
2. 행동이 자료에 미리 붙어 있는 정답이 아니라 로봇이 선택한 값인 이유를 적는다.
3. 이 로봇이 ‘목표 선반에 도착하면 +10’만 받는다면, 오른쪽 이동을 선택한 시점에 그 선택의 보상을 바로 알 수 있는지 적고, 이런 보상을 무엇이라 하는지 적는다.

한 음악 서비스가 사용자의 ‘끝까지 들음’ 사건을 두 방식으로 사용한다.

• 방식 A: 과거 곡의 특성과 ‘끝까지 들음/중간에 멈춤’을 짝지어 새 곡의 완주 여부를 예측한다.
• 방식 B: 서비스가 다음 곡을 선택한 뒤 사용자가 끝까지 들으면 +1, 중간에 멈추면 0의 피드백을 받으며 곡 선택을 배운다.

1. 각 방식을 지도학습과 강화학습 가운데 하나로 판정한다.
2. 같은 사건이 A에서는 출력 y, B에서는 보상으로 쓰이는 차이를 ‘무엇을 배우는가’에 초점을 두어 설명한다.
3. ‘완주 여부는 곡이 끝난 뒤에야 알 수 있으니 A도 강화학습이다’라는 주장을 판단한다.