Gradients | Machine Learning | Pusan National University

그래디언트 ∇J(∂J/∂θ₁, ∂J/∂θ₂)이며 함수가 가장 빠르게 커지는 방향을 가리킨다.

방향 변화 ∇J·d방향 d로 조금 움직일 때 J의 1차 변화다.

접선 방향∇J와 내적이 0인 방향은 1차 변화가 없다.

같은 점에서 방향에 따라 1차 변화가 달라진다

J(θ₁, θ₂) = θ₁² + 2θ₂²에서 점과 이동 방향을 바꾸면 그래디언트, 방향 벡터, 두 벡터의 내적과 변화 방향이 함께 바뀐다.

θ₁ 1

θ₂ 1

이동 방향 d

회색 타원은 J가 같은 점을 이은 등고선이다. 짙은 실선 화살표는 ∇J, 초록 점선 화살표는 고른 방향 d다. 둘 다 방향만 보이도록 길이를 고정했고, 두 방향이 같을 때도 겹쳐 가리지 않게 d를 더 짧게 그렸다.

점 (1, 1)에서 그래디언트 (2, 4)와 직교하는 방향 d = (2, −1)로 0.1만큼 움직인다.

시작(1, 1), J = 3

작은 이동0.1 × (2, −1)

도착(1.2, 0.9), J = 3.06

세 카드는 시작점, 이동량, 도착점과 각 점의 함수값이다.

1차 근사는 0.1 × ∇J·d = 0.1 × (2·2 + 4·(−1)) = 0이지만 실제 변화는 3.06 − 3 = 0.06이다. 직교 방향에서는 선형 항만 0이 되고 유한한 이동에서는 이차항이 남는다.