가중치의 영향은 경로 위 국소 미분의 곱이다
뉴런 하나 z = wx, a = g(z), L = ½(a − 1)²에서 w, x, 활성함수를 바꾸면 세 국소 미분과 그 곱, 중앙차분으로 잰 값이 함께 바뀐다.
δ를 한 번 구하면 모든 가중치와 절편의 미분에 재사용한다
x = (1, 2, −1), w = (0.5, 0.5, −0.5), 정답 y = 1인 ReLU 뉴런에서 절편 b를 바꾸면 z의 부호와 δ, 네 매개변수의 미분이 함께 바뀐다.
연쇄법칙(chain rule)은 가중치가 손실에 미치는 영향을 가중합, 활성함수, 손실의 국소 미분으로 나누어 곱한다. 출력 쪽에서 구한 δ = ∂L/∂z를 한 번 계산하면 모든 가중치와 절편의 미분에 다시 쓴다.
뉴런 하나 z = wx, a = g(z), L = ½(a − 1)²에서 w, x, 활성함수를 바꾸면 세 국소 미분과 그 곱, 중앙차분으로 잰 값이 함께 바뀐다.
x = (1, 2, −1), w = (0.5, 0.5, −0.5), 정답 y = 1인 ReLU 뉴런에서 절편 b를 바꾸면 z의 부호와 δ, 네 매개변수의 미분이 함께 바뀐다.