오분류하거나 경계 위에 있는 관측에서만 가중치가 바뀐다
관측 순서를 고르고 한 단계씩 진행하면 현재 관측의 점수 s, 판정 yᵢsᵢ, 갱신된 w와 b, 결정 경계가 바뀐다. 초기값은 w = (0, 0), b = 0이다.
경사하강법과 퍼셉트론은 갱신 방향을 구하는 방법이 다르다
두 방법 모두 매개변수를 반복해서 바꾸지만 갱신 기준, 시점, 방향이 다르다.
| 항목 | 경사하강법 | 퍼셉트론 학습 규칙 |
|---|---|---|
| 갱신 기준 | 목적함수의 그래디언트 | 현재 관측의 yᵢsᵢ ≤ 0 |
| 갱신 시점 | 각 반복 | 오분류 또는 경계 위 |
| 방향 | −∇J | yᵢxᵢ |
| 곱하는 계수 | 학습률 η | 학습률 1 |
퍼셉트론은 자료 전체 목적함수의 그래디언트를 계산하지 않는다. 틀린 관측 하나의 정답 부호와 특성 벡터를 그대로 더해 그 관측의 점수를 정답 부호 쪽으로 움직인다. 이 갱신은 그 관측의 손실 −yᵢsᵢ에 학습률 1을 적용한 확률적 경사하강법 한 단계와 같다.