관측 하나의 그래디언트는 전체 그래디언트와 다를 수 있다
같은 θ에서 고른 관측을 바꾸면 그 관측의 그래디언트 성분 gᵢ와 η = 0.1일 때의 갱신 방향, 전체 평균과의 차이가 바뀐다.
뽑은 그래디언트를 많이 모을수록 평균의 흔들림이 줄어든다
같은 θ에서 무작위로 뽑은 gᵢ들의 누적 평균은 추출 횟수 k가 늘수록 전체 그래디언트 1 주변에서 덜 흔들리는 경향이 있다. 한 추출 순서에서 k가 늘 때마다 1에 더 가까워지는 것은 아니다.
확률적 경사하강법(stochastic gradient descent, SGD)은 무작위로 고른 관측 하나의 그래디언트로 매개변수를 갱신한다. 한 번의 추정은 흔들리지만, 같은 확률로 뽑으면 그 기댓값은 전체 그래디언트와 같다.
같은 θ에서 고른 관측을 바꾸면 그 관측의 그래디언트 성분 gᵢ와 η = 0.1일 때의 갱신 방향, 전체 평균과의 차이가 바뀐다.
같은 θ에서 무작위로 뽑은 gᵢ들의 누적 평균은 추출 횟수 k가 늘수록 전체 그래디언트 1 주변에서 덜 흔들리는 경향이 있다. 한 추출 순서에서 k가 늘 때마다 1에 더 가까워지는 것은 아니다.