개념 확인: Stochastic Gradient Descent

관측 네 개에서 같은 θ = 2일 때 그래디언트의 한 성분이 g₁ = −3, g₂ = 0, g₃ = 2, g₄ = 5다. 학습률은 η = 0.1이다.

1. 관측을 같은 확률로 하나 고를 때 E[gᵢ]와 전체 그래디언트를 구한다.
2. SGD로 관측 3을 골라 한 번 갱신한 θ와, 배치 경사하강법으로 한 번 갱신한 θ를 구한다.
3. 관측 하나의 그래디언트를 같은 확률로 뽑을 때 그 기댓값이 전체 그래디언트와 같은 이유를 적는다.
4. 같은 θ에서 두 방법의 갱신 방향이 다를 수 있는 이유를 적는다.

관측 n = 50,000개, 특성 p = 100개인 선형 모델이다.

1. 배치 경사하강법, 미니배치 크기 64, SGD의 한 번 갱신 계산량 규모 Bp를 적는다.
2. 미니배치 크기 64일 때 한 에포크의 갱신 횟수와 마지막 묶음의 크기를 적는다.
3. SGD로 한 에포크를 돌면 갱신이 몇 번인지 적는다.
4. 마지막 작은 묶음의 그래디언트를 평균할 때 나누는 수를 적는다.

같은 θ에서 독립적으로 뽑은 관측 그래디언트 한 성분의 분산이 σ² = 36이다.

1. 미니배치 크기 4와 16일 때 평균 그래디언트의 분산을 구한다.
2. B = 16일 때 표준편차를 구하고, B를 네 배로 키우면 표준편차가 몇 배가 되는지 적는다.
3. 미니배치 크기를 크게 할 때 얻는 것과 드는 것을 적는다.
4. 미니배치를 쓰는 이유를 통계적 이유와 계산상의 이유로 나누어 적는다.

미분 가능한 내부 최솟점에서 두 관측의 그래디언트 성분이 −2와 2다.

1. 이 점에서 전체 그래디언트를 구한다.
2. η = 0.5인 SGD가 관측 하나를 고르면 매개변수가 얼마나 움직이는지 적는다.
3. 학습률을 0.05로 줄이면 같은 상황에서 이동량이 얼마가 되는지 적는다.
4. 손실 곡선이 평평해졌다는 사실만으로 최솟값 도달을 보장할 수 없는 이유를 적는다.

1. 두 실험의 손실 곡선을 비교할 때 가로축을 반복 횟수, 에포크, 실행 시간으로 둘 때 각각 고정되는 것과 달라지는 것을 적는다.
2. 범주별로 정렬된 자료를 섞지 않고 미니배치로 자르면 어떤 문제가 생기는지 적는다.
3. 검증 손실의 개선이 멈췄을 때 할 수 있는 대응과, 종료 시점 선택에 쓰지 말아야 할 자료를 적는다.
4. 학습률이 너무 클 때와 너무 작을 때 각각 나타나는 현상을 적는다.