부산대학교기계학습개론
Scientific Inference Lab

Derivatives and Probability

Derivatives and Probability

함수값의 국소 변화와 관측값의 불확실성을 계산으로 구분한다.

문제 1

간격을 줄여 도함수에 다가가기

J(θ) = (θ − 3)² + 1이고 기준점은 θ = 5다.

  1. h = −1, −0.5, −0.1일 때 평균변화율 [J(5 + h) − J(5)]/h를 계산한다.
  2. 식을 펼치고 기본 미분 공식으로 J′(θ)와 J′(5)를 구한다.
  3. 1의 값들과 2의 값의 관계를 한 문장으로 적는다.
해설 펼치기
  1. J(5) = 5다. h = −1: J(4) = 2, (2 − 5)/(−1) = 3. h = −0.5: J(4.5) = 3.25, (3.25 − 5)/(−0.5) = 3.5. h = −0.1: J(4.9) = 4.61, (4.61 − 5)/(−0.1) = 3.9.
  2. J(θ) = θ² − 6θ + 10이므로 J′(θ) = 2θ − 6 = 2(θ − 3), J′(5) = 4다.
  3. h가 0에 가까워질수록 평균변화율 3, 3.5, 3.9가 J′(5) = 4에 가까워진다. 도함수는 이 극한이다.
문제 2

도함수의 부호와 크기

J(θ) = 3θ² − 12θ + 7이다.

  1. J′(θ)를 구하고 상수항 7이 도함수에 주는 영향을 적는다.
  2. θ = 0, 2, 3에서 J′(θ)를 계산한다.
  3. 각 점에서 J를 줄이려면 θ를 조금 늘려야 하는지 줄여야 하는지 적고, J′(θ) = 0인 점이 1차 근사에서 뜻하는 바를 적는다.
  4. θ = 0과 θ = 3 가운데 같은 작은 변화에 J가 더 크게 변하는 점을 고른다.
해설 펼치기
  1. J′(θ) = 6θ − 12다. 상수의 도함수는 0이라 7은 영향을 주지 않는다.
  2. J′(0) = −12, J′(2) = 0, J′(3) = 6이다.
  3. θ = 0에서는 음수라 θ를 늘리면, θ = 3에서는 양수라 θ를 줄이면 J가 감소한다. θ = 2에서는 1차 근사에서 함수값 변화가 없다.
  4. θ = 0이다. |J′(0)| = 12가 |J′(3)| = 6보다 크다.
문제 3

그래디언트와 작은 변화

J(θ₁, θ₂) = (θ₁ − 1)² + 3θ₂²이고 현재 θ = (3, −1)이다.

  1. 두 편미분과 ∇J(3, −1)을 구한다.
  2. 변화율의 절댓값이 큰 좌표를 고른다.
  3. Δθ = (−0.1, 0.1)ᵀ일 때 ΔJ ≈ ∇Jᵀ Δθ를 계산한다.
  4. 실제 J(2.9, −0.9) − J(3, −1)을 계산해 3의 근사와 비교한다.
  5. θ = (3, −1)을 지나는 등고선과 ∇J(3, −1)의 방향 관계를 적고, 같은 크기의 작은 이동 가운데 J가 가장 빠르게 줄어드는 방향을 적는다.
해설 펼치기
  1. ∂J/∂θ₁ = 2(θ₁ − 1), ∂J/∂θ₂ = 6θ₂이고 ∇J(3, −1) = (4, −6)ᵀ다.
  2. |−6| > |4|이므로 θ₂ 방향이다.
  3. ΔJ ≈ 4(−0.1) + (−6)(0.1) = −0.4 − 0.6 = −1.0이다.
  4. J(3, −1) = 4 + 3 = 7, J(2.9, −0.9) = 3.61 + 2.43 = 6.04라 실제 변화는 −0.96이다. 남은 차이는 이차항에서 온다.
  5. 그래디언트는 그 점을 지나는 등고선의 접선과 직교하며 J가 가장 빠르게 증가하는 방향이다. 가장 빠르게 줄어드는 방향은 −∇J = (−4, 6)ᵀ 방향이다.
문제 4

매개변수와 통계량

부품 하나를 검사해 불량이면 X = 1, 정상이면 X = 0으로 기록한다. 불량일 확률은 p다.

  • 월요일 8개: 0, 1, 0, 0, 1, 0, 0, 0
  • 화요일 8개: 1, 0, 0, 1, 0, 0, 1, 0
  1. 표본공간과 사건 ‘불량’을 적는다.
  2. P(X = 1) = p일 때 P(X = 0)을 p로 적는다.
  3. 두 날의 p̂₈을 계산한다.
  4. p, 각 Xᵢ, p̂₈을 매개변수·관측값·통계량으로 분류하고, 두 날의 p̂₈이 달라도 p가 바뀌었다고 할 수 없는 이유를 적는다.
해설 펼치기
  1. Ω = {불량, 정상}, 사건 ‘불량’은 부분집합 {불량}이다.
  2. 확률의 합이 1이므로 P(X = 0) = 1 − p다.
  3. 월요일 2/8 = 0.25, 화요일 3/8 = 0.375다.
  4. p는 직접 관측되지 않는 매개변수, Xᵢ는 한 번의 검사에서 기록한 관측값, p̂₈은 관측값 8개로 계산한 통계량이다. 관측 수가 적으면 한 번의 결과가 추정값을 크게 바꾸므로 같은 p에서도 날마다 p̂₈이 달라질 수 있다.
문제 5

기댓값과 분산

확률변수 X는 한 게임에서 얻는 점수(점)다.

x−214
P(X = x)0.20.50.3
  1. 𝔼[X]를 계산하고 실제로 나올 수 있는 점수인지 적는다.
  2. 𝔼[X²]과 Var(X)를 계산한다.
  3. 표준편차를 구하고 분산과 표준편차의 단위를 적는다.
해설 펼치기
  1. 𝔼[X] = (−2)(0.2) + 1(0.5) + 4(0.3) = −0.4 + 0.5 + 1.2 = 1.3이다. 1.3점은 나올 수 없는 점수이며, 기댓값은 분포의 중심이라 가능한 값일 필요가 없다.
  2. 𝔼[X²] = 4(0.2) + 1(0.5) + 16(0.3) = 0.8 + 0.5 + 4.8 = 6.1, Var(X) = 6.1 − 1.3² = 6.1 − 1.69 = 4.41이다.
  3. 표준편차는 √4.41 = 2.1이다. 분산의 단위는 점², 표준편차는 점으로 원자료와 같다.
문제 6

관측값을 평균하면

서로 독립이고 분산이 모두 σ² = 36인 관측값 X₁, …, Xₙ의 표본평균 X̄를 계산한다.

  1. n = 4와 n = 9일 때 Var(X̄)와 표준편차를 구한다.
  2. n = 4에서 관측값 하나만 8만큼 커지면 X̄가 얼마나 변하는지 적는다.
  3. 표본평균의 표준편차를 n = 4일 때의 절반으로 줄이려면 관측값이 몇 개 필요한지 구한다.
  4. Var(X̄) = σ²/n을 얻는 두 단계에서 쓰는 성질을 각각 적는다.
해설 펼치기
  1. Var(X̄) = σ²/n이다. n = 4이면 36/4 = 9, 표준편차 3이다. n = 9이면 36/9 = 4, 표준편차 2다.
  2. 각 관측값의 계수가 1/4이므로 8/4 = 2만큼 커진다.
  3. 표준편차는 6/√n이다. 3의 절반 1.5가 되려면 √n = 4, 곧 n = 16이며 이때 분산은 36/16 = 2.25다.
  4. Var(X̄) = (1/n²)Var(ΣXᵢ)는 Var(cX) = c²Var(X)에서, Var(ΣXᵢ) = ΣVar(Xᵢ) = nσ²는 관측값이 서로 독립이라는 조건에서 나온다. 관측값을 4배로 늘리면 분산은 1/4배, 표준편차는 1/2배가 된다.