부산대학교기계학습개론
Scientific Inference Lab

Linear Models

Linear Regression

선형 회귀(linear regression)는 설명변수의 가중합 β₀ + β₁x를 수치 예측값 ŷ로 쓴다. 학습 자료로 계수를 추정한 뒤, 새 입력에 그 계수를 적용해 예측한다.

절편 β₀x = 0일 때의 예측값이며 직선이 세로축과 만나는 높이다.
계수 β₁x가 1 증가할 때의 예측값 변화량이며 직선의 기울기다.
추정과 예측추정은 학습 자료에서 계수를, 예측은 새 입력에서 ŷ를 얻는다.

절편은 직선의 높이를, 계수는 기울기를 정한다

β₀과 β₁을 바꾸면 회귀선의 위치와 기울기, x = 0과 x = 4에서의 예측값이 함께 바뀐다.

회귀선절편과 계수로 정해진 직선
파란 직선은 ŷ = β₀ + β₁x다. 점선은 x = 0에서의 높이 β₀과 x가 3에서 4로 1 늘 때의 예측값 변화 β₁을 표시한다.

추정한 계수를 고정하고 새 입력에 적용하면 예측값이 나온다

새 입력 x₀을 바꾸면 추정한 β̂₀ = 2, β̂₁ = 0.5는 그대로이고 예측값 ŷ₀만 바뀐다.

추정학습 자료 (X, y)→ β̂₀ = 2, β̂₁ = 0.5
입력
예측
왼쪽 상자는 학습 자료로 한 번 끝나는 추정, 파란 상자는 새 입력, 초록 상자는 고정한 계수를 적용한 예측값이다.

설명변수의 단위가 바뀌면 같은 관계라도 계수의 크기가 달라진다

키의 단위와 키 증가량을 바꾸면 계수와 입력 변화량은 달라지지만 예측값 변화는 같다.

두 행은 같은 관계를 cm와 m로 나타낸 모델이다. 초록 테두리 행이 고른 단위다.