부산대학교기계학습개론
Scientific Inference Lab

Stacking the Layers

Hidden Layers

은닉층(hidden layer)은 입력의 가중합에 활성함수를 적용해 새로운 중간값 h = g(W₁x + b₁)를 만든다. 은닉 좌표에서는 입력 공간에서 직선으로 나뉘지 않던 관측도 직선으로 나뉠 수 있다.

은닉 유닛z = wᵀx + b를 계산하고 h = g(z)로 변환한 값 하나다.
W₁의 모양K × p이며 행 하나가 은닉 유닛 하나의 가중치 벡터다.
구조 하이퍼파라미터층 수와 유닛 수는 학습 전에 정하고 검증 성능으로 고른다.

은닉층을 지나면 XOR 관측이 직선으로 나뉘는 좌표로 옮겨진다

h₁ = ReLU(x₁ + x₂), h₂ = ReLU(x₁ + x₂ − 1)로 고정하고 관측을 고르면 입력 좌표와 은닉 좌표에서의 위치, 출력 점수가 함께 강조된다.

입력 좌표XOR 네 점은닉 좌표은닉층을 지난 네 점
왼쪽은 입력 좌표 (x₁, x₂), 오른쪽은 은닉 좌표 (h₁, h₂)다. 빈 원은 정답 +1, 채운 원은 −1이며 점선 원이 고른 관측이다. 오른쪽 짙은 직선은 출력 s = h₁ − 4h₂ − 0.5의 경계이고, 초록 칠이 +1 쪽이다.

유닛 수와 입력 수가 매개변수 수를 정한다

입력 특성 수 p와 은닉 유닛 수 K를 바꾸면 W₁의 모양, 연결 수, 출력이 하나인 신경망의 매개변수 수 pK + K + K + 1이 바뀐다.

완전 연결 신경망p→K→1 구조
왼쪽 열은 입력, 가운데 열은 은닉 유닛, 오른쪽은 출력 하나다. 선 하나가 가중치 하나이며, 은닉 유닛과 출력 원마다 절편이 하나씩 있다.