sigmoid와 ReLU는 같은 z를 다른 값과 기울기로 바꾼다
가중합 z를 바꾸면 두 함수의 출력과 도함수 값, 곡선 위의 위치가 함께 바뀐다.
은닉층의 ReLU를 빼면 두 층이 하나의 선형식으로 줄어 XOR을 틀린다
은닉층의 활성함수를 바꾸면 네 XOR 관측의 은닉값, 출력 점수, 올바른 분류 수가 바뀐다. 가중치는 h₁ = g(x₁ + x₂), h₂ = g(x₁ + x₂ − 1), s = h₁ − 4h₂ − 0.5로 같다.
활성함수(activation function)는 은닉 유닛의 가중합 z를 비선형으로 변환한다. 비선형 활성함수가 없으면 층을 여러 번 합성해도 하나의 선형식 wᵀx + b로 줄어든다.
가중합 z를 바꾸면 두 함수의 출력과 도함수 값, 곡선 위의 위치가 함께 바뀐다.
은닉층의 활성함수를 바꾸면 네 XOR 관측의 은닉값, 출력 점수, 올바른 분류 수가 바뀐다. 가중치는 h₁ = g(x₁ + x₂), h₂ = g(x₁ + x₂ − 1), s = h₁ − 4h₂ − 0.5로 같다.