DL 스터디 - 신경망 & 활성화 함수

▷ 밑바닥부터 시작하는 딥러닝 p64 -78

 

1   신경망

 

 

0층 : 입력층

1층 : 은닉층

2층 : 출력층

 

→ 2층 신경망 (가중치를 갖는 층은 2개뿐)

 

편향을 명시한 퍼셉트론

 

 

 

↓

간결한 형태로 표현

 

 

 

---

2    활성화 함수 h(x)

 

h(x) : 입력 신호의 총합을 출력 신호로 변환하는 활성화 함수 

 

                 

---

   

 

「 2단계로 처리」

 

1.    가중치가 곱해진 입력 신호의 총합 a 를 계산

2.      그 합을 활성화 함수에 입력해 결과 y 출력

 

 

활성화 처리 과정 명시 (노드 a ,y)

 

 

 

 

퍼셉트론에서는 활성화 함수로 계단 함수를 이용한다

 

계단 함수 (step function) : 임계값을 경계로 출력이 바뀜

 

계단 함수 이외의 함수를 사용하면 어떻게 될까?

▼

신경망의 세계 !

 

---

3    시그모이드 함수   sigmoid function

신경망에서 자주 이용하는 활성화 함수

sigmoid function

 

퍼셉트론과 신경망의 주된 차이 : 활성화 함수 !

 

 

(차이점)

• 시그노이드 함수: 부드러운 곡선이며 입력에 따라 출력이 연속적으로 변화   ★
• 계단 함수 : 0을 경계로 출력이 갑자기 바뀜

 

(공통점)

• 입력이 아무리 작거나 커도 출력은 0에서 1 사이
• 비선형 함수    ★

 

---

신경망에서 선형 함수를 이용하면 안되는 이유? 

신경망의 층을 깊게 하는 의미가 없어지기 때문

---

 

선형 함수의 문제 : 층을 아무리 깊게 해도 '은닉층이 없는 네트워크'로도 똑같은 기능을 할 수 있음

 

ex) h(x) = c x 를 활성화 함수로 사용한 3층 네트워크 

y(x) =c × c × c × x 

→  y(x) = a x    

&       a = c^3

 

 

∴ 층을 쌓는 혜택을 얻고 싶다면 활성화 함수로 비선형 함수를 이용해야 함

 

---

4    ReLU 함수   Rectified Linear function

신경망에서 최근 자주 이용하는 활성화 함수

 

입력이 0을 넘으면 그 입력을 그대로 출력

0 이하면 0을 출력