활성화 함수의 종류

1. 활성화 함수 인공신경망에서 입력받은 데이터를 다음층으로 어떻게 출력할지를 결정

2. 종류 2.1 비선형 함수 1) sigmoid 0~1

2) Tanh -1~1

3) Relu(Recitified Linear Unit, 경사함수) 음수일 때는 0, 양수는 x

4) Leaky Relu x값이 음수일 때는 입력값의 10분의 1만을 출력

5) Identity Function 입력값의 가중핪을 그대로 출력

6) Maxout 두 개의 W와 b 중에서 큰 값이 나온 것을 사용