Activation Function(활성화함수)

활성화함수는 입력값을 받아 비선형의 출력값을 낸다.
이는 신경망을 더 여러 겹을 쌓을 수 있게 해준다.


1. Sigmoid (시그모이드 함수)
수식: $ \sigma (x)=\frac{1}{1+e^{−x}}$
​범위: 0과 1 사이
특징: 이진 분류 문제의 출력 계층에서 주로 사용됩니다.

2. Hyperbolic Tangent (하이퍼볼릭 탄젠트 함수)
수식: $tanh(x)=\frac{e^x −e^{−x}}{e^x +e^{−x}}$
범위: -1과 1 사이
특징: 시그모이드 함수와 비슷하나, 더 넓은 출력 범위를 가집니다.

3. ReLU (Rectified Linear Unit)
수식: $f(x)=max(0,x)$
범위: 0 이상
특징: 음수를 0으로 만들고, 양수는 그대로 전달합니다. 계산 효율이 좋고, 깊은 네트워크에서 잘 작동합니다.

4. Leaky ReLU
수식: $f(x)=max(αx,x)$ (여기서 α는 작은 상수, 예: 0.01)
특징: ReLU의 변형으로, 음수 값에 대해 작은 기울기를 부여하여 죽은 뉴런 문제를 완화합니다.

5. Softmax
수식: 다중 클래스 분류 문제에 사용되며, 각 클래스에 대한 확률을 출력합니다.
특징: 출력 계층에서 주로 사용되며, 각 출력은 0과 1 사이이고, 전체 합은 1이 됩니다.




There is a list of activation functions commonly used:
Binary
Linear
Sigmoid
Tanh
ReLU
Leaky ReLU (LReLU)
Parametric ReLU (PReLU)
Exponential Linear Unit (eLU)
ReLU-6
Softplus
Softsign
Softmax
Swish

---

1.Binary

2.Sigmoid

3.Tanh

4.ReLU

5. Leaky ReLU

6.Softmax

 

 

 

 

 

참고

---

What is activation function ?_towardsdatascience