인공지능 정리 [본론4] :: 딥러닝의 시작

딥러닝의 시작

이러한 multi-layer 의 forward-propagation 과정을 식으로 나타내보면,

h1 = f(x11*w11+x12*w21)

net = h1*w13+h2*w23 = f(x11*w11+x12*w21)*w13+f(x11*w12+x12*w22)*w23

여기서 f 즉, activation fuction이 linear한 function이라고 가정해보자.

그렇다면 f(x) = ax의 형태이므로,

net = x11*a(w11*w13+w12*w23)+x12*a(w21*w13+w22*w23)

으로 나타낼 수 있다. 그리고 이러한 net은 가장 처음에 주어진 input layer에다가 상수를 곱한 꼴이므로 one-layer로 나타낼 수 있다. 즉, 여러 개의 layer를 거쳤음에도 쉬운 문제로 변형하지 못하고 똑같은 결과를 내었다.

따라서, multi-layer perceptron에서는 non-linear 함수를 activation function으로 사용해야한다.

activation function(활성화 함수)

종류

sigmoid function

앞서 사용한 hard limiting 활성화 함수와 마찬가지로 thresholding 특성이 있다.

이와 동시에 연속 함수이다.

미분하기 좋다.

multi-layer perceptron을 만들기 위해서 non-linear 함수를 사용해야하며, 앞서 설명한 미분의 방식으로 w를 학습하려면 미분 가능한 함수여야 하기 때문에 sigmoid 함수는 적절하다.

마찬가지로 적절한 함수는 다음과 같다.

• sigmoid
• tanh
• LReLU
• ReLU