인공지능 정리 [본론5] :: 신경망의 원리

신경망의 원리

이제 multi-layer perceptron을 이용할 수 있게 되었지만, 정확히 구동시키기 위해 알아야할 것이 있다. 주어진 input을 가지고 계산을 해서 output을 낼 수는 있지만, output 값이 주어진 정답과 다를 때 학습하는 기능을 아직 구현하지 못했다. 여기서 학습이란 w값을 조정하는 것을 말한다.

w값을 조정하는 학습을 하기 위해서는 랜덤, 조금씩 옮겨보기 의 방식보다는 미분을 사용하는 것이 좋다.

w에 대한 Error의 미분값을 구한 후 반대쪽으로 일정치만큼 움직여야 하므로 Error를 w의 식으로 나타낼 수 있어야 하고, 조정되는 w의 값을 이와 관련하여 표현할 수 있어야한다.

결국 error를 줄이기 위해 w값을 조정하는 과정에 error에 대한 w의 미분값이 필요한 것이다.

이렇게 기울기의 반대 방향으로 함수에서 가장 가파른 기울기로 내려가는 learning 방법을 steepest descent 라고 한다.

목표 : error 감소

1. training data로 정답과 input 값을 준다.
2. 시스템이 output 값을 낸다.
3. error가 지정한 값 이하인지 판단한다.
   1. 이하라면 학습을 종료한다.
   2. 초과라면 학습 후 시스템을 재구동한다. (2로 돌아가기)

3번이 이제부터 해야할 과제이다.

여기서 문제는

1. error의 기준을 어떻게 정할 것인지 (3)

목표를 식으로 만들어서 충족하도록 하기 위해 필요

2. 학습하는 과정에서 weight 값을 어떻게 조정할 것인지 (3-2)

어느 정도의 이동을 할 것인지 결정하기 위해 필요

1. error의 종류

앞서 사용한 error의 측정은 거리를 이용한 방식이었다.

• Mean squared error

정답과 출력값의 차이를 제곱해서 모든 경우에 대해서 더하고 반으로 나눈다.

2. weight 조정

앞서 이러한 그림을 설명한 적이 있는데, 이 그림을 예제로 학습을 해보도록 하겠다.

먼저, 왼쪽에서 오른쪽으로 흘러가는 이러한 흐름을 forward propagation이라고 한다고 했다.

여기서 x3은 -1로 고정되어 있다고 하자.

이러한 상황에서 w3을 theta라고도 하는데, theta는 layer마다 필요하다.

필요한 이유는 대충 input이 모두 0이어도 net이 0이 아닌 어떤 값을 만족해야하기 때문이며, 나중에 자세히 설명한다.

그 반대로 역흐름을 back propagation이라고 하는데, 이 흐름을 통해 미분을 계산하고 Error에 따라 w를 조정할 수 있게 된다.

즉, forward propagation은 input에 따른 output을 내는 과정이고 back propagation은 error에 따라 w를 조정하는 학습의 과정이다.

방금 전 error까지 배우면서 forward propagation의 방법은 모두 알았으며, 이제는 학습을 위한 back propagation을 배울 차례이다. back propagation은 신경망학습에서 중요한 부분이다.

 

그렇다면 이제 위의 예제에서 w를 조정하는 과정을 나타내보자. 활성화 함수(activation function)는 시그모이드 함수이며, Error는 Mean Squared Error로 계산하는 perceptron이라 가정한다.

 

우선 error에 대한 w의 미분 값을 구해야한다.

이 값과 반대 부호로 w를 움직여야 하며, 이 값을 이용하여 움직일 w값을 결정할 것이기 때문이다.

error를 계산하는 과정에서 w가 많은 함수에 감싸져있으므로, w값에 대한 error의 미분을 바로 구하기는 쉽지 않다. 따라서, 여기서는 미분에서 배웠던 chain rule을 사용하기로 한다.

위의 chain rule을 이용해서 표현하면,

로 나타낼 수 있다.

이므로

은

이다.

 

 

이므로

 

은

이다.

 

 

이므로

 

은 x 이다.

 

 

delta rule

따라서

이고

 

w는 미분 값의 반대로 이동해야 하므로

이렇게 상수 c 값을 붙여 w의 조정 값을 표현할 수 있다.

 

이런 식으로 미분 값에 상수 값만을 곱해서 w값을 조정하는 방법을 delta rule이라고 한다.

여기서 c 는 learning rate라고 불리는 데, 학습의 대상은 아니고 개발자가 미리 지정해주는 값이다.

 

개발자가 미리 정해주는 것

지금까지 배운 것들 중 개발자가 미리 인공지능의 기능을 위해 정해주는 것들이 있다.

Error의 종류, activation function(활성화 함수), learning rate 이다.

 

learning rate

c 즉, learning rate는 크면 w값이 크게 조정되고 작으면 w값이 작게 조정된다.

1. c가 작은 경우

기존과 같이 학습속도가 느리며, local minimum에 빠질 확률이 크다.

2. c가 큰 경우

    

    

learning rate가 크면 w값이 크게 조정된다.

이런 경우에 왼쪽의 그림처럼 local minimum을 피해서 global minimum으로 갈 수 있는 가능성이 생기지만, 오른쪽 그림처럼 진동을 하면서 학습속도가 더 느려질 수도 있다.

따라서 이렇게 개발자가 지정하는 값은 여러가지 경우의 수를 따져가며 계속 바꿔서 가장 최적의 결과가 나오는 경우를 택해야 한다. 즉, 실험적으로 결정해야한다.

 

computational graph

이제 이해를 했지만, 미분 값을 찾는 걸 직관적으로 표현해보고자 한다.

위에서 식으로 계산한 일련의 과정을 그래프로 표현해 둔 것을 computational graph라 한다. 위의 그림을 computational graph로 표현해보자.

우선 error를 계산하기 전인 output까지만 computational graph로 표현하였다.

사용자가 입력한 x값은 x1 = -1, x2 = -2이고 시스템에 의해 랜덤으로 결정된 값이 w1 = 2, w2 = -3, w3 = -3일 때, w값이 어떻게 조정되어야하는지 살펴보자.

forward propagation부터 화살표 위쪽에 표현해보면, 다음과 같다.

이제 back propagation을 계산된 값을 이용해서 표현하여야한다. 우선 처음 적분은 다른 수를 곱할 수 있도록 1로 두고 계산해보자.

해당 그림에서 upstream gradient를 local gradient와 곱하면 downstream gradient가 된다.

이므로 x에 0.73을 넣으면

이다.

 

 

이런 식으로 표현할 수 있고, 이러한 방법으로 계속 표현해보면 다음과 같은 그래프가 나온다. 여기서 계산이 헷갈리는 부분은 아래의 그림을 참고하면 된다.

 

 

error의 w1에 대한 미분값은 -0.2이고 w2에 대한 미분값은 -0.4, w3에 대한 미분값은 0.2임을 알 수 있다. 따라서 이를 이용해서 delta rule의 방식을 적용하면 w들의 조정값들을 아까와 같이 상수 c를 곱해서 표현할 수 있다.

또한 위의 그래프에서 4개의 연산과정은 하나의 sigmoid 함수를 풀어놓은 것인데, 이는 sigmoid 함수의 미분을 안다면 하나의 연산으로 줄여 표현할 수 있다.

 

참고로 sigmoid 함수의 미분식은

이다.

 

따라서

의 f'(net)에 해당 식을 넣으면

 

라고 표현할 수 있다.

 

정리

학습은 특정 input x에 대해서 원하는 output y를 얻도록 weight를 수정하는 것이다.

여기서 weight는 처음에 랜덤으로 지정되었다가 정답과 output의 차이인 error에 의해 수정되는데, error에 대한 w의 편미분 값을 이용하여 그와 반대 방향으로 w값을 조정해야한다.

w를 조정하는 방법 중 하나로 delta rule을 배웠는데, 단순히 편미분 값에 상수 c를 곱하는 방법이다.

여기서 c는 learning rate로 error 측정방법, 활성화함수 같이 개발자가 시스템 구동 전에 정해주어야하는 값인데, 크면 진동을 일으킬 수 있고 작으면 학습이 느리므로 실험적으로 값을 결정해주어야한다.

이러한 과정을 원하는 error 범위가 될 때까지 반복하여 적절한 w의 값을 추출해 내는 것이 신경망학습이다.