인공지능 정리 [본론7] :: 깊어진 인공신경망의 문제점?

깊어진 인공신경망의 문제점

Generalization

: training에 사용되지 않은 data에 대한 성능

Data set

1. Training set

   training에 사용하는 data set

2. Validation set

   주어진 data set 중 빼놓았다가 성능을 검증할 때 사용하는 data set

3. Test set

   주어지지 않았던 접한 적 없는 data set

 

 학습이 training set으로 진행되기 때문에, 학습을 반복할 수록 training set에 대한 정확도는 높아지고 오류율은 낮아진다. 하지만 validation set에 대한 오류율은 낮아지다가 높아지는 현상을 띄는데, 이는 학습이 너무 training set에만 적합하게 되었기 때문이다. 이를 training set에 overfitting(과적합)되었다고 한다.

 이처럼 주어진 data 뿐만 아니라 아직 학습해보지 않은 data들도 성능상 안정적으로 결과를 낼 수 있는 인공신경망을 만들기 위해서는 모델과 학습 데이터 수의 관계를 적절히 맞추어야 한다.

 여기서 우리 교수님이 드신 예를 활용하자면, 머리가 좋은 학생에게 (성능이 좋은 모델에게) 적절한 수의 문제와 답안지를 주고 문제를 풀라고 하면 (training data) 답을 다 외워서 문제지를 풀 수 있다. 하지만 이 학생은 다른 문제가 주어졌을 때 풀지 못할 것이다 (Overfitting). 그런데 만약 이 학생에게 외우지 못할 정도로 많은 문제와 답안지를 준다면 문제를 외우지 못하기 때문에 푸는 방법을 익힐 것이다. 그러면 이 학생은 다른 문제가 주어졌을 때도 풀 수 있다.

 결국 모델의 성능에 비해서 주어진 학습 데이터 수가 적으면 이 모델은 너무 쉬워서 다 외워버린다. (Overfitting 되어버린다.) 따라서 성능에 비해 더 많은 학습 데이터 수를 주어야 적절한 학습을 이룰 수 있다.

 

deep neural network의 문제점

우리는 이제 깊은 인공신경망에서도 back propagation을 통해 weight를 학습할 수 있게 되었다. 하지만 문제가 있다.

1. 방금 설명한 Overfitting 문제

   data를 많이 모아도 부족하다면 어떻게 해야할까?

   성능을 줄여야한다. (weight 수 줄이기)

2. 기울기 소실 문제

   weight를 학습하기 위해 미분을 구하는 과정에서 계속 activation function의 미분 값이 곱해지게 된다. sigmoid 함수의 미분 값은 0과 1사이 이므로 작은 수가 계속 곱해져서 결국 표현할 수 있는 범위를 넘어서게 되고 값이 0이 되는 (기울기가 소실되는) 문제가 이것이다.

   기울기가 1이상인 activation function을 사용해야한다.

3. local minimum 문제

   error의 최소값을 찾아야하는 문제에서 극소값에 빠져서 더이상 움직이지 않는 이 문제는 앞선 파트에서 그래프로 설명할 때 발견했다.

   이 문제는 주어진 data를 그룹으로 나누어서 학습하는 방식으로 해결 가능하다.

 

기울기 소실 문제

해결 방법

1. Bottom-up layerwise unsupervised pre-training

   층마다 bottom-up 방식으로 학습

2. ReLU

   activation 함수 바꾸기

3. Gradient Flow

   output에서의 미분 값이 이전의 어떤 layer로 흐르는 통로를 만들어서 여러 단계를 안 거치게 해줌

Bottom-up layerwise unsupervised pre-training

unsupervised pre-training

여러 학습법에서 label이 있는 학습 data가 부족할 때, 없는 데이터를 이용해서 사전학습(unsupervised pre-training)시키고 이후에 label이 있는 data를 이용해 supervised fine-tuning하는 방법을 쓴다.

 

Greedy layer-wise training

작은부분을 차례로 학습하는 fine-tuning 방법을 사용, AE(AutoEncoder) 상에서 동작

기존에는 기대값과 실제 출력값의 차를 역전파 시키는 지도학습을 행했지만, AE에서는 입력과 실체 출력값의 차를 이용한다. (역전파 방식은 비슷)

hidden layer가 여러 층일때는 층 별로 탐욕스럽게(Greedy) 학습을 시킨다.

참고 : https://m.blog.naver.com/PostView.nhn?blogId=laonple&logNo=220884698923&proxyReferer=https%3A%2F%2Fwww.google.com%2F

ReLU (Rectified linear unit)

Residual(나머지) net

Gradient flow를 위한 통로를 만들어 깊은 층을 구현할 수 있음

양쪽으로 가는 기울기를 더해서 사용함

입력(x)과 출력(f(x))을 함께 내도록(f(x)+x) 학습됨

층별로 독립적으로 생각할 수 있으므로 몇 개의 층만 제대로 동작하면 정상적으로 작동함