깊어진 인공신경망의 문제점 Generalization : training에 사용되지 않은 data에 대한 성능 Data set Training set training에 사용하는 data set Validation set 주어진 data set 중 빼놓았다가 성능을 검증할 때 사용하는 data set Test set 주어지지 않았던 접한 적 없는 data set 학습이 training set으로 진행되기 때문에, 학습을 반복할 수록 training set에 대한 정확도는 높아지고 오류율은 낮아진다. 하지만 validation set에 대한 오류율은 낮아지다가 높아지는 현상을 띄는데, 이는 학습이 너무 training set에만 적합하게 되었기 때문이다. 이를 training set에 overfitting(..

딥러닝의 시작 이러한 multi-layer 의 forward-propagation 과정을 식으로 나타내보면, h1 = f(x11*w11+x12*w21) net = h1*w13+h2*w23 = f(x11*w11+x12*w21)*w13+f(x11*w12+x12*w22)*w23 여기서 f 즉, activation fuction이 linear한 function이라고 가정해보자. 그렇다면 f(x) = ax의 형태이므로, net = x11*a(w11*w13+w12*w23)+x12*a(w21*w13+w22*w23) 으로 나타낼 수 있다. 그리고 이러한 net은 가장 처음에 주어진 input layer에다가 상수를 곱한 꼴이므로 one-layer로 나타낼 수 있다. 즉, 여러 개의 layer를 거쳤음에도 쉬운 문제로 ..