깊어진 인공신경망의 문제점 Generalization : training에 사용되지 않은 data에 대한 성능 Data set Training set training에 사용하는 data set Validation set 주어진 data set 중 빼놓았다가 성능을 검증할 때 사용하는 data set Test set 주어지지 않았던 접한 적 없는 data set 학습이 training set으로 진행되기 때문에, 학습을 반복할 수록 training set에 대한 정확도는 높아지고 오류율은 낮아진다. 하지만 validation set에 대한 오류율은 낮아지다가 높아지는 현상을 띄는데, 이는 학습이 너무 training set에만 적합하게 되었기 때문이다. 이를 training set에 overfitting(..

deep neural network에서의 backpropagation backpropagation 원래 backpropagation(역전파)는 학습 방식이 아니라 perceptron에서 loss function의 기울기를 계산하는 알고리즘을 뜻하지만, 넓은 의미에서는 기울기를 이용한 학습 방식으로 쓰인다. 참고 : https://en.wikipedia.org/wiki/Backpropagation delta rule https://en.wikipedia.org/wiki/Delta_rule delta rule의 정의와 증명 delta rule은 backpropagation 방법 중 하나이다. delta rule은 왜 multi-layer에서 사용할 수 없는가... 본론5에서와 같이 처음에는 신경망학습에서 d..

딥러닝의 시작 이러한 multi-layer 의 forward-propagation 과정을 식으로 나타내보면, h1 = f(x11*w11+x12*w21) net = h1*w13+h2*w23 = f(x11*w11+x12*w21)*w13+f(x11*w12+x12*w22)*w23 여기서 f 즉, activation fuction이 linear한 function이라고 가정해보자. 그렇다면 f(x) = ax의 형태이므로, net = x11*a(w11*w13+w12*w23)+x12*a(w21*w13+w22*w23) 으로 나타낼 수 있다. 그리고 이러한 net은 가장 처음에 주어진 input layer에다가 상수를 곱한 꼴이므로 one-layer로 나타낼 수 있다. 즉, 여러 개의 layer를 거쳤음에도 쉬운 문제로 ..

weight의 변화 1. 랜덤 실습 one-layer perceptron weight를 랜덤으로 학습하는 퍼셉트론 만들기 input, weight 갯수는 입력받기 output은 1개로 고정 /* 2020-01-28 W.HE one-layer perceptron */ #include #include #include main() { /* variable set */ int input_num; float* input; float* w; float output = 0; float answer = 3; int try_num = 0; /* input input_num */ printf("enter number of inputs\n"); scanf_s("%d", &input_num); /* memory allocat..

인공지능의 목표 classifier 찾기 패턴 인식 여러가지 형태의 input이 f(x) 함수를 거쳐 output 으로 분류되는 것 여기서 f(x)가 classifier input ( feature ) => Classifier => Classes AI의 목표는 결국, 여러 input을 분류해 줄 분류기를 찾는 것이다. 이러한 인공지능에는 여러 종류가 있다. 인공지능의 종류 지도학습 문제지 + 정답지 => 패턴 찾기 비지도학습 데이터를 군집화하여 스스로 정답을 학습 위의 2가지 방법은 data를 주어야 학습 가능 강화학습 스스로 행동 ( 사람이 특징을 추출해 줄 필요가 없음 ) 다양한 방식으로 학습할 수 있음 신경망 학습 : 인간의 뉴런을 본땀 HW의 성능이 안 좋았던 시기에는 별로였으나 최근 두각을 나타..

인공지능이란? Artificial Intelligence 즉, 학습하는 컴퓨터 학습이란? 경험에서 나온 패턴을 가지고 다음 행동을 결정하는 것 즉, 주어진 특징을 가지고 일정한 결과를 내는 것 인공지능을 배우는 이유? ( 응용 분야 ) 영상 처리 자율주행 자동차 영상 탐색 음성 / 자연어 처리 인공지능 비서 번역기 빅데이터 추천 보안 인식기 금융 인공지능의 역사 1956년 John McCarthy가 용어 처음 사용 1980~90년대에 멀티 레이어 퍼셉트론이 나옴 2006년에 딥러닝 시작 15년 쯤 된 딥러닝