deep neural network에서의 backpropagation backpropagation 원래 backpropagation(역전파)는 학습 방식이 아니라 perceptron에서 loss function의 기울기를 계산하는 알고리즘을 뜻하지만, 넓은 의미에서는 기울기를 이용한 학습 방식으로 쓰인다. 참고 : https://en.wikipedia.org/wiki/Backpropagation delta rule https://en.wikipedia.org/wiki/Delta_rule delta rule의 정의와 증명 delta rule은 backpropagation 방법 중 하나이다. delta rule은 왜 multi-layer에서 사용할 수 없는가... 본론5에서와 같이 처음에는 신경망학습에서 d..

신경망의 원리 이제 multi-layer perceptron을 이용할 수 있게 되었지만, 정확히 구동시키기 위해 알아야할 것이 있다. 주어진 input을 가지고 계산을 해서 output을 낼 수는 있지만, output 값이 주어진 정답과 다를 때 학습하는 기능을 아직 구현하지 못했다. 여기서 학습이란 w값을 조정하는 것을 말한다. w값을 조정하는 학습을 하기 위해서는 랜덤, 조금씩 옮겨보기 의 방식보다는 미분을 사용하는 것이 좋다. w에 대한 Error의 미분값을 구한 후 반대쪽으로 일정치만큼 움직여야 하므로 Error를 w의 식으로 나타낼 수 있어야 하고, 조정되는 w의 값을 이와 관련하여 표현할 수 있어야한다. 결국 error를 줄이기 위해 w값을 조정하는 과정에 error에 대한 w의 미분값이 필요..