인공지능 정리 [부록] :: Restricted Boltzmann Machine (RBM)

Restricted Boltzmann machine (RBM)

구성

두개의 층(가시층, 은닉층)으로 구성되어 있는 단일 신경망

심층 신뢰 신경망을 구성하는 요소로 쓰임

각 층의 노드는 다른 층의 노드와 모두 연결되어있고, 같은 층의 노드끼리는 연결x

식으로 계산하면 모든 입력노드를 이용한 식이 은닉층 노드의 값이 됨

대칭 이분 그래프 라고도 불림

비지도학습

학습 중 backward sweep 시 forward sweep 했을 때와 마찬가지로 층간 모든 노드의 연결을 통해서 값이 건너간다. 즉, 가시층의 값은 은닉층의 모든 값을 가중치를 곱해서 더한다. 그 결과 오차는 재구성한 값과 입력값의 차이이다.

forward sweep

w가 주어졌을 때 입력 v에 대한 은닉층 h의 조건부 확률

backward sweep

아직 이해하지 못했음

Deep Belief Networks

RBM을 심층 구조로 만든 네트워크

Greedy layer-wise training 한 후, Supervised fine-tuning하는 방식 사용

 

unsupervised pre-training

여러 학습법에서 label이 있는 학습 data가 부족할 때, 없는 데이터를 이용해서 사전학습(unsupervised pre-training)시키고 이후에 label이 있는 data를 이용해 supervised fine-tuning하는 방법을 쓴다.

 

Greedy layer-wise training

작은부분을 차례로 학습하는 fine-tuning 방법을 사용, AE(AutoEncoder) 상에서 동작

기존에는 기대값과 실제 출력값의 차를 역전파 시키는 지도학습을 행했지만, AE에서는 입력과 실체 출력값의 차를 이용한다. (역전파 방식은 비슷)

hidden layer가 여러 층일때는 층 별로 탐욕스럽게(Greedy) 학습을 시킨다.

 

현재는 많이 사용되지 않는 방법