인공지능 정리 [부록] :: theta가 필요한 이유

theta가 필요한 이유

위의 그림은 theta가 없을 때의 연산을 나타낸 것이다. 이 때 활성화 함수가 sigmoid라면 입력이 (0,0)일 때 출력이 다른 수가 나오는 경우를 만족할 수 있을까? theta가 없다면 net은 입력이 (0,0)일 때 항상 0이다. 따라서 출력은 sigmoid 함수를 거쳐 항상 1/2 이 나온다.

 

(0,0)의 입력에서 다른 출력이 나오게 하려면 sigmoid 함수를 output축(y축) 방향으로 움직일 수 있어야한다. 이 역할을 위해서 theta는 존재하는 것이다!

net = x1*w1 + x2*x2 + theta , O = f(net) = f(theta) 이므로 theta 만큼 그래프를 net축으로 이동한 것처럼 생각할 수 있다.

 

왼쪽 기존의 sigmoid 함수에서 (0,0) 입력의 출력값은 항상 0.5이다. 여기서 theta 개념을 추가하여 오른쪽 그림처럼 sigmoid 함수를 이동시키면 0.5가 아닌 다른 값이 나올 수 있다.