[LG AI] 딥러닝 - BackPropagation

이 수식에서의 로지스틱 과정을 먼저 보자

(순방향)

 

이와 같이 입력값과 가중치 초기값이 설정되었다고 할 때,

최종적으로는 0.73의 값을 출력하게 된다.

 

 

이제 역전파 과정에 대해서 살펴보자

최종함수인 손실함수의 결과값이자 마지막 노드에 해당하는 편미분 값을 일단 1로 설정한다.

최종함수를 그 함수값 자체로 미분하므로써 ​$\frac{dL}{dL}$ 결과값은 항상 1이 된다. ( 사실 이해 못함.. )

 

 

 

첫번째 과정

마지막 수식이었던 ​$\frac{1}{x}$ 을 미분하면 $ -\frac{1}{x^{2}}$ 이 되는데

이전에 순방향에서의 가중치를 보면 1.37를 ​$\frac{1}{x}$에 대입하면 0.73이 된다는 걸 알 수 있다.

 

역전파에서는 미분한 $ -\frac{1}{x^{2}}$에 이전 순방향 가중치 1.37을 대입하면 -0.53의 값이 나오고,

이를 다시 output에 해당하는 편미분 값인 1과 곱하면 -0.53이 나온다.

그럼 이 값이 이제 역전파된 Downstream Gradient값에 해당하게 된다.

이 값은 $ \frac{dL}{dx}$ x로 편미분한 값이 된다.

 

 

두번째 과정

다시 이 과정을 역방향으로 계산해보자

 

x+1 의 수식을 x에 대해서 편미분하면 1이 된다.

순방향가중치에서 입력값이었던 0.37의 값을 편미분한 수식에 대입하면 그대로 1이 나온다. (입력값을 받지 않음)

이를 이전 역전파 값인 -0.53과 곱하면 이 역시 -0.53이 되고, 이는 위 그림의 Downstream Gradient값에 해당하게 된다.

 

 

세번째 과정

이때 사용된 수식은 지수함수 $e^{x}$ 이고, 이를 미분한 식 역시 $e^{x}$ 가 된다.

순방향 가중치였던 -1.00 을 편미분한 수식인 $e^{x}$에 대입하면 0.37이 나오고 ,

이를 이전 역전파 가중치였던 -0.53과 곱하면 -0.20 이 나온다. 이를 다시 역전파 가중치로 둔다

 

 

이런 과정을 반복하다보면

 

최종 결과

 

 

위와 같은 한번의 역전파가 진행되었다. 이를 손실함수의 값이 작아지도록 역전파 알고리즘을 반복한다.