[DL] AutoGrad (수정중)

배경

신경망(NN: Neural Network)은 입력에 대해 실행되는 함수들의 모음이다. 이 함수들은 Tensor로 저장되는, 가중치(Weight)와 편향(Bias)으로 구성된 매개변수들로 정의된다. 

 

신경망 학습 (2단계)

- Forward Propagation ( 순전파 ) : 신경망은 최선의 추측을 위해 입력데이터를 각 함수들에서 실행

- Backward Propagation ( 역전파 ) : 추측한 값에서 발생한 오류에 비례하여 (틀린 예측에 더 큰 가중치를) 매개변수들을 조절. 출력으로부터 역방향으로 이동하면서 오류에 대한 함수들의 매개변수의 미분값(gradient)을 수집하고, 경사하강법(gradient descent)을 사용하여 매개변수들을 최적화