임베디드에서 서버까지

[머신 러닝] Cross-Entropy 미분 본문

Machine Learning

[머신 러닝] Cross-Entropy 미분

코딩 라이언 2018.09.30 19:39

크로스 엔트로피(Cross Entropy)를 사용하면 Cost function을 미분할 때, Sigmoid의 영향을 제거하면서 수식을 간단하게 할 수 있다.


결과적으로, 역전파 알고리즘(Backpropagation)에서 Gradient를 구하는 과정이 뺄셈연산으로 간소화 된다.


유도과정은 아래와 같다. (Activation Function을 Sigmoid로 사용했을 경우를 예로 사용하였다.)


2 Comments
댓글쓰기 폼