목록2018/09 (2)
임베디드에서 서버까지
[머신 러닝] Cross-Entropy 미분
크로스 엔트로피(Cross Entropy)를 사용하면 Cost function을 미분할 때, Sigmoid의 영향을 제거하면서 수식을 간단하게 할 수 있다. 결과적으로, 역전파 알고리즘(Backpropagation)에서 Gradient를 구하는 과정이 뺄셈연산으로 간소화 된다. 유도과정은 아래와 같다. (Activation Function을 Sigmoid로 사용했을 경우를 예로 사용하였다.)
Machine Learning
2018. 9. 30. 19:39