Notice
Recent Posts
Recent Comments
«   2024/03   »
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
Tags
more
Archives
Today
Total
관리 메뉴

임베디드에서 서버까지

[머신 러닝] Cross-Entropy 미분 본문

Machine Learning

[머신 러닝] Cross-Entropy 미분

코딩 라이언 2018. 9. 30. 19:39

크로스 엔트로피(Cross Entropy)를 사용하면 Cost function을 미분할 때, Sigmoid의 영향을 제거하면서 수식을 간단하게 할 수 있다.


결과적으로, 역전파 알고리즘(Backpropagation)에서 Gradient를 구하는 과정이 뺄셈연산으로 간소화 된다.


유도과정은 아래와 같다. (Activation Function을 Sigmoid로 사용했을 경우를 예로 사용하였다.)