임베디드에서 서버까지
[머신 러닝] Cross-Entropy 미분 본문
크로스 엔트로피(Cross Entropy)를 사용하면 Cost function을 미분할 때, Sigmoid의 영향을 제거하면서 수식을 간단하게 할 수 있다.
결과적으로, 역전파 알고리즘(Backpropagation)에서 Gradient를 구하는 과정이 뺄셈연산으로 간소화 된다.
유도과정은 아래와 같다. (Activation Function을 Sigmoid로 사용했을 경우를 예로 사용하였다.)
'Machine Learning' 카테고리의 다른 글
| Accuracy, Recall, Precision, F1 Score (0) | 2018.12.08 |
|---|---|
| 베이즈 정리 이해 (Bayes' theorem) (0) | 2018.12.07 |
| 베이즈 정리 증명 (Bayes' theorem) (0) | 2018.12.06 |
| [머신 러닝] Back Propagation 계산 과정 (0) | 2018.10.03 |
| [머신 러닝] Sigmoid 미분 (0) | 2018.09.30 |
'Machine Learning' Related Articles
more
