임베디드에서 서버까지

forward propagation back propagation 위의 forward propagation을 예제로 back propagation을 계산해본다.미분의 chain rule을 이용하여 gradient가 곱셈연산으로 역방향 전파된다. * Cost function을 사용할 경우 수식이 복잡해지는 관계로 Loss function으로 대체함.Cost function : 전체 샘플에 대한 오차 평균Loss function : 단일 샘플에 대한 오차 1. Cross Entropy + Sigmoid 미분 (http://smwgood.tistory.com/6) 마지막 output layer에 Loss function : cross-entropy와 activation function : Sigmoid 를 사..