임베디드에서 서버까지

머신러닝에서 모델을 검증할 때, Accuracy, Recall, Precision, F1 Score 등의 방법을 사용한다.예제를 통해 알아보자. # 예제 : 암 진단키트 개발 예제 배경 설명> 우리는 통계적으로 암 발생확률이 0.1% 라고 알려져 있는 가상세계에 살고있다. 이에 암 진단키트를 개발하여 10,000명을 대상으로 임상시험을 하였으며, 실제 암환자 10명 중 8명이 양성반응을 보이는 것을 확인하여 80%의 검출 성능이 있다고 판단했다. 하지만 암이 없는 환자 999명 또한 암으로 진단되어 혼란스러워 했다. 이에 정확도를 계산해보니 전체 표본 10,000명 중 8,999명(암진단 8명 + 암 없음 8,991명)을 제대로 진단했으므로, 암 진단키트는 약 90%의 정확도를 가진다고 결론을 내렸다. ..

지난번 포스팅에서는 조건부 확률을 이용해 베이즈 정리를 유도해 보았다.http://smwgood.tistory.com/14 우선 수식의 의미는 아래와 같으며, 베이즈 정리가 어떻게 쓰이는지는 예제를 통해 알아보자.(본 예제를 precision, recall의 관점에서도 포스팅한 글이 있음 http://smwgood.tistory.com/17) # 예제 : 암 진단키트 개발 예제 배경 설명> 우리는 통계적으로 암 발생확률이 0.1% 라고 알려져 있는 가상세계에 살고 있다. 우리가 개발한 암 진단키트를 테스트했고, 다음과 같이 성능이 평가되었다. (암환자 중 암환자로 진단할 확률 P(B|A) : 80%. 암환자가 아닌 사람을 암환자로 잘못 진단할 확률 P(B|not A) : 10%) 암으로 진단된 사람 중 ..

베이즈 정리는 다음과 같다. 베이즈 정리를 증명해보자. 조건부 확률 P(A|B) 라는 뜻은 P(B) 중 P(A∩B) 이다. 이를 수식로 표현하면 다음과 같다. 이번엔 반대로 P(B|A) 를 살펴보자. 위 두 식에서 분모를 이항하면 아래와 같은 식을 유도할 수 있으며, P(A∩B) 와 P(B∩A) 는 같음으로 연두색처럼 식을 쓸 수 있다. 위 식에서 P(B)를 우변으로 이항하면 베이즈 정리가 증명된다. 다음 포스팅에서는 베이즈 정리의 의미에 대해서 좀 더 자세히 알아볼 예정이다.

forward propagation back propagation 위의 forward propagation을 예제로 back propagation을 계산해본다.미분의 chain rule을 이용하여 gradient가 곱셈연산으로 역방향 전파된다. * Cost function을 사용할 경우 수식이 복잡해지는 관계로 Loss function으로 대체함.Cost function : 전체 샘플에 대한 오차 평균Loss function : 단일 샘플에 대한 오차 1. Cross Entropy + Sigmoid 미분 (http://smwgood.tistory.com/6) 마지막 output layer에 Loss function : cross-entropy와 activation function : Sigmoid 를 사..

크로스 엔트로피(Cross Entropy)를 사용하면 Cost function을 미분할 때, Sigmoid의 영향을 제거하면서 수식을 간단하게 할 수 있다. 결과적으로, 역전파 알고리즘(Backpropagation)에서 Gradient를 구하는 과정이 뺄셈연산으로 간소화 된다. 유도과정은 아래와 같다. (Activation Function을 Sigmoid로 사용했을 경우를 예로 사용하였다.)

Sigmoid 함수는 몫의 법칙을 이용해서 미분을 할 수 있고, 아래와 같이 결과적으로 간단한 수식으로 유도된다.