[머신러닝] 패턴인식( pattern recognition) - 2

성능평가에 대해서 알아보자

 

 

예를 들어서 패턴 인식 시스템의 성능은 크게 2가지 기준을 가진다.

 

맞춘 샘플, 틀린 샘플, 그리고 기각하는 샘플의 수를 세어 그것을 이용하는 것

 

틀린게 분류하였을 때 발생할 위험을 고려하여 위험 정도를 수치화 하는 것이 중요하다

 

첫 번째 방법으로는 (1,1)과 같이 정의되는 정인식률(correct recognition rate)  기각률(rejection rate), 그리고 오류율(error rate) 를 사용한다.

 

 

이 식에서 N은 테스트 집합의 크기, 즉 테스트 집합이  가진 샘플의 개수이다. 

 

 

**기각이란 시스템이 결과에 자신이 없어 분류를 포기한 경우를 말한다. 

 

 

거의 모든 분류기는 매개 변수를 설정하여 어느 정도 기각할지 조정할 수 있다. 

 

 

정인식률 = c/N

기각률 = r/N

오류율 = e/N

 

이때, c= 맞춤 샘플 수, r = 기각한 샘플 수, e = 틀린 샘플 수 , N = c + r + e

 

 

오류 경향을 더욱 세밀하게 분석할 때 혼동 행렬(confusion matrix)를 사용한다. 

 

++그냥 구분하기 편해서 사용하는 듯 싶다.

 

 

저런 식으로 보기 좋게 하는 것이다.

 

저기서 위험(risk)를 알아보자

 

만약 사과를 분류하자고 해보자. 상/하로 사과의 품질을 분류한다.

상을 하로 분류한 경우와 하를 상으로 분류한 경우가 같을까??

이렇게 잘못 분류했을 시에 손실(loss)가 난다. 하지만 손실은 앞선 2가지 경우는 서로 다를 것이다.

이렇듯 다를 수 있다.

 

그리고 이렇게 됨으로 

잘못된 에러도 정상적으로 분류되었다고 판단되는 경우가 있음을 확인했다.

즉 참이어도 에러가 나는 경우도 있음이 있다.

 

그렇게 되면 새로운 단어가 나온다

거짓 긍정률(flase positive rate), 거짓 부정률(false negative rate)

 

다시 말해서 거짓으로 긍정될 확률, 거짓으로 부정될 확률도 계산할 수 있다.

 

또한 여기서 단어가 또 나온다

정확률(precesion), 재현률(recall)이 나온다.

 

검색된 항목의 개수 중 해당되는 항목의 개수가 정확률을 판단하는 근거가 될 것이고

적합 항목의 개수 중에 해당되는 항목의 개수가 재현률을 판단하는 근거가 될 것이다.

 

다시 말해서 

참인 항목 수 / 참인데 참으로 나온 항목 + 참인데 거짓으로 나온 항목 = 정확률

참인 항목 수 / 참인데 참으로 나온 항목 + 거짓인데 참으로 나온 항목 = 재현률

 

 

 

 

---

 

분류기를 돌려서 학습을 시켰으면 이제 새로운 샘플을 넣어서 train set이 아닌 test set으로 정말 성능을 평가해봐야 한다.

시스템이 테스트 집합에 대해 보여주는 성능을 일반화(generalization) 능력이라고 말한다. 

 

이러한 학습 이전에 모델 선택이 필요하다고 앞서 말했는데

 

모델 선택에서 2가지 원칙이 있다.

 

1. Entitites are not to be multiplied without necessity.

쓸데 없이 복잡하게 하지마라

 

2. All things being equal, the simplest solution tends to be the best one.

모든 것이 같다면 가장 단순한 것이 가장 좋다.

 

 

 

---

 

 

++train set이 많은 경우에는 그 중 일부로 성능을 측정할 수 있다.

이를 validation set(검증 집합)이라고 한다.

 

 

아무튼 합습과 검증 과정을 여러  모델에 반복하고 가장 우수한 모델을 선택하면 되는 것이다.

 

**그러나 현실적으로 그렇게 train set 이 많지 않은 경우가 대부분이다.

그래서 우리는 resampling(재 샘플링)을 한다.

(여기서 cross validation, bootstrap등의 기법이 있다.)