[통계] 1종 오류와 2종 오류 & 오차행렬(confusion matrix)

1. 정의

위키피디아에 따르면 다음과 같이 정의된다.

1종 오류: 귀무가설이 실제로 참이지만, 이에 불구하고 귀무가설을 기각하는 오류
2종 오류: 귀무가설이 실제로 거짓이지만, 이에 불구하고 귀무가설을 기각하지 못하는 오류

2. 설명

귀무가설은 아무일도 일어나지 않았음을 의미한다. 따라서 다음과 같이 생각할 수 있다.

1종 오류: 실제로는 아무 일도 일어나지 않았지만, 어떤일이 발생했을 것이라고 예측하는 오류
2종 오류: 실제로는 어떤 일이 발생했지만, 아무 일도 일어나지 않았을 것이라고 예측하는 오류

2-1. 예시

몇가지 예시를 들어본다.

화재 경보
- 귀무 가설: 아파트에 불이 나지 않았다.
- 1종 오류: 실제로는 아파트에 불이 나지 않았지만, 화재 경보가 울린 경우
- 2종 오류: 실제로는 아파트에 불이 났지만, 화재 경보가 울리지 않은 경우 

신용카드 사기 탐지
- 귀무 가설: 해당 결제 기록은 사기가 아닐 것이다.
- 1종 오류: 실제로는 사기가 아니지만, 사기라고 예측한 경우
- 2종 오류: 실제로는 사기지만, 사기가 아니라고 예측한 경우

3. 오차행렬 (confusion matrix)

이진 모델의 성능 평가지표인 오차행렬(confusion matrix)와 연관지어 생각할 수 있다.

TP (참 양성): 실제로 참인데, 예측도 참인 경우
FP (거짓 양성): 실제로 거짓인데, 예측은 참인 경우 (1종 오류)
FN (거짓 음성): 실제로 참인데, 예측은 거짓인 경우 (2종 오류) 
TN (참 음성): 실제로 거짓인데, 예측도 거짓인 경우 

3-1. 정확도 (Accuracy)

정확도는 예측이 맞은 경우의 수를 모든 경우의 수로 나눈 값이다. 식은 아래와 같다.

$$
\frac{TP+TN}{TP+FN+FP+TN}
$$

 

다만, 데이터가 편향된 경우에 좋은 지표가 되지 못하기 때문에 재현율, 정밀도, F1-Score 등을 활용한다.

 

3-2. 정밀도 (Precision)

정밀도는 예측을 참이라고 한 경우의 수 중 실제로 참일 확률이다. 따라서 정밀도는 1종 오류와 관련있는 지표이다.

$$
\frac{TP}{TP+FP}
$$

 

3-3. 재현율 (Recall)

재현율은 실제로 참인 것들 중에서 예측을 참이라고 했을 비율이다. 따라서 재현율은 2종 오류와 관련있는 지표이다.

$$
\frac{TP}{TP+FN}
$$

 

3-4. F1-Score

그렇게 F1-Score는 정밀도와 재현율의 조화평균으로 다음과 같이 계산된다. 

$$
\text{F1-Score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}
$$

 

4. Reference

• https://angeloyeo.github.io/2021/01/26/types_of_errors.html

1종 오류와 2종 오류 - 공돌이의 수학정리노트

• https://velog.io/@hyundodo/ML-%EB%B6%84%EB%A5%98%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80-Confusion-Matrix-ROC-AUC

[ML] 분류모델 평가 | Confusion Matrix, ROC AUC