[비전검사 시리즈 28편] False OK / False NG 줄이는 방법 – AI 비전검사 정확도를 높이는 핵심 전략
AI 비전검사를 운영하다 보면 가장 많이 듣는 질문이 있습니다.
"왜 AI가 불량을 정상으로 판단하거나, 정상 제품을 불량으로 판정할까요?"
이러한 문제는 AI 비전검사의 신뢰성을 떨어뜨리는 가장 큰 원인입니다.
특히 제조업에서는 잘못된 판정 하나가 고객 불만, 생산성 저하, 재검사 비용 증가로 이어질 수 있기 때문에 False OK와 False NG를 최소화하는 것이 매우 중요합니다.
이번 글에서는 False OK와 False NG의 개념부터 발생 원인, 그리고 실제 현장에서 효과적으로 줄이는 방법까지 자세히 알아보겠습니다.
False OK와 False NG란?
AI 비전검사에서는 판정 결과를 크게 네 가지로 구분할 수 있습니다.
- True OK : 정상 제품을 정상으로 판정
- True NG : 불량 제품을 불량으로 판정
- False OK : 불량 제품을 정상으로 판정(미검출)
- False NG : 정상 제품을 불량으로 판정(오검출)
가장 위험한 것은 False OK입니다.
불량 제품이 그대로 출하될 수 있기 때문입니다.
반면 False NG는 정상 제품을 불량으로 판단하는 경우로, 재검사와 생산성 저하를 유발합니다.
False OK가 발생하는 원인
False OK는 AI가 불량을 발견하지 못하는 경우입니다.
대표적인 원인은 다음과 같습니다.
- 불량 데이터 부족
- 작은 불량 학습 부족
- 조명 변화
- 카메라 초점 문제
- 라벨링 오류
- 불량 형태가 다양하지 않음
예를 들어 미세한 스크래치 이미지를 충분히 학습하지 않았다면 실제 생산라인에서도 해당 불량을 놓칠 가능성이 높아집니다.
False NG가 발생하는 원인
False NG는 정상 제품을 불량으로 판단하는 경우입니다.
대표적인 원인은 다음과 같습니다.
- 배경 노이즈
- 조명 반사
- 먼지
- 카메라 흔들림
- 과도한 민감도 설정
- 정상 데이터 부족
실제로 금속 표면의 빛 반사를 불량으로 인식하는 사례는 제조업에서 매우 자주 발생합니다.
Precision과 Recall의 관계
False OK와 False NG를 이해하려면 Precision과 Recall을 함께 알아야 합니다.
Precision(정밀도)
AI가 불량이라고 판단한 것 중 실제 불량의 비율입니다.
Precision이 높을수록 False NG를 줄이는 데 유리합니다.
Recall(재현율)
실제 불량 중 AI가 찾아낸 비율입니다.
Recall이 높을수록 False OK를 줄이는 데 유리합니다.
현장에서는 두 지표를 균형 있게 관리하는 것이 중요합니다.
Recall만 높이면 오검출이 증가할 수 있고, Precision만 높이면 미검출이 증가할 수 있습니다.
False OK를 줄이는 방법
1. 다양한 불량 데이터 확보
AI는 다양한 불량을 학습해야 새로운 유형도 인식할 수 있습니다.
불량 종류가 많을수록 검출 성능은 향상됩니다.
2. 작은 불량 집중 학습
현장에서는 미세한 불량이 가장 많이 누락됩니다.
작은 Scratch, Crack, Hole 등을 충분히 포함해야 합니다.
3. 이미지 해상도 향상
카메라 해상도가 낮으면 작은 불량이 제대로 보이지 않습니다.
필요한 경우 더 높은 해상도의 카메라를 사용하는 것도 좋은 방법입니다.
4. 조명 최적화
AI보다 먼저 개선해야 하는 것이 조명입니다.
균일한 조명 환경은 검출률 향상에 큰 영향을 줍니다.
5. 지속적인 재학습
새로운 불량이 발생하면 데이터를 추가하고 다시 학습해야 합니다.
False NG를 줄이는 방법
정상 데이터 충분히 확보
정상 제품도 다양한 환경에서 촬영해야 합니다.
AI는 정상의 범위를 충분히 알아야 합니다.
데이터 정제
먼지,오염,카메라 흔들림,초점 불량등의 데이터를 제거하면 오검출이 감소합니다.
적절한 Confidence Threshold 설정
YOLO와 같은 객체 검출 모델은 Confidence 값을 조정할 수 있습니다.
Threshold가 너무 낮으면 False NG가 증가하고,
너무 높으면 False OK가 증가할 수 있습니다.
현장 환경에 맞는 최적값을 찾는 것이 중요합니다.
후처리(Post Processing)
OpenCV와 함께 사용하는 경우
- 면적 필터
- 원형도 검사
- 길이 검사
- 위치 검사
등을 함께 적용하면 불필요한 검출을 줄일 수 있습니다.
데이터 분석이 가장 중요하다
False OK와 False NG를 줄이려면
단순히 AI를 다시 학습하는 것이 아니라
오류 데이터를 분석해야 합니다.
예를 들어
False OK 발생 이미지 → 원인 분석 → 데이터 추가 → 재학습 → 재평가
이 과정을 반복할수록 AI는 더욱 정확해집니다.
현장에서 추천하는 개선 순서
오류 데이터 수집 → False OK 분석 → False NG 분석 → 데이터 추가 → 라벨링 검수 → 재학습 → Threshold 조정
→ 현장 테스트 → 반복 개선
이러한 순환 구조를 구축하면 AI 성능을 지속적으로 향상시킬 수 있습니다.
실패 사례
사례 : 불량 검출률은 높았지만 생산성이 크게 떨어진 이유
한 전자제품 제조업체는 AI 비전검사의 불량 검출률을 높이기 위해 모델의 민감도를 크게 높였습니다.
초기 결과는 만족스러웠습니다. 미세한 불량까지 대부분 검출했기 때문입니다.
하지만 실제 생산라인에서는 새로운 문제가 발생했습니다.
정상 제품까지 불량으로 판정하는 False NG가 급격히 증가하면서 작업자는 수많은 제품을 다시 검사해야 했고, 생산 속도는 크게 감소했습니다.
원인을 분석한 결과, Recall만 높이고 Precision을 충분히 고려하지 않았던 것이 문제였습니다.
이후 다양한 정상 데이터를 추가하고 Confidence Threshold를 최적화했으며, OpenCV 기반의 후처리를 적용했습니다.
그 결과 False NG는 크게 감소했고, 불량 검출률은 유지하면서도 생산 효율을 회복할 수 있었습니다.
교훈
AI 비전검사의 목표는 단순히 불량을 많이 찾는 것이 아니라 False OK와 False NG의 균형을 유지하는 것입니다.
자주 묻는 질문(FAQ)
Q1. False OK와 False NG 중 어느 것이 더 위험한가요?
대부분의 제조업에서는 False OK가 더 위험합니다. 불량 제품이 고객에게 출하될 수 있기 때문입니다. 다만 안전과 생산성을 함께 고려하여 두 지표를 균형 있게 관리해야 합니다.
Q2. False OK를 가장 효과적으로 줄이는 방법은 무엇인가요?
다양한 불량 데이터를 충분히 확보하고, 작은 불량까지 정확하게 라벨링하여 지속적으로 재학습하는 것이 가장 효과적입니다.
Q3. Confidence Threshold는 어떻게 설정해야 하나요?
정답은 없습니다. 생산 환경과 검사 목적에 따라 최적의 값을 찾아야 하며, 테스트 데이터를 이용해 Precision과 Recall의 균형을 확인하는 것이 좋습니다.
Q4. OpenCV를 함께 사용하면 도움이 되나요?
네. AI의 객체 검출 결과에 면적, 위치, 형상 등의 조건을 추가하면 불필요한 검출을 줄이고 검사의 안정성을 높일 수 있습니다.
Q5. False OK와 False NG는 완전히 없앨 수 있나요?
현실적으로 100% 제거하는 것은 어렵습니다. 하지만 데이터 품질 개선, 지속적인 재학습, 적절한 임계값 설정, 후처리 기술을 함께 활용하면 상당 부분 줄일 수 있습니다.
마무리
False OK와 False NG는 AI 비전검사의 성능을 평가하는 가장 중요한 지표입니다.
정확도를 높이기 위해서는 단순히 AI 모델을 변경하기보다 데이터 품질을 개선하고, 다양한 환경을 학습시키며, Precision과 Recall의 균형을 유지하는 것이 중요합니다.
또한 AI만으로 모든 문제를 해결하려 하기보다 OpenCV와 같은 영상처리 기술을 함께 활용하면 더욱 안정적인 검사 시스템을 구축할 수 있습니다.
다음 편에서는 "OpenCV와 YOLO 함께 사용하는 방법"을 주제로 AI와 영상처리를 결합하여 더욱 정확하고 효율적인 비전검사 시스템을 만드는 방법을 소개하겠습니다.