비전검사 기초 및 실무/AI 비전검사

[비전검사 시리즈 26편] 라벨링(Labeling) 잘하는 방법 – AI 비전검사 정확도를 결정하는 핵심 요소

eins-solutionlab 2026. 7. 11. 13:50

AI 비전검사 프로젝트를 진행하다 보면 많은 사람들이 좋은 AI 모델을 만드는 것이 가장 중요하다고 생각합니다.

하지만 실제 현장에서는 모델보다 더 중요한 것이 있습니다.

바로 라벨링(Labeling) 입니다.

AI는 사람이 만들어 준 데이터를 학습합니다. 즉, 잘못된 라벨을 학습하면 아무리 최신 AI 모델을 사용하더라도 정확한 결과를 얻을 수 없습니다.

실제로 제조업 AI 프로젝트 실패 원인의 상당수는 알고리즘이 아니라 잘못된 라벨링 데이터 때문인 경우가 많습니다.

이번 글에서는 AI 비전검사의 성능을 좌우하는 라벨링 방법과 현장에서 반드시 알아야 할 노하우를 소개합니다.

라벨링(Labeling)이란?

라벨링은 이미지 속 객체나 불량 위치를 AI가 이해할 수 있도록 표시하는 작업입니다.

예를 들어 PCB 검사에서는

  • Scratch
  • Crack
  • Missing
  • Dent
  • Contamination

등의 불량을 사람이 직접 표시해 주는 과정입니다.

AI는 이러한 데이터를 반복적으로 학습하면서 불량 패턴을 이해하게 됩니다.

즉, AI는 사람보다 똑똑한 것이 아니라,사람이 만들어 준 데이터를 그대로 학습하는 시스템입니다.

왜 라벨링 품질이 중요한가?

동일한 AI 모델이라도

  • 좋은 라벨 → 높은 정확도
  • 나쁜 라벨 → 낮은 정확도

라는 결과가 나옵니다.

실제로 데이터 품질이 AI 성능의 대부분을 결정한다고 해도 과언이 아닙니다.

예를 들어 100장의 이미지가 있다고 가정해 보겠습니다.

잘못된 라벨

Scratch인데 Crack으로 표시 → AI는 Scratch와 Crack의 차이를 배우지 못합니다.

Bounding Box가 너무 크게 지정 → 배경까지 함께 학습 → 오검출 증가

Bounding Box가 너무 작음 → 객체 특징 일부만 학습 → 미검출 증가

가장 많이 사용하는 라벨링 방식

① Bounding Box

가장 많이 사용하는 방식입니다.

YOLO 계열에서 주로 사용합니다.

장점

  • 빠른 작업
  • 학습 속도 우수
  • 대부분 산업용 검사 적용 가능

단점

  • 객체 모양을 정확히 표현하지 못함

② Polygon

객체의 외곽선을 따라 라벨링합니다.

장점

  • 정확도 높음
  • 복잡한 형상 표현 가능

단점

  • 작업 시간이 오래 걸림

③ Segmentation

픽셀 단위로 객체를 구분합니다.

가장 정확한 방식입니다.

하지만 데이터 제작 비용이 상당히 높습니다.

④ Key Point

특정 위치를 지정하는 방식입니다.

사람 자세 인식, 부품 위치 검사, 자동 조립 등에 많이 사용됩니다.

좋은 라벨링의 기준

1. 일관성 유지

가장 중요한 원칙입니다.

예를 들어 Scratch 길이가 5mm 이상만 불량인지 3mm 이상부터 불량인지 작업자마다 다르면 AI는 혼란을 겪습니다.

반드시 동일한 기준으로 작업해야 합니다.

2. 객체를 최대한 정확하게 포함

Bounding Box는 객체를 너무 크게 감싸도 안 되고 너무 작게 감싸도 안 됩니다.

객체를 최대한 정확하게 포함하는 것이 중요합니다.

3. 클래스 정의 명확화

예를 들어

Scratch, Dent, Crack, Contamination, 각 클래스의 정의가 명확해야 합니다.

현장에서는 Labeling Guide를 만들어 사용하는 것이 가장 좋습니다.

4. 애매한 데이터 제거

판단이 어려운 이미지는 억지로 라벨링하지 않는 것이 좋습니다.

애매한 데이터를 많이 넣을수록 AI도 애매하게 학습합니다.

5. 다양한 환경 포함

좋은 데이터는

  • 밝은 환경
  • 어두운 환경
  • 조명 변화
  • 카메라 각도
  • 다양한 제품

모두 포함되어야 합니다.

현장에서 자주 발생하는 라벨링 실수

배경까지 포함

Bounding Box가 너무 큽니다 :  배경 특징까지 학습 → False OK 증가

작은 불량 누락

작은 Scratch를 표시하지 않음 → AI도 작은 불량을 무시 → 검출률 감소

작업자마다 기준 다름

A 작업자는 불량

B 작업자는 정상

          ↓

AI는 무엇이 정답인지 알 수 없음

          ↓

정확도 급감

클래스 혼동

Crack, Scratch, Dent, 기준이 명확하지 않음

          ↓

클래스 오류 증가

라벨링 품질을 높이는 방법

① Labeling Guide 제작

② 작업자 교육

③ 더블 체크

④ 랜덤 검수

⑤ 자동 검증 프로그램 활용

⑥ AI Pre-labeling 활용

최근에는 AI가 먼저 라벨링하고 사람이 수정하는 방식이 가장 많이 사용됩니다.

작업 시간이 절반 이상 감소하는 경우도 많습니다.

AI 비전검사에서 추천하는 라벨링 순서

검사 기준 정의 → 클래스 정의 → 샘플 수집 → Labeling Guide 작성 → 라벨링 수행 → 검수 → AI 학습 

 →  오류 분석 → 데이터 보완 → 재학습

이 과정을 반복할수록 AI 성능은 꾸준히 향상됩니다.

실패 사례

사례 : 정확도가 98%에서 81%로 급락한 원인

한 전자부품 제조업체는 새로운 AI 비전검사 시스템을 도입하면서 높은 정확도를 기대했습니다. 초기 테스트에서는 우수한 성능을 보였지만, 실제 생산라인에 적용하자 오검출(False NG)과 미검출(False OK)이 급격히 증가했습니다.

원인을 분석한 결과, 라벨링 작업을 여러 명의 작업자가 동시에 진행하면서 불량 기준이 서로 달랐던 것이 문제였습니다.

예를 들어 한 작업자는 미세한 스크래치를 불량으로 표시했고, 다른 작업자는 동일한 수준의 스크래치를 정상으로 분류했습니다. 또한 일부 Bounding Box는 불량보다 훨씬 크게 지정되어 배경까지 함께 학습하는 문제도 발견되었습니다.

결국 모든 데이터를 동일한 기준으로 다시 라벨링하고 검수 절차를 추가한 뒤 AI를 재학습한 결과, 정확도는 다시 97% 이상으로 회복되었고 현장 적용도 안정적으로 이루어졌습니다.

교훈

AI 성능이 낮다고 해서 모델부터 바꿀 필요는 없습니다. 먼저 데이터와 라벨링 품질을 점검하는 것이 가장 효과적인 해결 방법입니다.

자주 묻는 질문(FAQ)

Q1. 라벨링 데이터는 얼마나 많이 준비해야 하나요?

정답은 없지만, 클래스별로 최소 수백 장 이상을 확보하는 것이 좋습니다. 데이터의 양보다 중요한 것은 다양한 환경과 높은 품질입니다.

Q2. 라벨링은 한 사람이 하는 것이 좋나요?

가능하면 동일한 기준으로 교육된 소수의 작업자가 수행하는 것이 좋습니다. 여러 명이 작업할 경우에는 반드시 공통 라벨링 가이드와 검수 절차를 운영해야 합니다.

Q3. Bounding Box와 Segmentation 중 어떤 방식이 더 좋나요?

대부분의 산업용 AI 비전검사는 Bounding Box만으로도 충분한 성능을 얻을 수 있습니다. 제품 형상이 매우 복잡하거나 픽셀 단위의 정밀 검사가 필요할 때는 Segmentation을 고려하는 것이 좋습니다.

Q4. AI가 자동으로 라벨링을 대신할 수 있나요?

가능합니다. 최근에는 AI Pre-labeling 기능을 활용해 AI가 먼저 라벨을 생성하고 작업자가 수정하는 방식이 널리 사용되고 있습니다. 작업 시간을 크게 줄이면서도 품질을 유지할 수 있습니다.

마무리

AI 비전검사의 정확도는 최신 알고리즘보다 좋은 데이터와 정확한 라벨링에서 시작됩니다.

동일한 모델이라도 데이터 품질에 따라 성능은 크게 달라질 수 있으며, 체계적인 라벨링 기준과 검수 프로세스를 구축하면 불량 검출 정확도를 안정적으로 향상시킬 수 있습니다.

다음 편에서는 "AI 모델 성능 향상 방법"​을 주제로 데이터 증강, 하이퍼파라미터 최적화, 학습 전략 등 실제 현장에서 활용하는 성능 개선 방법을 자세히 알아보겠습니다.