A deep context learning based PCB defect detection model with anomalous trend alarming system

본 논문은 실시간 PCB 결함 탐지를 위해 YOLOv5를 기본 모델로 채택하고 , 작은 결함(tiny defects) 탐지 성능을 높이기 위한 네트워크 구조 개선 및 손실 함수 수정, 그리고 사후 관리를 위한 이상 추세 탐지 알고리즘을 제안합니다.

 

구분	핵심 방법론	상세 내용 및 기능
모델 구조	다중 스케일 특성 피라미드 네트워크 (FPN)	- YOLOv5의 FPN을 재설계하여 다양한 스케일의 특성 융합(Feature Fusion)을 수행함 . - 고해상도 특성 맵을 다운샘플링하고 저해상도 특성 맵을 업샘플링하여 결합함으로써 결함 주위의 문맥 정보(Context information)를 강화함.
손실 함수	수정된 CIoU(Complete IoU) Loss	- 작은 결함의 정밀한 바운딩 박스 회귀를 위해 기존 CIoU 손실 함수를 수정함 . - 거리(Distance)와 종횡비(Aspect Ratio) 기하학적 요인에 가중치를 부여하여 작은 객체에 대한 회귀 수렴 속도와 정확도를 향상함.
추세 탐지	이상 추세 경보 알고리즘 (3종)	- 국소 결함 탐지: 특정 위치에 반복되는 결함을 식별하여 장비 부품 고장 가능성을 알림 . - 결함 크기 추세: 화학물질 열화 등으로 인해 결함 크기가 커지는 현상을 탐지함 . - 결함 발생 추세: 오염 등으로 인해 결함 발생 빈도가 증가하는 추세를 모니터링함.

2. 기술적 세부 구현 사항

A. 특성 피라미드 네트워크(FPN) 개선

저자는 작은 결함이 층(layer)이 깊어질수록 특징이 손실되는 문제를 해결하기 위해 문맥 정보를 활용합니다.

• 문맥 및 후보 영역 융합: 저해상도 특성 맵을 '문맥 영역'으로, 고해상도 특성 맵을 '후보 영역'으로 간주하여 상호 보완적으로 결합합니다.
• 연산 효율성: YOLOv5의 기본 연산 방식(bilinear upsampling, C3 module)을 유지하여 실시간 처리 속도를 보존하면서도 의미론적 가치를 풍부하게 합니다.

B. 수정된 CIoU Loss 공식

작은 객체는 IoU 값이 초기 훈련 단계에서 매우 낮아 회귀가 어렵기 때문에, 기하학적 요인을 강조하는 공식을 사용합니다

여기서 거리 요인(D)과 종횡비 요인(V)에 임의의 변조 상수 2를 추가하여 작은 바운딩 박스 회귀의 영향력을 확대했습니다.

 

C. 실험 데이터 및 환경

• 데이터셋: TDD-Net 데이터셋(10,668장)을 사용하였으며, missing hole, mouse bite, open circuit 등 6가지 결함 유형을 포함합니다.
• 입력 해상도: 모든 이미지는 608 * 608 픽셀로 스케일링되어 학습 및 추론에 사용되었습니다.
• 하드웨어: NVIDIA GeForce RTX3070(8GB VRAM) 환경에서 실험을 수행했습니다.

1. 통계적 유의성 분석 (Statistical Significance)

본 연구는 제안된 모델의 성능 향상을 검증하기 위해 기존 SOTA(State-of-the-Art) 모델과의 비교 및 단계별 기여도를 측정하는 Ablation Study를 통해 통계적 유효성을 입증하고 있습니다.

주요 성능 지표 및 향상 수치

제안된 모델은 YOLOv5 베이스라인 대비 모든 지표에서 유의미한 향상을 보였습니다.

평가 지표	Baseline (YOLOv5)	제안 모델 (Proposed)	향상 수치 (Improvement)
mAP@0.5 (PASCAL VOC)	99.50%	99.17%	-0.33 pp (유지 수준)
mAP@0.5:0.95 (COCO)	77.55%	81.20%	+3.65pp
AP{small} (작은 객체)	67.76%	72.66%	+4.90pp
AP{medium} (중간 객체)	73.22%	77.53%	+4.31pp

검증의 신뢰도 근거

• 다각도 지표 활용: 단순 mAP@0.5뿐만 아니라 엄격한 기준인 mAP@0.5:0.95(COCO mAP)를 사용하여 바운딩 박스 회귀의 정밀도를 입증했습니다.
• Ablation Study 결과: 새로운 FPN 도입으로 1.96 pp 향상, 수정된 CIoU Loss 적용으로 추가 1.69 pp 향상이 나타남을 확인하여 각 방법론의 개별적 기여를 통계적으로 증명했습니다.
• 클래스 균형: 데이터셋 내 6가지 결함의 발생 빈도가 평균 수치의 $\pm3\%$ 이내로 고르게 분포되어 있어, 특정 클래스에 편향되지 않은 일반화된 성능임을 시사합니다.
• 위치 분포의 균일성: 결함 위치가 보드 전체에 무작위로 고르게 분포되어 있어 localization 성능의 통계적 신뢰성을 확보했습니다.

2. 샘플링의 한계점 (Sampling Limitations)

연구의 높은 수치적 성과에도 불구하고, 데이터 수집 및 구성 측면에서 다음과 같은 실질적인 한계점이 존재합니다.

1) 데이터의 인위성 (Synthetic Nature)

• 합성 결함 사용: 사용된 데이터셋은 10개의 정상 이미지를 기반으로 Adobe 그래픽 에디터를 이용해 인위적으로 결함을 추가하여 생성되었습니다.
• 현장 재현성 부족: 실제 제조 공정에서 발생하는 무작위적이고 복잡한 형태의 결함 패턴을 충분히 반영하지 못했을 가능성이 큽니다.

2) 결함 클래스의 제한성

• 유형 부족: 실제 산업 현장에는 overetch, scratches, missing tracks 등 수많은 결함 유형이 존재하나, 본 연구는 6가지 일반적인 유형으로 한정하여 분석했습니다.
• 다양성 결여: 데이터셋 내 결함들이 단조로운(monotoned) 그래픽 형태를 띠고 있어, 실제 변칙적인 결함 패턴에 대한 대응 능력을 완벽히 검증하기 어렵습니다.

3) 환경적 변수 통제

• 조명 및 정렬: 데이터 수집 시 frosted LED를 사용하여 조명을 일정하게 유지하고 이미지 정렬을 사전에 완료한 상태였습니다.
• 실제 공정의 가변성: 실제 공장의 불규칙한 조명 조건, 보드 배치 오차, 카메라 진동 등의 외부 노이즈 환경에서의 성능 유효성은 아직 검증되지 않았습니다.

4) 시뮬레이션 기반 연구의 한계

• 실제 배포 데이터 부재: 제안된 이상 추세 탐지 알고리즘은 실제 제조 라인에서 수집된 시퀀스 데이터가 아닌, 무작위로 생성된 1,000개의 예측 결과를 바탕으로 테스트되었습니다.
• 실전 검증 필요: 저자 스스로도 실전 배포 없이는 실제 공정에서 마주할 실질적인 도전 과제들을 정당화하기 어렵다는 점을 시인하고 있습니다.

A deep context learning based PCB defect detection model with anomalous trend alarming system.pdf

5.34MB