Small object는 왜 AP가 낮은가?

IoU Problem

예시를 통해 살펴보면 왼쪽은 small object이고 오른쪽은 large object입니다.

iou경우 박스의 크기에 따라 값이 크게 변한다는 문제가 있습니다.

 

그럼 이제 설명드린 iou의 문제가 어떤 부분에서 성능에 영향을 미치는지 설명하겠습니다.

 

모델이 로스를 구할 떄를 생각해보면 모든 예측 박스에 대해 로스를 구하는게 아니라 어떤 예측 박스와 gt의 iou를 구하고

특정 threshold를 넘을 때만 positive sample이라 생각해 이것의 차이를 줄이는 방향으로 학습합니다.

 

만약 위와 같이 threhold 기준이 0.7인 경우 small object는 1pixel만 tranlsation되어도 IoU가 크게 떨어지기 떄문에 다 background 처리가 되어 학습에 악영향을 끼치는 것을 볼 수 있습니다.

 

이런 부분이 small object detection에서 IoU를 사용하면 발생할 수 있는 문제입니다.