[DL] End 2 End OD with Transformers (DETR)

 

위와 같은 방법으로 라벨과 박스를 셋으로 둔다

DETR의 전반적인 구성도

기존 모델의 문제점

NMS : 여러개의 바운딩 박스중 불필요한 박스를 제거, 압축해 하나의 바운딩 박스가 나오게 해야된다 ... 하지만 이 박스들은 전체 아키텍쳐를 복잡하게 만들어서 간단한 아키텍쳐를 만들기 위해 이분매칭을 이 논문에서 사용했다.

---

이분매칭

set prediction problem을 직접적으로 해결한다 (NMS을 사용 x 이분매칭 사용 o)

그래서 각 객체의 갯수만큼 n개 만큼 박스를 셋한다.  그래서 1:1 매칭을 할 수 있도록 한다.

바운딩 박스의 크기와 객체의 정보와 비슷한거 끼리 매칭이 된다.

만약 잘못 연산된 박스가 생기게됬을떈 객체가 없으므로 0의 값이 나오기 때문에 바운딩박스가 나타나지 않는다.

예측결과가 2가지만 가르키도록 학습이 되므로 실제값과 비교해서 객체가 있으면 박스가 나옴.

N 값을 크게 크게 설정해줘야 한다. 이유는 객체를 놓칠수 있기 때문이다. 이미지에 존재할수 있는 100 200개의 객체가 있다하면 300정도 설정해줘야한다.

---

참고

Facebook AI Blog ai.facebook.com/blog/end-to-end-object-detection-with-transformers/

End-to-end object detection with Transformers

Author's Youtube www.youtube.com/watch?v=T35ba_VXkMY

Official Code github.com/facebookresearch/detr

facebookresearch/detr

test Video www.youtube.com/watch?v=Na3BXdGHREw