Pruning Object Detection - ViT 계열

[official-vvoo]

담당자:

• 구승연
• 문규식
• 양문기

다음 내용들을 논의하거나 기록해주세요.

• 선정 모델
• 학습 데이터
• pruning 전략
• 결과

※ 선정 모델을 일치시키는 것을 권장합니다.

[rrxloyeon]

4/9 논의된 내용

• 선정 모델 : ViTAE
• 학습 데이터 : MS COCO
• pruning 전략(~4/15) : Unstructured pruning

모델 선정

좋은 자료 찾아주신 문기님 감사합니다!
문기님이 찾아주셨던 ViTAE github에 모델이 크게 2개가 있었습니다.

이 사진에서
ViT-Base가 ViTDet이고,
ViTAE-Base가 ViTAE입니다. 그리고 각자 원본 논문/깃헙이 있더라구요.

ViTDet의 경우 메타에서 개발한 모델입니다. 원본 논문은 여기를 참조하시면 되구요, 원본 깃허브에 ViT-B, L, H 파라미터가 올라와 있습니다.
ViTAE의 경우는 깃헙은 따로 없는 것 같고, 원본 논문을 여기를 참조하시면 됩니다.

지금까지 확인한 ViTDet와 ViTAE의 가장 큰 차이점은,
ViTDet는 Object Detection을 고려한 모델이고
ViTAE는 Object Detection 뿐만 아니라 Segmentation, Classification 등 다운스트림 Task에서 활용 가능한 Backbone 모델을 만든 것 같더라구요. 모델 구조도 정확히 ViT가 아니라 변형된 ViT기반 모델로 조금 복잡해보였습니다.

그래서 저희가 OD 중심으로 프루닝을 실습하려는 것이기도 하고 ViT를 backbone으로 사용하기로 했으니까 ViTDet 사용하는게 적절해 보이는데, 다른 분들 의견은 어떠신가요?

[rrxloyeon]

저는 우선 ViTDet로 진행하겠습니다! 추가적인 의견이나 새로 발견하신 내용이 있다면 공유 부탁드려요..! :)
(+importance를 gradient를 기준, 송한 교수님 실습 자료를 참고해서 프루닝할 예정입니다.)

[moon-123]

정리 감사합니다! 다같이 ViTDet 사용하는 게 좋을 것 같아요. B, L, H 중에서도 골라야 할 것 같습니다.

그리고 저는 회사에 Jetson AGX Orin Dev Kit 하나가 남아서 잠깐은 사용할 수 있을 것 같은데..
하드웨어 스펙이 다르면 비교하기 힘들겠죠?

[rrxloyeon]

코드 호환이 되면 여러 보드에서 실험해볼 수 있어서 좋을 거 같아요!
일단 원하시는 대로 실습한번 진행해보죠 ㅎ
저도 라즈베리파이5를 이번 달(4월) 동안은 잠깐 사용할 수 있을 것 같습니다.

B, L, H 중에서는 뭐가 좋을지에 대해서는 식견이 없어서ㅜ
우선은 보드에 무조건 올릴 수 있을 것 같은 Base는 어떠신가요?

[moon-123]

좋습니다. 우선 Base 모델로 진행하겠습니다!