Pruning Object Detection - ResNet 계열

[official-vvoo]

담당자:

• 정현우
• 최예제
• 최유진

다음 내용들을 논의하거나 기록해주세요.

• 선정 모델
• 학습 데이터
• pruning 전략
• 결과

※ 선정 모델을 일치시키는 것을 권장합니다.

[official-vvoo]

모델 논의

ResNet계열 기반의 Object Detection는 RetinaNet 모델이 대표적인 것 같습니다.

• 논문: Focal Loss for Dense Object Detection
• 논문 요약 블로그: https://herbwood.tistory.com/19

모델 코드는 다양하게 존재하는 것으로 파악됩니다.

• PyTorch 공식
  • 문서: https://pytorch.org/vision/main/models/retinanet.html
  • github: https://github.com/pytorch/vision/blob/main/torchvision/models/detection/retinanet.py
• PyTorch로 구현한 github: https://github.com/yhenon/pytorch-retinanet
• NVIDIA github: https://github.com/NVIDIA/retinanet-examples

Jetson의 Benchmark로 사용되었다는 점으로 보아 ResNet과 FPN을 이용한 Fast-RCNN 모델보다 RetinaNet 모델로 Pruning을 진행해보면 어떨까 싶습니다.
RetinaNet으로 진행하게 된다면, NVIDIA에서 제공하는 모델을 해보는 것이 최적화 측면에서 좀 더 좋지 않을까 싶습니다. (아직 테스트는 해보지 못했습니다.)
코드를 보았을 때는 pytorch에서 제공되는 RetinaNet이 좀 더 편리해 보이긴 합니다.
의견 부탁드릴게요

[yujin37]

현우님이 올려주신 정보들을 확인하면서 실습 모델들을 찾아봤습니다. 처음엔 단계별로 진행하는 방식인 two stage model인 Fast R-CNN을 하는게 좋지 않은까 생각했습니다. RetinaNet 같은 경우는 one stage model이라 단계가 통합되었다는 측면때문에 실습이 어려울 수 있다고 생각했었습니다. 근데 제공된 링크를 보니 pytorch로도 제공되고 nvidia 예제도 있으니 나중에 기기 테스트 할 때도 참고하기 좋을 것 같습니다.

[yujin37]

계획

• 선정 모델: RetinaNet
• 선정 데이터셋: coco dataset
• pruning 전략
  • pre-trained 모델 세팅 : 모델 추가 학습방식
  • 모델 층에 경량화 적용
    • 먼저 우선적으로 해당 코드를 사용하여 적용하기 -> prune.random_unstructured(module, name="weight", amount=0.3)
    • 후에 직접적으로 unstructured_pruning을 적용하기
• 후 테스트 계획: 로컬 컴퓨터 및 라즈베리파이 5 적용하기(학교에 라즈베리 기기 있습니다)

진행 결과

환경

• Mac Pro(Late 2013)

  • Processor: 3.5 GHz 6코어 Intel Xeon E5
  • Memory: 64GB 1866 MHz DDR3

• Requirments

  • numpy==1.24.4
  • torch==1.13.1
  • torchvision==0.14.1
  • requests==2.32.3
  • pandas==2.2.3
  • opencv-python==4.11.0.86
  • nltk==3.9.1

시도 현황

• ResNet에서 layer3, layer4에 대해 random 프루닝 코드(라이브러리 활용) 적용 -> 영향이 적은 깊은 층에 대한 적용
  • layer3-1, layer4-2
  • layer3-0, layer4-0
• l1 unstrured pruning 적용
  • layer3-1, layer4-2
• multiple pruning 적용

[kbhcyj]

• 선정 모델: RetinaNet

• 선정 데이터셋: coco dataset

• 백본 모델(resnet-50)에 가중치 값 기반 프루닝 적용 후 파인튜닝(iterative방식)

• base line과 성능지표(mAP, AP@50, AP@75, 모델 크기 및 파라미터 수 등) 비교

• 이후 계획:

그래디언트 기반 프루닝 적용 시도
프루닝 적용 범위를 확대(백본, FPN, Classifire, Box Regressor)

[official-vvoo]

• 선정 모델: ResNet
• 선정 데이터셋: COCO Dataset
• pruning 전략:
  • layer-wise random pruning (0.5, 0.7)
  • epoch 기준으로 한 번에 pruning을 하는 것이 아닌 특정 epoch마다 일정 비율의 purning을 수행 (계획 중)