Pruning Object Detection - Swin 계열

[official-vvoo]

담당자:

• 박예리
• 정진우
• 최해인

다음 내용들을 논의하거나 기록해주세요.

• 선정 모델
• 학습 데이터
• pruning 전략
• 결과

※ 선정 모델을 일치시키는 것을 권장합니다.

[py6578]

250414 Swin Pruning

Application Reference

• [1] MS swin transformer: https://github.com/microsoft/Swin-Transformer
• [2] Nvidia FasterTransformer: https://github.com/NVIDIA/FasterTransformer/tree/main/examples/pytorch/swin
  • TensorRT LLM의 origin임. quantization만 있고 pruning은 뒷전인듯. 원래 chip vendor에게 pruning은 academic주제고 quantization은 당연히 해야될 것이라 밀린 것 같음
• [3] Nvidia 2:4 Sparsity Pruning: NVIDIA GPU Ampere arch부터 2:4 sparsity를 적용할 수 있는 전용 Sparse Tensor Unit에서 사용되는 Structured Sparse Pruning 기법
• [4] Nvidia Model Optimizer: Pruning Part 참조하였음: https://nvidia.github.io/TensorRT-Model-Optimizer/guides/2_pruning.html
  • 일단 Pruning Tutorial에 있는 ResNet50 부터 Post Pruning 진행했는데, NAS 방식이라 진짜 느림..
  • ResNet이 이 속도면(T4로 5시간째 30%..) Swin 은 돌릴 수 있을까..

---

Visual Transformer Pruning Paper Reference

• ⭐⭐⭐  [1] Data-independent Module-aware Pruning for Hierarchical Vision Transformers (2024, ICLR)

  • 기존 Transformer 계열 Pruning의 한계 [problem define]

    1. CNN과 달리 입력이 fixed input이 아니고, 한 kernel이 전후 뿐만 아니라 전체 레이어에 영향을 주어 한 channel이나 kernel의 변화가 전체 레이어에 영향을 크게 준다.
    2. kernel A와 kernel B의 median/mean 값이 다름에도, 전체의 평균 threshold로 pruning 해버려서, 상대적으로 작은 값을 갖는 kernel A의 값이 다 절삭되어버리는 문제가 있었음

    ⇒ [contribution] ‘각 레이어의 pruning sensitivity를 전체 layer들의 releation 안에서 계산해 낼 수 있는 방법’을 제안하여 kernel 관의 관계와, 각 kernel 마다 pruning threshold를 다르게 부여

    ⇒ [experiments] transformer 계열 pruning의 문제점을 개선하여 swin transformer 에 대해 쓸만한 pruning 결과 제시

    ⇒ [Usability] 옆자리 pruning 하시는 연구원과 transformer vit 계열 pruning으로 고통받으시는 연구원님과 토론 후, 해당 방법이 연구원님이 해결책으로 생각하신 방법과 접근방향이 유사하여, 유효한 방법으로 결론. 방법 자체는 유망함

  • [pros] vision transformer 계열 뿐만 아니라 hierarchical transformer 계열에 대한 실전적인 한계점을 명확히 규명하였고, 이에 대한 평가 지표와 해결책을 제시함

  • [cons] git에 code available 하다면서 git repo에 terminal 출력이랑 ckpt 만 있음 😠 뭔가 뒷구림..

    • 논문보고 manual 구현해야할 듯 (TBD)

• [2] XPruner: ViT 전반에 대한 pruning인데 이것도 논문에 코드에 있다면서, repo 주소만 있음

• 최근에 읽은 논문에서 vision transformer 계열은 pruning이 어려우니 low resolution(quantization)이나 잘하라는 말이 적혀있었음 😂😂😂 (CNN series인 애들한테나 pruning이 적합하지, transformer는 어려울 껄~ 이런 의견들..)

---

Swin Pruning Code

• ⭐⭐⭐⭐⭐ https://github.com/VainF/Torch-Pruning/blob/d4af5ff22d6ec37cc8318316968897b59b774149/examples/transformers/prune_hf_swin.py#L11
  • 발견만하고 아직 못해봄

[corosica]

Reference

• MS Swin Transformer : https://github.com/SwinTransformer/Swin-Transformer-Object-Detection
• Pytorch Image Model : https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/swin_transformer.py

About model

선정 모델: Swin Transformer 중 Swin-T

선정 데이터셋: ImageNet

Mask R-CNN + Swin-T 백본 모델에 Pruning 계획

mAP 성능지표 및 detection 속도, 파라미터 수를 기반으로 진행

Issue

• Mask R-CNN 적용을 위해 mmcv 활용하고자 함 => Colab 내 mmcv-full pip 진행이 X (1시간 이상 걸림)
  => Image Classification 으로 임시 테스트 진행하고자함

• ImageNet 모델의 용량문제, Colab의 용량이 감당 X
  => ImageNet Tiny 데이터셋으로 진행하고자 함

• ImageNet Tiny로 진행한 검증 및 경량화 후 성능이 매우 낮게 측정됨

[py6578]

진행결과는 discussion 에 남겨두었는데, 결론은 swin까지는 못했고, resnet은 가속은 finetuing이 필요하다.

swin transformer 구조는 이해완료하였고, transformer계열 pruning을 알아보니, vision transformer 자체가 pruning이 어려운 구조라는 바를 이해하였고 이를 해결하기 위해 첫번째로 아래 논문을 살펴보았습니다.

1. Data-independent Module-aware Pruning for Hierarchical Vision Transformers (2024, ICLR) 방법으로 접근

→ 자세한 논문 분석은 discussion 에 남겨두었습니다. 결론은 방법론은 유효하나, 코드가 있다고 했으면서 없다. 그래서 살짝 믿음이 안간다

1. Nvidia Optimizer로 접근
   • 2.1 일단 기본 Resnet50 structured pruning 진행함.
     • 실험 결과는 discussion에 올려두겠습니다. 결론은 가속은 되나, 학습이 꼬여서 성능이 잘 안나왔다. Fine tuning 추가 진행과 처음 model 올리는 코드를 수정하면 괜찮을 것 같다.
       • < vanilla Resnet50 - 3.528 ms>
       • pruned Resnet50 - 2.549 ms (x1.384)
       • < vanilla Resnet50 - 3.528 ms>

    - 학습방법이 NAS라서 학습시간이 10시간 30분 걸림, 따라서 다시 한다면 NAS 없이 그냥 데이터로만 statistic 뽑을거임
- 2.2 Swin Transformer 코드 작성 중
    - 학습 중에 subnet에서 forward 부분이 에러나서 디버깅 중

2. 새롭게 찾은 swin transformer pruning 실험 예정
   • https://github.com/VainF/Torch-Pruning/blob/d4af5ff22d6ec37cc8318316968897b59b774149/examples/transformers/prune_hf_swin.py#L11