论文中提到的token dropout怎么在modeling文件中没看到相关逻辑

[Chiefous]

论文中的Multimodal Token Dropout技术相关代码在哪呢，hugging face上的modeling文件没看到相关逻辑

[leexinhao]

https://huggingface.co/OpenGVLab/VideoChat-Flash-Qwen2_5-2B_res448/blob/878b4d86ab382a83b9353c33db89210aa459a735/modeling_qwen2_flash.py#L1093

[Chiefous]

感谢回复，在internvideo2.5模型中token dropout没有使用吗？
https://huggingface.co/OpenGVLab/InternVideo2_5_Chat_8B/blob/main/modeling_internvl_chat_hico2.py
这个代码中没有找到

[leexinhao]

感谢回复，在internvideo2.5模型中token dropout没有使用吗？ https://huggingface.co/OpenGVLab/InternVideo2_5_Chat_8B/blob/main/modeling_internvl_chat_hico2.py 这个代码中没有找到

上传的这个版本确实没写，可以参考videochat-flash的改一下modeling_internlm2.py 我后面有空补一下

[Chiefous]

好的，还有个问题是我看internvideo2.5模型文件中是有DETR-CG和SAM的模型权重的，但是internvideo2.5 modeling文件中（modeling_internvl_chat_hico2.py）好像并没有定义这两个模块，这两个模块是只在预训练阶段使用？

[leexinhao]

不是，推理的时候也可以用它们来出框和分割，我们这周会更新一下tpo的代码

[WJtomcat]

@leexinhao 期待更新