GLM-4.5V TRAINING

[RonanDou]

How should I set the router bias and the auxiliary sequence-level balance loss during training?

[RonanDou]

@zRzRzRzRzRzRzR 大佬帮忙看看呢？

[zRzRzRzRzRzRzR]

这个部分在推理实现的地方没有加入(当时的实现继承了deepseekv3在transformers的MOE写法)
如果你现在要用这个方式训练,目前可能要基于 Qwen的修改方法加上去,
正在对相关内容进行排气提一个新的PR.

[zRzRzRzRzRzRzR]

huggingface/transformers#41564
看一下这个工作吗

[RonanDou]

非常感谢，不过我在查看相关代码时，发现https://github.com/huggingface/transformers/blob/307c5238546ba1675daabc46050c63ffde25f8e6/src/transformers/models/glm4v_moe/modeling_glm4v_moe.py#L1701 这里引用到了outputs.router_logits，但是在Glm4vMoeModel模型的返回结果中https://github.com/huggingface/transformers/blob/307c5238546ba1675daabc46050c63ffde25f8e6/src/transformers/models/glm4v_moe/modeling_glm4v_moe.py#L1482 ，并没有相关的router_logits，这感觉不太对