推理时报错：*** RuntimeError: input must be a CUDA tensor

[slacklife]

我在推理 python3 tools/infer_video_720p.py 的时候遇到了 bug：

具体报错位置是 tools/run_infinity.py 中 68 行的
text_features = text_encoder(input_ids=input_ids, attention_mask=mask)['last_hidden_state'].float()

报错内容是：
python3.10/site-packages/apex/normalization/fused_layer_norm.py 文件中的 76行
output, invvar = fused_layer_norm_cuda.rms_forward_affine( input_, ctx.normalized_shape, weight_, ctx.eps)
提示是：*** RuntimeError: input must be a CUDA tensor

但是我测试了 input_ 和 weight_ 都是 在 相同的 cuda:0 上
normalized_shape 是shape，eps 是float，这两个可以不考虑

我的环境是
torch 版本 '2.5.1+cu124'
transformers 版本 '4.39.3'
apex 版本 0.1

另外，执行 python3 tools/infer_video_48p.py 的时候 遇到了相同的 bug

请问大家有遇到相同问题吗？有什么解决办法吗？

[happylicio]

@slacklife 你这个报错，确实没有遇到过，可能还是环境哪里有兼容问题，可能需要你text_features这块抽出来单独debug下

[slacklife]

感谢，环境重新配置就可以了。