推理阶段遇到 CUDA断言问题 #221
Description
你好~ 请问在model.generate时候传入的input_ids包含 IMAGE_TOKEN_INDEX，如下图
。而logits_process在推理阶段会对logit进行调整，导致-200无法再词汇表中检索。 请问原生代码是如何在推理阶段处理这种问题？ 屏蔽-200的影响？
@LinB203 @JessyTsui @BinZhu-ece
{{ message }}
你好~ 请问在model.generate时候传入的input_ids包含 IMAGE_TOKEN_INDEX，如下图
。而logits_process在推理阶段会对logit进行调整，导致-200无法再词汇表中检索。 请问原生代码是如何在推理阶段处理这种问题？ 屏蔽-200的影响？
@LinB203 @JessyTsui @BinZhu-ece