温度设置问题

[mary-0830]

Inference

generated_ids = model.generate(**inputs, max_new_tokens=512, temperature=temperature)

在这个温度设置好像并不起作用？使用的是这个模型：VideoChat-R1_7B

[leexinhao]

应该需要开启，do_sample=True

[mary-0830]

应该需要开启，do_sample=True

感谢你的回复，我刚刚试过了，好像没有起作用呢。

temperature = data.get("temperature", 0.7)  # 默认温度为0.7
if temperature != 0.0:
    do_sample = True
else:
    do_sample = False
generated_ids = model.generate(**inputs, max_new_tokens=512, temperature=temperature, do_sample=do_sample)

结果如下图：

[chrisx599]

@mary-0830 需要在模型的权重参数文件里面设置，文件的内容会覆盖sampling parameters