Qwen3-4B 模型推理问题咨询

[BITDDD]

Reminder

• I have read the above rules and searched the existing issues.

System Info

• llamafactory version: 0.9.4.dev0
• Platform: Linux-5.4.143.bsk.7-amd64-x86_64-with-glibc2.36
• Python version: 3.11.2
• PyTorch version: 2.7.0+cu126 (GPU)
• Transformers version: 4.52.4
• Datasets version: 3.1.0
• Accelerate version: 1.7.0
• PEFT version: 0.15.2
• TRL version: 0.9.6
• GPU type: NVIDIA A100-SXM4-80GB
• GPU number: 1
• GPU memory: 79.35GB
• vLLM version: 0.9.0
• Git commit: bb7bf51
• Default data directory: detected

Reproduction

Q1: 使用 chatmodel 加载 qwen3-4B 没有问题，推理时会卡住

Q2: Qwen3-4B 使用 chatmodel 时，如何开启、关闭 thinking 模式

Others

No response

[BITDDD]

看了下，之前的 commit 845af89 generate_args 有 enable_thinking 的参数，但是最新的没有了

[sinczyf]

请问楼主，Q2有找到 llama-factory 做vllm推理时控制 enable_thinking 的入口吗？

[hangd0914]

qwen3 的官方有方法的

[BITDDD]

对，那个是控制 apply template，我想用 llama-factory 内部的 chat_model，看 generate 没有这个控制参数