两个阶段数据合并一次性训练

[smartparrot]

阶段一和二不应该都有统一格式吗 合并一起训练行吗

[SsmallSong]

两个阶段的reward不同。但是如果模型基础能力比较强（比如qwen-7B-base/inst），是可以直接学会格式的，可以合并训练；但是对于llama-3.1-8B，合并训练会让模型hack到直接回答的pattern

[smartparrot]

好的 多谢