预训练处理json数据时，能否不截断，每一个sample输入？

[lh-kyf]

对于数据集：
"数据集名称": {
"file_name": "xx.json",
"columns": {
"prompt": "completion"
}
}
能否处理成每一次输入一个完整的completion?不足用pad填充？
也可以多个completion，就是要保证完整
我想在得到inputs时，得到都是完整的completion，而不是被截断？可以怎样实现？

[hiyouga]

不计划支持该功能。

[lh-kyf]

你好，请问我可以从哪里获取这方面的解决手段？

[hiyouga]

LLaMA-Factory/src/llmtuner/dsets/preprocess.py

Line 50 in d125ef5

def preprocess_pretrain_dataset(examples: Dict[str, List[Any]]) -> Dict[str, List[List[int]]]:

自行修改。

[lh-kyf]

好的，感谢帮助！