请问多模态指令微调数据集的格式是怎样的？需要在input或者instruction里添加占位符吗？

[yyc6631]

你好，我想问下多模态的指令微调数据集格式具体是怎样的，貌似没有一个具体的例子，请问是
格式一：
{
"instruction": "根据图片回答问题",
"input": "图中有几只猫？",
"output": "图中有2只猫。",
"images": ["./cat.jpg"]
}
还是格式二：
{
"instruction": "根据图片回答问题",
"input": "图中有几只猫？<image>",
"output": "图中有2只猫。",
"images": ["./cat.jpg"]
}

[guixianjin]

hi, 你可以查看这个数据格式，LLaMA-Factory\data\mllm_demo.json
以及这个 readme 说明：https://github.com/hiyouga/LLaMA-Factory/tree/main/data#multimodal-image-dataset-1