关于 filtered_kilt_knowledgesource.jsonl

[JimXiongGM]

请问 wiki_corpus_index_bulid/split_kilt_to_100.py 中的 filtered_kilt_knowledgesource.jsonl 和原始的 kilt_knowledgesource.json 有什么不一样吗? 是如何处理的呢?

谢谢~

[nuo1nuo]

同问

[li-dongchao]

同问，我目前用kilt_knowledgesource.json并没有复现出来论文中的效果，希望作者开源一下filtered_kilt_knowledgesource.jsonl文件~

[SsmallSong]

有两个主要区别：（1）原始的文件中有很多metadata，首先将这些metadata去掉了，不然这个json会是35G的很难加载。具体来说针对每个条目，只保留了wikipedia_title和text（2）将text按照text.split()后，每100个为一个片段

[Hathjs]

请问解决了吗，是还需要自己写一个过滤脚本数据处理文件是吧

[SsmallSong]

我已经将处理好的kilt数据集上传到huggingface，可以在这里进行查看：https://huggingface.co/datasets/XXsongLALA/R1-Searcher-kilt ；其中1～16是split后的内容，拼接后即为完整的kilt数据集。这个数据集是没有进行100 words切分的，只需要运行wiki_corpus_index_bulid/split_kilt_to_100.py即可得到最后的评测使用的tsv文件