大规模多模态数据集训练

[Lin-Tianwei]

请教大家，我发现在多模态数据预处理阶段使用.map()进行处理，其中使用processor对图像进行了resize和normliza等操作。代码如下：

    # src/llamafactory/data/loader.py
    # _get_preprocessed_dataset()
    dataset = dataset.map(
        dataset_processor.preprocess_dataset,
        batched=True,
        batch_size=data_args.preprocessing_batch_size,
        remove_columns=column_names,
        **kwargs,
    )

因此有两个问题：

1. 是否会在预处理阶段遍历读入所有图片/视频（仅仅是为了计算占位符的数量）。如果是，为什么不设计成训练过程在线处理提高并行。
2. map()有cache机制，是否会导致所有处理过的多模态数据进入缓存，占用巨大容量（我的数据集有30T）。