Hub documentation
数据文件 配置
数据文件 配置
数据集仓库的结构没有任何限制。
不过，如果您希望数据集查看器显示特定的数据文件，或将数据集划分为训练/验证/测试集，则需要相应地组织您的数据集。
通常只需按照划分名称来命名数据文件即可，例如 train.csv 和 test.csv。
什么是分割和子集？
机器学习数据集通常包含拆分（splits），也可能包含子集（subsets）。一个数据集通常由用于模型训练和评估不同阶段的拆分（例如 train 和 test）组成。子集（也称为配置）是包含在更大数据集中的子数据集。子集在多语言语音数据集中尤为常见，其中每种语言可能对应一个不同的子集。如果您想进一步了解拆分和子集，请查看拆分与子集指南！
自动拆分检测
分割会根据文件和目录名称自动检测。例如，这是一个包含 train、test 和 validation 分割的数据集：
my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv要通过按照数据划分名称来命名数据文件或目录以组织数据集，请参阅 文件名和数据划分 文档以及 示例数据集配套合集。
手动拆分和子集配置
您可以使用 YAML 选择要在数据集查看器中显示的数据集文件。 如果您想手动指定哪个文件属于哪个数据划分，这将非常有用。
您还可以为数据集定义多个子集，并传递数据集构建参数（例如，用于 CSV 文件的分隔符）。
以下是一个配置示例，其中定义了一个名为“benchmark”的子集，并包含test拆分。
configs:
- config_name: benchmark
data_files:
- split: test
path: benchmark.csv有关更多信息，请参阅手动配置文档。同时，也可以参考示例数据集。
支持的文件格式
请参阅 文件格式 文档页面，以查看支持的格式列表以及针对您数据集的建议。如果您的数据集使用 CSV 或 TSV 文件，您可以在 示例数据集 中找到更多信息。
Dataset Viewer 大小限制错误（TooBigContentError）
如果看到 Error code: TooBigContentError，则数据集查看器无法在其限制内读取预览。常见的消息包括 Parquet error: Scan size limit exceeded 和 The size of the content of the first rows exceeds the maximum supported size。
你可以执行的操作：
- 对于 Parquet 文件，请使用更小的行组并包含页索引（
write_page_index=True），以便 Viewer 仅读取所需的数据。 - 避免在前几行中使用非常大的值（例如超长字符串、大型 JSON 数据块、base64 负载）。在可能的情况下，将大型负载移至单独的文件中。
- 将非常大的文件拆分为较小的分片或分割，然后重新上传。
- 如果问题仍然存在，请查看 配置数据集查看器，并在您的数据集页面发起讨论，附上完整的错误信息。
图像、音频和视频数据集
对于图像/音频/视频分类数据集，您也可以使用目录来命名图像/音频/视频类别。 如果您的图像/音频/视频文件包含元数据（例如说明、边界框、转录文本等），您可以在这些文件旁边放置元数据文件。
我们提供了两份指南，供您参考：
Update on GitHub