hugging face 官方文档——datasets、optimizer

一、加载dataset

数据集存储在各种位置，比如 Hub 、本地计算机的磁盘上、Github 存储库中以及内存中的数据结构（如 Python 词典和 Pandas DataFrames）中。无论您的数据集存储在何处， Datasets 都为您提供了一种加载和使用它进行训练的方法。

本节将向您展示如何从以下位置加载数据集：

• 没有数据集加载脚本的 Hub
• 本地文件
• 内存数据
• 离线
• 拆分的特定切片

解决常见错误，以及如何加载指标的特定配置。

1、Hugging Face Hub

上传数据集到Hub数据集存储库。

使用datasets.load_dataset()加载Hub上的数据集。参数是存储库命名空间和数据集名称（epository mespace and dataset name）

from datasets import load_dataset
dataset = load_dataset('lhoestq/demo1')

---

---

---

参考资料：
hugging face 官方文档——datasets、optimizer
一个通用的用于NLP数据处理的开源库