各种LLM数据集包括SFT数据集

各种LLM数据集包括SFT数据集

  • 数集介绍和 hf上的名字
  • 对话数据生成方法
  • 交通领域数据集
  • SFT 的解释

数集介绍和 hf上的名字

通用预训练数据集 SFT datasets SFT 数据集 50万条中文ChatGPT指令Belle数据集:BelleGroup/train_0.5M_CN

100万条中文ChatGPT指令Belle数据集:BelleGroup/train_1M_CN

5万条英文ChatGPT指令Alpaca数据集:50k English Stanford Alpaca dataset

2万条中文ChatGPT指令Alpaca数据集:shibing624/alpaca-zh

69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条):Chinese-Vicuna/guanaco_belle_merge_v1.0

5万条英文ChatGPT多轮对话数据集:RyokoAI/ShareGPT52K

80万条中文ChatGPT多轮对话数据集:BelleGroup/multiturn_chat_0.8M

116万条中文ChatGPT多轮对话数据集:fnlp/moss-002-sft-data

Reward Model datasets 奖励模型数据集 原版的oasst1数据集:OpenAssistant/oasst1

2万条多语言oasst1的reward数据集:tasksource/oasst1_pairwise_rlhf_r

你可能感兴趣的:(NLP,人工智能)