大语言模型训练数据集

大语言模型的数据集有很多,以下是一些常用的:

- 中文维基百科:这是一个包含大量中文文本的数据集,可用于训练中文语言模型。
- 英文维基百科:这是一个包含大量英文文本的数据集,可用于训练英文语言模型。
- Common Crawl:这是一个包含大量英文文本的数据集,可用于训练英文语言模型。
- WebQuestionSP数据集、ComplexWebQuestions数据集、GraphQuestions数据集、GrailQA数据集、KQApro数据集、QALD-9数据集、MKQA数据集等:这些都是近年来大火的大语言模型数据集。

此外,一个1.6TB的数据集跨越了59种语言(46种自然语言,13种编程语言),用于训练拥有1760亿个参数的BigScience大型公开科学多语言开放访问(BLOOM)语言模型。

在开发大语言模型时,选择适合的数据集是非常重要的。为了节省数据准备时间并带来启发,可以参考OpenDataLab已上架的、不同分类对应的的可用于大语言模型的预训练、指令微调等数据资源。同时,也可以参考huggingface,modelscope等平台,这些平台上有一些常用的数据集。

1. **Common Crawl**
   - 网址: [http://commoncrawl.org](http://commoncrawl.org)
   - 介绍: Common Crawl是一个非盈利组织,提供公共访问的Web数据集。它定期爬取整个网站,并通过其归档让大量的网页文本数据可用于各种研究和开发目的。

2. **Wikipedia**
   - 网址: [https://dumps.wikimedia.org](https://dumps.wikimedia.org)
   - 介绍: 维基百科数据转储包含了所有维基百科条目的文本,用于提供信息,学术研究或者作为NLP任务的数据源。它支持多种语言,并且可以免费下载和使用。

3. **OpenWebText**
   - 网址: 未官方发布,通常在研究论文或项目中分享。
   - 介绍: OpenWebText数据集受到OpenAI GPT训练数据集的启发,由网上的公共文章组成。用于训练语言模型,尤其是用来预训练类似于GPT风格的变换器模型。

4. **COCA (Corpus of Contemporary American English)**
   - 网址: [https://www.english-corpora.org/coca/](https://www.english-corpora.org/coca/)
   - 介绍: COCA是一个大型的美国英语语料库,主要用于语言学研究和教育目的。可以用于开放语言模型训练的典型数据集。

COCA是美国当代英语语料库(Corpus of Contemporary American English)的简称。它是世界上使用最广泛的英语语料库之一,不仅被语言学家用于研究,也广泛用于教育和翻译等领域。

 

COCA语料库的特点可以概括为三个字:大、全、新。它收录了高达5.6亿个词汇,每年还会以两千万的数量持续扩充,以保证其时效性。因此,无论是对于英语母语者还是英语学习者,都可以通过COCA获取到非常全面和最新的语言资料。此外,该语料库还囊括了各种类型的文本,如新闻、小说、电视剧、电影和广播等,覆盖了美国英语的各个方面。

 

5. **TED Talks**
   - 网址: [https://www.ted.com/participate/translate/get-started](https://www.ted.com/participate/translate/get-started)
   - 介绍: TED演讲的数据集不仅包括视频内容的字幕文本,还包含了许多语言的翻译版本。这是一个有用的多语言数据集,可用于构建语音识别系统、机器翻译、以及语料库分析等任务。

6. **BookCorpus**
   - 网址: BookCorpus数据集原始官方网站已经关闭,目前很难找到合法的下载源。BookCorpus是一个由多伦多大学的Yukun Zhu等人在2015年提出的大型文本语料库。该数据集主要收录了由尚未出版且是免费的书籍所组成的文本,数量多达196,640本。这些书籍的内容覆盖广泛,因此 BookCorpus可以视为一个丰富的语言资源,经常被用于语句编码/解码的无监督学习等场景。


   - 介绍: 该数据集包含数千本未获版权保护的图书文本,以前常用来训练大型语言模型,如BERT。

7. **SQuAD (Stanford Question Answering Dataset)**
   - 网址: [https://rajpurkar.github.io/SQuAD-explorer/](https://rajpurkar.github.io/SQuAD-explorer/)
   - 介绍: SQuAD是斯坦福大学创建的阅读理解数据集。它提供了一系列问题和相应的段落,其中包含问题的答案。常用于训练和评估机器阅读理解系统。

8. **GLUE (General Language Understanding Evaluation)**
   - 网址: [https://gluebenchmark.com/](https://gluebenchmark.com/)
   - 介绍: GLUE是一系列评估自然语言理解系统的基准测试。它包含了不同的任务,比如句子相似性、自然语言推理等,用于衡量语言模型的综合性能。

 

9. **SuperGLUE**
   - 网址: [https://super.gluebenchmark.com/](https://super.gluebenchmark.com/)
   - 介绍: SuperGLUE是GLUE基准的后续项目,提供了更具挑战性的任务集合,以评估语言模型的推理能力。SuperGLUE是一个在通用语言理解评估(GLUE)基准平台之上进行的升级,该平台是由谷歌DeepMind、华盛顿大学和纽约大学在2018年联合成立的。SuperGLUE的目标是进一步提升自然语言理解模型的性能,通过提供更复杂、更有挑战性的任务来衡量模型的能力。

 

10. **SNLI (Stanford Natural Language Inference)**
    - 网址: [https://nlp.stanford.edu/projects/snli/](https://nlp.stanford.edu/projects/snli/)
    - 介绍: SNLI是一个大规模集合,包括句子对及它们之间的关系标签(蕴含、矛盾和中立)。用于训练和测试自然语言推理(NLI)模型。SNLI,全称Stanford Natural Language Inference,是一个自然SNLI,全称Stanford Natural Language Inference,是一个自然语言推理(NLI)的数据集。它是由斯坦福大学的Bowman, Manning和Raffel等人在2015年提出的。这个数据集包含了约570k的句子对,每个句子对都被标注为“中立”,“蕴含”或“矛盾”三个标签之一。这些样本被广泛用于训练和测试自然语言推理模型。

 

1. The Pile:这是一个825 GiB多样化的开源语言建模数据集,由22个较小的高质量数据集组合在一起组成。The Pile是一个开源语言建模数据集,由22个不同的高质量数据集构成,总数据量达825GB。这些数据集包含多种类型的文本,例如论坛、知识库和电子书等。此外,Pile不仅被用于训练大型语言模型,也可以用作评估语言模型跨领域知识和泛化能力的广泛覆盖基准。

下载地址:https://openxlab.org.cn/datasets?keywords=pile&lang=zh-CN&pageNo=1&pageSize=12。


2. C4:这是一个750GB的英文语料库,使用启发式方法,仅提取自然语言数据,同时删除所有乱码文本,C4还进行了大量重复数据删除以提高其质量,MPT-7B 和 T5 等语言模型是使用 C4 进行预训练的。下载地址:https://huggingface.co/datasets/c4。


3. WanJuan的发布:所有数据均采用统一的JSON格式组织,并提供了数据集下载工具及相关文档。这个开源的大规模多语言多模态数据集已被用于InternLM模型的训练,相比同规模模型,InternLM在多维度评测中展现出明显优势。WanJuan的发布填补了公开源数据的空白,有助于自然语言处理、计算机视觉等领域的技术进步,特别是需要多模态理解生成的任务。 InternLM模型在各项评测中也十分优秀,看样子这份数据集功不可没!详情参考:https://www.datalearner.com/ai-models/llm-evaluation。

 

大语言模型的核心是数据集,一定要收集大量数据集,并非某种模型或者算法。再说一遍,先收集数据,而不是算法和硬件。

 

注意,以上内容可能随着时间而失效或者受到限制。

 

 

 

你可能感兴趣的:(Python,人工智能,人工智能,python)