ChatGPT 速通手册——GPT 训练数据集介绍

GPT 训练数据集介绍

所有人工智能算法都会分为训练和推理两步。算法的效果好坏,很大程度上取决于训练数据本身的质量。ChatGPT 所用的训练数据,openai 公司没有单独公布过细节。不过考虑到 ChatGPT 是在前序 GPT 算法基础上发展而来,我们可以侧面分析 GPT-3 的训练数据集情况。

人工智能领域知名人士 Alan D. Thompson 博士发表过一篇文章,介绍在大语言模型领域目前常用的数据集情况。其中根据 openai 论文公开的 token 数据情况,推测了 GPT-3 所用训练数据集大小一共有 753.4GB。具体分布如下:

  • 维基百科: 11.4GB。维基百科是世界著名的免费、多语种、在线百科全书,有超过 30 万名志愿者在贡献内容。一般参与训练的是其中的英文版部分,包括 662 万篇文章,超过 42 亿个单词。这其中传记类占 27.8%,地理类占17.7%,文化艺术类占15.8%,历史类占9.9%,生物医学占7.8%,体育类占6.5%,工商类占4.8%,理工和数学占3.5%。
  • Gutenberg Book:21GB。古腾堡书籍语料库,是电子书发明人 Michael Hart 创建的项目,也是世界上第一个免费电子书网站。网站收录了各种语言文字的书籍,有 12 种语言收录超过 50 本,中文书籍有 500 本,不过基本都是古籍。一般用于训练的是语料库中精选的 SPGC 版本。因为是在线网站,我们可以直接看到按日排列的前一百名书籍清单。比如 2023 年 3 月 10 日,排名第一个的书籍为莎士比亚的《罗密欧与朱丽叶》,而前 100 名中唯一的中文书籍,很巧合正是第 88 名汤显祖的《牡丹亭》。
  • Bibliotik Journey:101GB。Bib 是互联网最大的电子书站点,通过 P2P 方式分发下载,种子数量超 50 万。 EleutherAI 实验室在 2021 年为了训练 GPT-Neo 大模型,整合精选了该电子书数据集,占EleutherAI 实验室最后使用的 Pile 数据集中全部数据的 12.07%。
  • Reddit links:50GB。Reddit 是一个流行的社交媒体平台,WebText 数据集从 Reddit 平台上爬取了所有三个赞以上的出站链接的网页,代表了流行内容的风向标。
  • Common Crawl:570GB。这是一个从 2011 年开始一直在爬取的数据集,包括原始网页、元数据和提取的文本,存储在 AWS 上,总量超 1PB,并以每月 20TB 的速度持续新增。一般用来训练的只是 Common Crawl 中的 C4 部分。从数据分析来看,除谷歌专利网站占 0.48% 比例偏高以外,其他来源网站的占比都比较平均,维持在0.04%以下。

openai 自身公开的训练数据分语种统计结果(https://github.com/openai/gpt-3/blob/master/dataset_statistics/languages_by_word_count.csv)中,训练数据集里英语单词占比高达 92%。此外,法语占 1.81%,德语占1.47%,其他语种均在 1%一下,汉语比例为0.1%。但实际 ChatGPT 的各语种问答能力,远超 openai 自身的预料之外。人类语言可能在某种程度上有超乎人类理解的相通。

也有其他方面的消息,称 GPT-3 的训练语料大小高达 45TB。两个数据的差距实在太大,有可能 45TB 是上述数据来源未精选之前的总大小之和。

这些数据集,能多大程度上代表整个互联网呢?www.worldwidewebsize.com 网站长期跟踪谷歌、必应等搜索引擎上可检索到的互联网总网页数量,到目前为止,总索引网页数量为 58.5 亿。还有另一份针对网页 HTML 大小的长期跟踪,目前互联网网页的平均大小为 1.2MB。估算可知,整个互联网的文本大小为 7000TB。去除掉各种 HTML 标签,按照二八法则大致去掉长尾的雷同内容,我们可以武断的认为,整个互联网上的文本大概会是 1000TB 大小。但直接运用这个 1000TB 数据训练 AI 对话,未必是最佳方案。多年前,微软小冰"学会"骂人的事故就是明证。

此外,由于 ChatGPT 的思维链能力需要刻意锻炼逻辑能力,训练数据可能还有来自 GitHub 的代码数据集、StackExchange 的编程问答数据集等。

我们可以看到,目前 ChatGPT 的训练数据,基本来自英语互联网世界,对中文互联网数据的理解有所缺失。这也是中国互联网公司巨头的一次机会。但中文互联网上也确实还缺少如此量级的、开放且标准化的数据集语料。甚至可能连对应的形态都不存在。比如:中国几乎没有 reddit、hackernews 这类以出站链接和问答评论为主的社交媒体平台。现存的中文语料库,几乎都来自各大高校和科研机构,如北京语言大学 BBC、清华大学 OpenSLR、北京大学 CCL、南京农业大学 NEPD、智源研究院 WuDaoCorpora 等。复旦大学发布 MOSS 人工智能对话机器人时,就坦言自己完全是使用英文互联网世界的标准语料,并无特殊的中文数据。

科研机构很难长期维护一份实时更新的数据集,因此这一方面依赖于中国互联网企业自身的努力,比如:百度百科、知乎问答提供优选内容,京东、当当免费电子书分发、知网免费期刊杂志公开、微信朋友圈开放出站链接、微博热搜榜及评论的整合等等。另一方面,也考量监管层的探索。中国证监会科技监管局局长姚前,日前在《中国金融》2023 年第 6 期发表署名文章《ChatGPT类大模型训练数据的托管与治理》,提出要抓住高质量数据这个"牛鼻子",对高质量数据的供给,"要统筹兼顾自立自强和对外开放。可考虑对 Wikipedia、Reddit 等特定数据源建立过滤后的境内镜像站点,供国内数据处理者使用"。

你可能感兴趣的:(ChatGPT,速通手册,人工智能)