【ChatGPT是如何炼成的】

试用攻略：OpenAI ChatGPT注册试用全攻略
ChatGPT，一个由 OpenAI 训练的大型语言模型。

经过大量网友的“疯狂”测试中表现出各种惊人的能力，如流畅对答、写代码、写剧本、
辩证分析问题、纠错等等，甚至让记者编辑、程序员等从业者都感受到了威胁，更不
乏其将取代谷歌搜索引擎之说。

一、模型概述

此次OpenAI发布的ChatGPT模型较前代而言有较大进步，如减少不真实回答、避免有
害回答、挑战用户问题前提等，同时还具备连续对话的记忆能力，人机交互体验更为
逼真。丰富的内容素材库保障模型得到充分训练，并最终生成高质量内容。
目前ChatGPT仍处于免费测试阶段，虽然目前ChatGPT并没有开放给中国地区的用
户，但界面仍可使用中文。

二、模型训练

这一次发布的ChatGPT，被视为是基于GPT-3的微调版本，即GPT-3.5。
ChatGPT的模型经历从GPT到GPT3的升级，优化主要来自算力增加。GPT、GPT-2和
GPT-3在算法模型并没有太大改变，但参数量从1.17亿增加到1750亿，预训练数据量
从5GB增加到45TB，其中GPT-3训练一次的费用是460万美元，总训练成本达1200万
美元。虽然训练数据量和算力大幅增加使GPT-3有显著优化，但高额投入也使其只能
走B端变现。
ChatGPT的背后离不开大模型、大数据、大算力，其技术底座使用的是微调后的GPT-
3.5系列模型，有着多达1750亿个模型参数，OpenAI主要使用的公共爬虫数据集有着
超过万亿单词的人类语言数据集。GPT-3.5在微软Azure AI超算基础设施上进行训练，
总算力消耗约3640PF-days(即每秒一千万亿次计算，运行3640个整日)。

三、训练数据

ChatGPT在一个开源数据集上进行训练，训练参数也是前代GPT3的10倍以上，还多
引入了两项功能：人工标注数据和强化学习，实现了在与人类互动时从反馈中强化学
习。
目前ChatGPT的学习的数据样本只截止到2021年，等到训练的人数增加了，反馈内容
的质量便会有所提升。ChatGPT在不同语种的识别和解读上存在差异，使用中文和同
样内容转译成的英文输入得到的反馈结果并不相同。

四、效果评价

ChatGPT虽然强大，仍然有其局限性，比如偶尔会犯错误，有一定的误导性；作为一
个AI，它也不能提供对人或事件的判断和评价。但基于其反馈强化学习系统，
ChatGPT也在不断学习完善。
ChatGPT问世后，最火热的讨论，是其能否取代搜索引擎。对于这个问题，ChatGPT
给出了“否定”回答：搜索引擎的核心技术是搜索算法，它能够快速索引、排序、过滤网
页信息，并根据用户查询词提供相关的搜索结果，而ChatGPT只能生成自然语言文
本，无法进行搜索算法的处理。
相对于语音助手和搜索引擎，ChatGPT目前还有很多不能干或干不好的实情，如不能
查询附近的川菜馆，不能进行打电话、定日历、播放歌曲等手机本地操作。此外，
ChatGPT大概率不能回答训练时它没有看到的最新网页知识，不一定能正确回答一个
五年前政治人物今年的年龄，大概率不能做对简单的逻辑题和加减乘除题。

五、应用展望

在今年7月的百度世界大会上，百度创始人李彦宏就曾表示，“AIGC或许将颠覆现有内
容生产模式，实现以‘十分之一的成本’，以百倍千倍的生产速度，去生成AI原创内容。
所谓AIGC，即利用人工智能技术来生成内容。AIGC并不是一个新概念，此前便有AI
生成文字、AI生成图片，只是技术尚未成熟以及广泛应用。但随着近两年随着技术的
积累，AI生成图片、视频、音乐、文字都已经走向成熟，从量变正迎来质变。
ChatGPT 作为低门槛、高效的 AIGC 文字内容生产工具，被认为将在智能客服、虚拟
人、游戏等领域得到更大落地应用，也对很多算力、数据标注、自然语言处理等底层
技术公司利好。

引用：一文讲明白火爆全网的ChatGPT！ChatGPT是什么？能怎么玩
引用：拳打谷歌ChatGPT火出圈！投资人称更需警惕投资泡沫化跟风
引用：关于引爆全球的ChatGPT，AI算法工程师和分析师们的看法并不相通｜数智前瞻