未来在 AI 大模型上会风起云涌,不只是微软一家。人工智能软件平台公司对人类社会的直接贡献可能不到 2%,98% 都是对工业社会、农业社会的促进,AI 服务普及需要 5G 的连接。
任正非说,华为只会做 AI 的底层算力平台,不会去碰应用平台。ChatGPT 对于华为的机会是什么?它会把计算撑大,把管道流量撑大,这样我们的产品就有市场需求。
企业家如果没玩过ChatGPT,没资格谈高科技发展
GPT是人工智能的一个重要里程碑,是强人工智能的一个拐点。所以我们千万不要把它当作普通的聊天助手,搜索引擎来使用。因为它的强大之处,可以应用在非常广阔的领域里面,它是一个非常强大的生产力工具。
那么ChatGPT在未来有多么重要呢?周鸿祎表示,我们现在习惯把大数据称为“石油”,ChatGPT则像是一个发电厂,直接可以把石油加工一下生产成电力供我们使用。电力对我们的重要性不言而喻吧,ChatGPT就相当于把电力用API的方式,用云服务的方式服务千万用户,各行各业。听到这里,相信大家都知道ChatGPT在未来的重要性了吧。
AI大模型让我既兴奋于即将创造出来的巨大生产力,又忧虑它未来对整个世界的冲击。老王和我在创业路上同行近二十年,既然他决心拥抱这次大浪潮,那我必须支持。我个人将参与老王的创业公司[光年之外,的A轮投资,并出任董事。
AI是人类未来文明面临的最大风险之一。它既有积极作用,也有消极之处,它前景广阔、能力超群,随之而来的危险也是巨大的。
要用人工智能去解决问题 而不是被人工智能所控制。
机器只有“芯”,而人有“心”
很高兴这么一个我们天天在琢磨的技术方向,能够引起这么大的舆论场,能够让这么多人关注,确实是挺不容易的。无论是AIGC(人工智能生成内容),还是ChatGPT,都是新东西,都是AI技术发展到一定地步后产生的新机会,虽然现在这个机会还不是那么清晰。”
百度版“ChatGPT”将嵌入到搜索引擎
ChatGPT领域拥有丰富的场景和高质量的数据,未来京东也会不断结合ChatGPT的方法和技术点,融入到产品服务中来,推动人工智能的产业落地。
每一次大的划时代的产品或者变革的背后都蕴藏着巨大的时代的历史性的机会,第一次的个人pc到后来的移动互联网,到现在的web3,都是对于数据认识不断加深的过程
小米在 AI 大模型方面早有尝试,且是多技术路线并行,而小爱同学就是其典型的大模型落地场景,ChatGPT 的成功给小米信心验证了这一方向的正确性,接下来将加大人力、资源方面的投入
ChatGPT是我一生中见到的两项最具革命性技术之一
ChatGPT 的意义,不亚于 PC 和互联网的诞生
“人工智能不可或缺,但并非万能的,目前在这一领域存在诸多疯狂炒作和无稽之谈,我认为这是喜忧参半的。 ”芒格表示,人工智能不会治疗癌症,也无法实现人们想做的所有事情。
AI将成为苹果的业务核心,并影响每一种产品和每一项服务。”他表示,苹果已将AI技术整合至iPhone和Apple Watch的部分功能中,未来还将进一步深化整合。
“毫无疑问,生成式人工智能将产生巨大影响,不过,它与芯片具有同样的潜力和危险。芯片诞生后,现代战争中使用精确制导武器成为可能,生成式人工智能的破坏性也只会越来越大。
每个人都在谈论ChatGPT和Bard,众所周知,它并不总是按照人们的意愿来工作。我们无法预测新技术会带来何种结果,应该深思熟虑如何运用这些技术。
”他认为, 软件工程师应负起责任,设法找到一种方法来驯服上述技术,以便降低造成伤害的可能性。 他举例称,ChatGPT拥有诸多应用场景,创作一篇拙著无伤大雅,但向人们提供医疗建议可能酿成医疗事故。“如何最大限度地减少最坏可能性的发生至关重要。
**1. **从人工智能发展角度看,这是认知智能发展的一个重要里程碑,其意义要高于7年前的AlphaGo。
AlphaGo是在人类智慧高强度体现的领域(围棋),机器战胜了人类,基于数据和算法,它刷新了普通大众对人工智能技术的看法,但是其本身并不能广泛应用,普通大众也难以与其直接接触。
ChatGPT则完全不同,它是在人类三岁小孩就逐步形成的语言智能方面有了重大突破。
过去,在人工智能领域,在人比较难做的事情上,比如数学定理证明、下象棋,机器表现很好;但是在人容易做到的事情上,比如说话,常识推理,机器表现反而很差,这些人类基本的智能对机器来说很难,是人工智能最难啃的硬骨头。
这次的ChatGPT是在这方面有了一定的突破,因为是说话,不是下围棋,所以普通大众都可以成为ChatGPT的用户,也就是说ChatGPT天生具有广泛的用户基础,再加上其令人惊艳的表现,这些使得其发布后 用户量迅速增长,火出圈!
**2. **ChatGPT不仅仅是聊天,如果把它限制为聊天,那就显著降低了它的价值和意义。
OpenAI根据自己同类产品API的调用分析,除了纯聊天之外,用户还把它用于文本生成、开放域问答、头脑风暴、改写、摘要、分类等。
ChatGPT是对话式AI迈向真正实现的第一步,从互联网层面看,它可以作为信息入口,与搜索引擎相结合;从文案办公方面看,它可以与办公软件相结合,增强人的办公效率;从人机交互角度看,它体现的是一种基于语言的自然交互方式,可以与元宇宙、数字人结合。
除此之外,它还可以应用于机器人,充当机器人大脑。如果从人类信息发展的历史尺度上看,它是在人与机器之间的信息接口上有了很大突破。
**3. **ChatGPT是近几年技术快速发展和不断更新迭代、多种技术叠加在一起形成质变的产物,是自然语言处理领域近年来研究的结晶。
其底层的技术,包括Transformer、自监督学习、微调、人类反馈强化学习、AI对齐等,在自然语言处理和人工智能领域都有广泛的研究和应用。
但是ChatGPT将这些技术巧妙地结合在一起,有效规避了大模型的未对齐行为,利用了大模型规模带来的智能突现能力,增强了大模型的指令学习能力和用户意图捕获能力,解锁了大模型的泛化能力,这些能力叠加在一起形成了ChatGPT的质变效果。
**4. **ChatGPT探索了一种使机器获得语言智能的有效技术路线,但这个方向仍然需要在科学和技术上进一步探索。
技术上,其他的技术路线是否可以达到同样效果?
近几年,大模型研究技术架构上出现了同质化趋势,Transformer独步天下,GPT路线占据绝对统治地位,这对未来技术创新并不是好事;
科学上,ChatGPT一类技术体现了技术先行科学滞后的典型特点,为什么大模型有突现能力?对齐之后的泛化能力是如何形成的?语境学习的机制是什么?
这些问题目前都没有明确的答案,科学回答这些问题,显然可以进一步推动技术发展。
**5. **ChatGPT技术虽然取得了重要进展,但仍然面临诸多挑战。
第一 ,虽然采用了人类反馈强化学习(RLHF)AI对齐技术,但是生成的内容仍然存在未对齐行为,如不符合常识,存在偏见、歧视等内容,信息真实性有时存疑(即“一本正经地胡说八道”),未来在AI对齐技术上需要进一步研究和突破;
第二 ,以ChatGPT为代表的大模型技术通常被具有丰富算力和数据资源的企业垄断,且不开源,不利于大模型技术研究和突破;
第三 ,目前大模型的算力消耗非常庞大,要实现大规模真实场景应用,模型轻量化技术需要进一步探索;
第四 ,要提升模型的可解释性,要研制相关技术使得ChatGPT为代表的大模型技术可以自我追溯信息源头,增强可信性;
第五 ,ChatGPT背后还存在很多科学问题未有明确答案,如大模型突现能力是如何形成的?语境学习机制是什么?AI对齐为什么使大模型具有指令泛化能力?这些科学问题的探索将会推动未来技术更好地发展。
**1. **GPT-3之前的大模型技术路线和架构是多种多样的,以BERT为代表的Encoder大模型、以GPT为代表的Decoder大模型、以T5为代表的Encoder-Decoder大模型等,但是从GPT-3之后,大模型技术路线趋于单一化。
包括Google的PaLM、LaMDA,Meta AI的Galactica、OPT,Nvidia/Microsoft的Megatron-Turing,AI21 Labs的Jurassic-1,DeepMind的Gopher、Chinchilla,Hugging Face的BLOOM,国内华为的Pangu-a,浪潮的Yuan-1.0等千亿级参数规模的大模型,基本上都是采用GPT-3的Decoder架构,可能是因为训练成本太高,采用其他未验证的架构,试错成本高,跟随GPT-3成功路线进行微创新是最好的选择。
**2. **GPT-3 2020年3月发布后,国内外研究机构相继快速跟进,上述提到的大模型基本上都是在2021-2022期间研发出来,也就是说从技术路线上总体滞后GPT-3 1-2年时间。
**3. **GPT-3文本生成结果比之前的模型有大幅度提升,但同时也存在很多问题,如各种偏见、歧视、潜在的滥用等。
鉴于这些问题,大模型研究开始逐步重视AI对齐研究,即使得大模型输出结果与人的意图、价值观等对齐。
一些瞄准通用人工智能的企业,如OpenAI、DeepMind纷纷成立专门的AI Alignment研究团队,招兵买马,将AI Alignment视为通向AGI之路必须要解决的问题。
来自这两个团队研究人员,甚至成立了一家非盈利研究机构:ARC(对齐研究中心)。
**5. **基于大模型的对话agents纷纷在2021-2022期间开始研制,包括Google的 LaMDA、DeepMind的Sparrow、Anthropic的Claude等,这些dialogue agents无一例外都进行了AI对齐。
**5. **RLHF并不是唯一的AI对齐技术,面向language agents的对齐有很多方法、很多策略,需要更多探索。
6. 模型编辑、稀疏模型、半参数检索模型,这些技术,在大模型发展中同样值得深入研究。大模型编码的知识不应该是一成不变的,将知识全部编码到模型链接和神经元中,可能也并不是最优选择。
**7. **除了AI对齐和大模型赋能ChatGPT之外,OpenAI在长文档摘要、自然语言描述转为代码等方面也做了很多工作,这些工作同样增强了ChatGPT相应能力。
**1. **2020年OpenAI发布1750亿参数的GPT-3之后,国内企业和科研机构,同Google、微软、DeepMind、Meta AI等一样,于2021-2022年间,研制了类似于GPT-3架构的千亿级大模型。
因此,在底层技术上我们不存在任何问题。
**2. **但是要实现中国版的ChatGPT,需要在多个方面加强研究,压实工作。
首先,在数据上,我们要使用与GPT-3相当的数据量和计算量训练模型,目前中文缺乏像英文那样的多个开源大规模数据集,各家企业使用的中文数据也很少开源,很多时候数据也未像OpenAI那样进行精细处理以提升质量;
其次,国内在AI对齐研究上需要加强,尤其是在已经预训练的大模型上,要进行对齐,要继续优化和精调大模型;
再次,要充分调动以大模型为代表的新型AI技术的研发活力,鼓励已经研制的大模型向大众公开,接受广大用户检测,同时也要积极培育专攻某一类核心技术(如大模型AI对齐技术)的初创企业,不求短期市场回报。
**1. **大模型的优缺点在业内讨论非常多,也非常激烈,大模型存在伦理问题、环保问题、资源垄断不开源问题等等,这些问题学术界和产业界都在进行研究,寻找技术、策略、机制等方面的解决方案。
**2. **个人认为,业内对大模型争议最激烈的地方在于大模型是否是通向AGI之路、是否具备类人理解力、是否具有情绪/意识,这些问题已经不单纯是在自然语言处理领域、人工智能领域讨论了,一些争论已经在哲学层面进行了,包括借助思想实验等。
除此之外,这些问题涉及的AGI、意识等,对它们的定义,本身也没有共识,存在争议。
3. 就大模型是否能像人一样“理解”用户输入的句子以及自身生成的文本这个问题而言,从技术层面看,大模型本质上是根据单词共现概率基于已生成的单词序列预测下一个单词,共现概率或依存关系是大模型从海量文本数据中建模学习而来。
由于大模型的数据都是符号,模型是无法像人一样将意义、概念奠基到符号之外的物理世界,符号系统在语意上是不充分的。
符号系统本身并不能真正理解符号的意义,所有的意义都是被外部观察者或设计者所赋予的,即使将视觉模态加入到大模型中,大模型学到的也只是符号和视觉元素之间的统计关联关系,仍然不能奠基到真实的物理世界。
也就是说,大模型无法做到类人理解。这里涉及到人工智能图灵测试、中文屋思想实验、符号奠基问题等,感兴趣者可以参考《神经机器翻译:基础、原理、实践与进阶》第19章短评“预训练技术争议与符号奠基问题”。
**4. **自然语言处理和人工智能领域的研究者在学术论文中或者介绍AI模型时,经常使用拟人化的描述,如“理解”、“学习”等,主要是为了让读者或听众更容易理解模型或算法的原理,并不不代表机器、模型真的像人一样思考、学习、理解。
**1. **ChatGPT类技术其背后体现的,首先是预示着一种深层次的信息革命。
人类发明计算机和互联网之后,获取、存储和使用信息的方式出现了翻天覆地的变化,但最近几十年基本上没有大的变动,主要以搜索引擎为主,呈现的信息通常需要用户进行二次处理或再加工才能满足要求。
ChatGPT呈现的信息则通常可以直接满足用户的需求,或通过交互方式逐步达到用户的要求,虽然目前还存在信息可靠性问题,但相信未来这些问题会不断得到改善。
其次是人和机器关系会出现重大转变。
以ChatGPT为代表的一类技术在精准捕获用户的真实意图方面迈出了一大步,一旦机器可以“理解”人类意图并完成相应任务,人和机器的交互就不再需要翻译成机器语言,而是直接使用人类语言作为交互载体。
再次是机器生成内容的能力大大增强。
一些文字内容类工作,机器可以辅助人类,人的工作效率会得到极大提升,一些“枯燥乏味”的文字工作则可交给机器完成,人专注于更高层次的内容、思想编辑工作,或通过人机交互方式协同生成更好的内容。
**2. **基于以上趋势,未来人类获取信息的方式、与机器交互的方式都会出现变化。
与人类意图、价值观、伦理准则高度对齐的信息智能体会帮助我们高效获取信息、生成信息和发布信息。
以ChatGPT为代表的大模型及其后续更新技术会逐步充当各种机器、设备、机器人的“大脑”,人机之间的交互会更加以人为中心,而不是以机器为中心。
相应的技术会对多个行业、领域产生影响,如教育(规范使用ChatGPT等类型技术,避免学生使用它们做作业,发挥新技术对教育的积极辅助作用,而不是成为作弊利器)、医疗(将大模型技术应用于医疗问答、药物研发、DNA/蛋白质建模等)等,传统的计算机软件,如搜索引擎、办公软件等,也会受到影响和冲击。