ChatGPT 插件 “Consensus“ 实现论文搜索功能；数据工程在语言建模中的重要性

AI新闻

ChatGPT 插件 “Consensus” 实现论文搜索功能

摘要：OpenAI 推出了一个名为 “Consensus” 的插件，可在 ChatGPT 上进行论文搜索。用户只需用一句话描述自己想了解的问题，插件就能从 2 亿篇论文中搜索并整理出答案，并附上论文链接。插件还可根据问题写一篇简单的综述，并提供准确可信的论文链接。该插件来源于一家第三方公司，由前谷歌、Waymo和亚马逊员工组成的团队开发。插件的功能仍处于测试阶段，但对于科学搜索或博客写作仍具有很大价值。

谷歌首席执行官分享对谷歌25岁生日和未来的看法

摘要：谷歌首席执行官桑达尔・皮查伊在一封公开信中表示，谷歌仍将专注于核心使命，认为搜索仍是重要的，AI将变革互联网。谷歌取得了许多成就，如推广Chromebook至全球各地学校，整合了最新技术的Pixel手机等。该公开信表达了对未来发展的信心。以上内容得分影响力：25分，公众兴趣：25分，新颖性：25分，重要性：25分。

腾讯将发布AI聊天机器人及2023年度新品

摘要：腾讯将于明天举行2023年度新品发布会，期间将发布腾讯文档的发展方向和全新产品；同时，腾讯也宣布将推出AI聊天机器人，该机器人能够帮助用户写文案，展示了良好的效果。此外，腾讯全球数字生态大会也将于明天开始。腾讯已经将混元大模型接入其多个内部业务和产品进行测试，并取得了初步效果。

百川智能发布Baichuan2系列大模型，免费开源可商用

摘要：百川智能在主题为“百川汇海，开源共赢”的活动中发布了Baichuan2系列大模型，并宣布免费开源并可商用。其中，Baichuan2-7B和Baichuan2-13B基于高质量多语言数据进行训练，在数学、代码、安全、逻辑推理、语义理解等能力上都有显著提升。测试结果显示，百川智能的两个模型在多个基准测试中表现优秀，获得了合作伙伴的广泛参与与支持。

Meta算力短缺导致离职潮，LLaMA核心作者大半人离职

摘要：Meta因算力短缺引发内部离职潮，LLaMA核心作者中超过一半人已辞职。Meta全力赶超谷歌微软在AI领域的地位，但存在计算资源供应限制。算力分配争议导致LLaMA和OPT团队内部纷争，Meta最终重组两个实验室团队专注研发LLaMA 2。大量经验丰富的研究人员离职阻碍了Meta追赶竞争对手的进程。这一情况反映出大型科技公司面对人工智能人才需求激增的挑战。

AI知识

数据工程在语言建模中的重要性

文章探讨了数据工程在语言建模中的重要性,以及对数据进行更好优化的需求。文章提出了在预训练和监督微调中的不同目标。“grokking”这个概念被引入作为学习速度的度量,模型从记忆转向泛化。诸如数据格式、混合和课程安排等因素被认为会影响学习速度。文章还讨论了中间模型检查点的重要性,以及“grokking”在学习动力学研究中的作用。总体而言,目标是实现可预测的扩展并改善语言模型的性能。

大语言模型在多项选择科学考题上的惊人记忆能力

一项针对大语言模型在多项选择科学考题上的训练研究发现了一个令人惊讶的现象。研究发现,这些模型能在仅见过一次数据集中的样例后迅速记忆起来,与之前关于神经网络样本效率的认知相悖。研究人员进行了实验来验证这一发现,并建议这可能需要重新思考大语言模型的训练和使用方式。该研究还讨论了训练神经网络的传统过程和损失的概念,以及实验中观察到的异常损失曲线。

更多AI工具，参考国内AiBard123，Github-AiBard123