智源社区周刊No.95：LeCun等认为大模型方向错了，无法实现人类智力；详解扩散模型；Gartner发布新Hype Cycle...

汇聚每周AI观点、研究和各类资源，不错过真知灼见和重要资讯！欢迎扫码，关注并订阅智源社区AI周刊。

编辑精选

1. Yann LeCun：大模型方向错了，智力无法接近人类 查看详情

近日，Yann LeCun与纽约大学博士后Jacob Browning合著的新文章“AI and the Limits of Language”发表在《NOEMA》网站上。在文章中，作者认为大规模语言模型存在明显的极限，未来 AI 领域努力的方向或许是让机器优先理解真实世界其他层面意义上的知识。

事实上，语言是一种传输信息的带宽非常低的方法，特别是在没有上下文的情况下，孤立的单词或句子传达的信息很少。大语言模型对语言的理解虽然令人印象深刻，但却很肤浅。一个仅受过语言训练的系统永远不会接近人类的智能，即使从现在开始一直训练到宇宙的热寂。

文章认为：放弃所有知识都是语言的观点，让我们意识到知识中有多少是非语言的。人类直接从探索世界中学到了很多东西。我们不应将大模型所拥有的肤浅理解与人类通过观察世界的精彩、探索世界、在其中实践，以及与文化和其他人互动所获得的深刻理解混为一谈。语言可能是扩展我们对世界理解的有用组成部分，但语言并不会穷尽智力。相反，深刻的非语言理解是语言有意义的必要条件。这也是人工智能研究者在寻找人工智能中的常识时关注的更重要的任务。

1. 详解Diffusion Model：相比GAN具有明显优势，正处于百花齐放时期 查看详情

Diffusion Model（扩散模型）是DALL·E的核心，在2021年甚至可以说是“闻所未闻”。总体上，Diffusion Model包含一个前向的扩散过程，在图片上添加高斯噪声。随后是逆向扩散过程，通过去噪进行推理。最后在训练阶段，则是通过对真实数据分布下，最大化模型预测分布的对数似然。

Diffusion Model生成的图像质量明显优于GAN模型。GAN模型训练过程有个难点：确定众多损失函数的鞍点（Saddle-point）的最优权重。与GAN不同，Diffusion Model不用在鞍点问题上纠结，只需要去最小化标准的凸交叉熵损失（Convex Cross-entropy Loss）。

但是，Diffushion Model是否完美？并不见得。UC伯克利马毅教授认为：“几行简单正确的数学推导，可以比近十年的大规模调试超参调试网络结构有效得多。希望年轻的研究员端正研究的目的和态度，千万不要被目前热的东西忽悠。包括Diffusion Process，这其实也是好几百年old的想法，只是老树发新芽，找到新的应用。”

更多周刊详细内容，欢迎点击阅读原文或这里查看。

---

研究前沿

1. DeepMind提出因果影响图：推断智能体动机，使其与设计者的要求保持一致

2. 谷歌提出OptFormer：用Transformer预测最好的超参，还能提前知道性能

3. OpenAI发布Alignment研究工作合集：三大支柱推进AGI对齐研究

4. 扩散模型家族再添一员，最新Cold Diffusion不再依赖高斯噪声

5. 澜舟科技孟子模型轻量化技术新进展：登顶ZeroCLUE和 FewCLUE榜单，已开源并提供SDK

科学家

1. 中国科学院院士、中国科学院自动化研究所研究员谭铁牛获国际模式识别最高奖傅京孙奖

2. 12 位华人新晋 2022 国际模式识别协会（IAPR） Fellow，超过半数，聂礼强、齐国君、林倞入选

3. 分析中国人工智能领域高层次人才数据（AI 2000）图鉴

产业

1. Gartner 2022年新兴技术Hype Cycle发布：AI自动化/大模型和Web3比较靠谱，元宇宙有点悬

2. 流程挖掘龙头Celonis D+轮融资10亿美元，估值达到130亿

3. 2022世界机器人大会发布《机器人十大前沿热点领域(2022-2023)》报告

活动

1. 报名 | 谷歌研究科学家，PaLM-SayCan通讯作者夏斐：基于语言和视觉模型的具身推理（智源，9月6日）

2. 报名 | Meta、北京大学、微软亚洲研究院、清华大学等学者：MLNLP第十期学术研讨会（MLNLP，8月28日）

3. 报名 | GenTalk：长序列文本生成（中文信息学会自然语言生成与智能写作专委会，8月31日）

4. 视频回放 | 2022智源大会全体大会及各分论坛视频上线

5. 视频回放 | 加州大学圣地亚哥分校商静波：如何通过极弱监督来完成海量文本的结构化？

求职招聘

1. 智源研究院 | AI for Science方向研究员，探索生命科学前沿，解决世界级科研问题

2. 智源研究院 | 分子动力学方向研究员，研究生物大分子动力学模拟，实现分子结构功能的预测泛化

3. 智源研究院 | 类脑智能方向研究员，追踪国际前沿文献，研发具有生理功能的大规模高精度神经网络模型

教程

1. 爱尔兰东南理工大学：《人工智能和6G与元宇宙:基本原理、挑战和未来研究趋势》综述

2. 俄勒冈州立、德州农工：《人工智能用于计算机架构原理、实践和前景》

3. KDD2022：自适应预训练文本表示与挖掘

---

查看预训练、强化学习等领域周刊内容，欢迎点击阅读原文。

招聘、活动、推广等合作，请联系：[email protected]