智源社区AI周刊No.106：智源提出中英双语生成模型AltDiffusion；DeepMind等破解AlphaZero学习机理...

汇聚每周AI热点，不错过重要资讯！欢迎扫码，关注并订阅智源社区AI周刊。

破解数学难题已成为AI研究的一个主战场

数学被认为是破解智能形成的机制机理，了解神经网络的理论基础等方面的重要工具。近日，MIT的研究者找到了模拟神经元突触相互作用的一个微分方程的近似解析解。具体做法是提出了一种名为CfC（Closed-form Continuous-depth Networks，闭式连续深度神经网络）的模型，该模型能够模拟传导的动作电位，求解突触后神经元电位，并降低了误差和计算效率。

该研究的价值在于，可以模拟大脑神经元的突触相互作用方式，未来将能够模拟由数十亿个神经元到数万亿个突触组成的大脑动力学，还能够改善神经网络对大规模数据计算的适应能力，并应用于物理动力学模型和基于事件的连续图像处理等领域的预测任务，具有领域迁移的能力。目前该研究已登上《Nature·Machine Intelligence》，项目已开源。

同样在这一周，Meta的研究者构建了名为神经定理证明器的HyperTree Proof Search（HTPS），利用神经网络的能力进行数学定理的证明。该模型在数学基准 miniF2F和Metamath基准上的都取得了当前最新的性能。

更专业、更本地化、更精细——本周大模型研究速报

大模型研究已经向更为精细、专业的领域迈进，对其理解和生成能力也有了更高的要求。11月16日，智源研究院发布双语AltDiffusion模型，并在CLIP基础上提出AltCLIP，中英图文生成方面取得新突破。AltDiffusion方面，研究者进一步提升了模型能够理解的长Prompt，提升生成图像的清晰度、细节度等，并增加了中国风这一生成效果。此外，团队支持包括Stable Diffusion WebUI、DreamBooth、Stable Prompts Book等开源生态。AltCLIP方面，研究者用其替换了Stable Diffusion中的CLIP模块，提升其多语言理解性能表现。目前AltDiffusion及其相关项目已开源，并加入了DiffusersLib。

另一个引起注意的模型便是Meta研究者推出的大语言模型Galactica，与传统的语言模型不同，该模型学习的是学术语料——1060亿token组成的论文、参考资料、百科全书和其他学习资源，还有蛋白质序列、化学公式等。该模型最大版本在数学MMLU基准上的表现优于Chinchilla。而在MATH上则超过了PaLM 540B。此外，由于训练语料完全基于学术论文等，其没有很强的偏见和毒性。目前该项目已开源。

持续爆发的AIGC：Notion AI等文本生成功能编辑器；Descipt获得OpenAI获得大额融资

2022年最热的AI话题便是AIGC（AI Generated Content）。近日，著名的协作工具开发商Notion推出了Notion AI文本编辑器，可以根据用户提供的提示语，生成各种风格的文案，包括但不限于社媒文案、博客、会议日程、新闻稿、营销邮件、大纲、诗歌等。另一方面，远程协作厂商Evevy.to推出了Lex文本编辑器，主打创意性文本生成——在作者文思枯竭的时候，适时用AI进行填补。

另一则大新闻则是AI音视频编辑软件开发商Descript获得C轮5000万美元融资的新闻，领投的是OpenAI Startup Fund。播客编辑工具Descript最新版增加了超过30款全新的视觉和AI功能，从而让编辑视频像编辑文档/幻灯片一样轻松。在博客中，Descript透露未来可能会和OpenAI开展更为密切的合作。

打开神经网络的黑箱：DeepMind破解AlphaZero学习象棋知识机理

理解神经网络的学习机制，明确知识的量化表示方式等是研究者探索智能的重要途径。近日DeepMind、谷歌等机构研究者破解AlphaZero学习国际象棋的机理。他们构建了人类理解国际象棋的函数c(z^0)，并通过国际象棋引擎Stockfish 8的评分进行参考。z0指的是象棋的特定排布情况。同时，设定广义线性函数g(z^d)，对AlphaZero中不同层取值进行追踪，在模型训练的过程中，g(z^d)趋近c(z^0)。研究者通过观察二者的近似情况，了解AlphaZero是否学到了象棋的概念。

在十万盘游戏的训练过程中，AlphaZero的分数随训练步数和其模型（ResNet）的Block数量增加而增加，但在一些情况下，由于AlphaZero的价值函数和参考系统有所不同，所以显示出了AI和人类对棋局判断的差异。此外，在训练过程中，模型逐渐对某些变量（如国王、王后等棋子的重要性）赋予更高权重，这体现出AI学习重要概念的能力，这些变量包括国王的安全性、总战力等。目前该研究已被PNAS收录。

社区活动

1. 报名 | 北京交通大学魏云超：连续学习下像素理解的相关算法介绍（青源会，11月24日）

2. 报名 | 第一届机器学习算法与自然语言处理大会（MLNLP 2022,11月26日）

3. 回放 | 黄铁军、韩焱对话AI未来引领者、《千脑智能》作者Jeff Hawkins

4. 回放 | 马毅研究组NeurIPS 2022新作：稀疏卷积性能和稳健性超越ResNet

5. 回放 | IDEA研究院杨平：统一自然语言理解任务为多项式选择任务

---

查看预训练、强化学习等领域周刊内容，欢迎点击阅读原文。

招聘、活动、推广等合作，请联系：[email protected]