智源社区AI周刊No.105：谷歌FLAN-T5 30亿参数即超越GPT-3性能；Copilot推出语音编程新功能，但面临诉讼...

社区周刊今日改版！汇聚每周AI热点，不错过重要资讯！欢迎扫码，关注并订阅智源社区AI周刊。

提示工程模拟人类思考模式，推理等任务迎来曙光

谷歌近日发布的新提示工程方法，再次说明了数据和训练方式对大模型性能的影响。今年早些时候提出的Chain-of-Thought（CoT）方法，结合其他指令微调方式，在PaLM、T5等模型上进行了验证，让30亿规模的模型性能超过了1750亿的GPT-3。智源社区也邀请了该论文通讯作者侯乐做报告分享。

同时，Self-consistency和Least-to-most方法，模仿了人类在推理中的多策略投票和复杂问题拆解机制，或许在将来也能够在大模型上进行验证。提示工程融合人类思维模式的方法，相比单纯的无监督语料学习提供给了大模型更多建模人类思考方式的能力。

争议中，Copilot商业化高歌猛进，已成为GitHub核心AI应用

基于代码生成模型Codex的应用Copilot，在诞生之初就被发现会生成训练用的源代码，相当于直接“抄袭”。近日，Copilot的开发商OpenAI、微软以及GitHub遭到集体诉讼，原告方要求其赔偿90亿美元。对于AI机构而言，从最保守的角度出发，AI模型的训练数据应当排除任何版权和许可证方面的争议。因为即使输出的结果和输入完全不一样，模型的内部参数依然可被视为是输入数据的知识产权延伸。

另一方面，Copilot在商业领域高歌猛进，其注册用户数量已经超过了一百万。GitHub也推出了基于Copilot的AI结对编程平台。而近日的GitHub Universe 2022开发者大会上，Copilot推出了语音交互编程新功能——开发者只需要说一声“嘿，GitHub！”就可以使用语音进行编程了，这被认为是帮助残障人士实现编程的一项创新举措。在Azure官网上已出现了名为OpenAI Services服务项目，包括Copilot的应用案例。这说明，即使是在创新力十足的IT行业，只要有重复性的人力劳动场景，就有可以进入的场景和落地空间。

顺便一提，Hugging Face的BigCode项目推出了名为“The Stack”的代码数据集，包含30种编程语言，数据量高达3.1TB。这些代码都是根据许可证进行筛选的，没有版权争议。同时，开发者可以要求从数据集中移除自己的代码。

科技巨头裁员潮或影响AI行业，“发Paper就完事”不是行业常态

上周，执掌推特的马斯克裁掉了90%的AI团队人员，AI伦理、负责任的人工智能、算法透明度等团队无人幸免。这周，Meta的扎克伯格裁员一万多人，微软、苹果等也纷纷冻结招聘。目前巍然不动的，似乎就是谷歌，最近还推出了多款基于AI模型的应用供用户使用。

谷歌研发的大量模型和新技术，往往都能找到应用场景。早先的BERT模型，很快就被用于优化搜索业务。5400亿参数的大模型PaLM，现在已经是具身智能领域的核心模型（PaLM-SayCan），最近还衍生出了Code as Policies，距离应用只有几步之遥。而OpenAI在后期专攻大模型研发和应用，如今已在市场站稳脚跟。发论文不是企业的核心诉求，企业人员除了科研能力，工程、项目组织管理和市场推广能力等同样关键。

---

查看预训练、强化学习等领域周刊内容，欢迎点击阅读原文。

智源社区招聘、活动、推广等合作，请联系：[email protected]