YaRN方法：无需微调，高效扩展语言模型上下文窗口/蚂蚁集团与浙大发布原生安全框架v1.0，引领企业网络安全新时代 ｜魔法半周报

我有魔法✨为你劈开信息大海❗

高效获取AIGC的热门事件，更新AIGC的最新动态，生成相应的魔法简报，节省阅读时间

---

资讯预览

• YaRN方法：无需微调，高效扩展语言模型上下文窗口

• 蚂蚁集团与浙江大学发布原生安全框架v1.0，引领企业网络安全新时代

• OpenAI DevDay：开发者大会即将于2023年11月6日在旧金山盛大举行

• 谷歌CEO指出，人工智能是谷歌未来十年的关键

• 谷歌新技术让机器狗听懂模糊指令，引发人们的好奇与期待

• 苹果投入百万美元加强Siri能力，致力于让iPhone用户通过简单命令完成复杂任务

魔法简报

YaRN方法：无需微调，高效扩展语言模型上下文窗口

近期研究中提出了一种名为YaRN（Yet another RoPE extensioN method）的方法，用于扩展基于Transformer的大型语言模型（LLM）的上下文窗口。该方法在不需要微调的情况下，通过插值和动态计算扩展度等技术，成功扩展了模型的上下文窗口。

实验结果显示，YaRN方法能够在较小的微调数据集上取得优异的表现，并且在长文档的困惑度评估中也胜过其他上下文窗口扩展方法。该方法的优点在于计算效率高、推理成本低，且不需要修改推理代码。研究者还发现了该方法的一些改进点，如NTK感知型插值、部分NTK插值和动态NTK插值等。

这些改进能够解决插值过程中丢失高频信息、局部距离损失和平均最小余弦相似度等问题，提高了模型的性能。通过YaRN方法，可以更好地扩展LLM模型的上下文窗口，从而提升其在自然语言处理任务中的表现。

蚂蚁集团与浙江大学发布原生安全框架v1.0，引领企业网络安全新时代

2023年9月8日，蚂蚁集团和《信息安全研究》杂志社联合主办的外滩大会网络安全分论坛在上海举行。会上，蚂蚁集团与浙江大学网络空间安全学院发布了原生安全范式框架v1.0。

该框架集成了探寻网络安全本源的技术思想和方法体系，包括OVTP可溯范式和NbSP零越范式两大安全范式，以及安全平行切面技术。此举旨在为企业安全架构设计提供指引，让原生安全从宏观要求走向实践。蚂蚁集团副总裁韦韬表示，现代化数字企业的架构复杂性不断增长，而网络安全保障的本源在于访问是否合法。

此外，论坛上还分享了来自奇安信、平安集团等单位的行业实践和最新研究，他们认为原生安全范式是一种高效能的安全实践，需要更多企业和机构参与技术共建和应用探索，共同打造高安全水平的网络空间。

OpenAI DevDay：开发者大会即将于2023年11月6日在旧金山盛大举行

OpenAI将于2023年11月6日在旧金山举办首届开发者大会OpenAI DevDay。这是一天的活动，将聚集来自世界各地的数百名开发者与OpenAI团队一起，预览新的工具并交流想法。与会者还可以参加由OpenAI技术人员主持的小组讨论会。

自2020年推出API以来，OpenAI不断更新API，包括最先进的模型，使开发者可以通过简单的API调用将尖端人工智能集成到项目中。如今，超过200万开发者正在使用GPT-4、GPT-3.5、DALL·E和Whisper，应用于各种用例，从将智能助手整合到现有应用程序中，到构建以前无法实现的全新应用和服务。

OpenAI的首席执行官Sam Altman表示：“我们期待展示我们最新的工作，以帮助开发者构建新的东西。”详细信息可访问devday.openai.com，并注册接收开放注册的通知。媒体人士如有意参加现场活动，请联系[email protected]。

谷歌CEO指出，人工智能是谷歌未来十年的关键

谷歌CEO桑达尔·皮查伊在谷歌25周岁生日的博客文章中指出，搜索依然是谷歌的核心，但是人工智能（AI）是谷歌在未来十年实现使命的关键。他回顾了过去25年来技术的进步，从父亲使用办公室电脑打印电子邮件到儿子通过手机快速交流的转变，展示了技术对生活的巨大影响。

谷歌从一开始就致力于整合全球信息，让所有人都能访问和使用，这个使命依然是他们的核心。人工智能是谷歌关注的重点之一，他们通过机器学习和大型语言模型等技术，改进搜索结果、提供新的搜索体验，并开发出一些令人兴奋的产品创新。

谷歌也非常重视负责任的技术发展，他们制定了人工智能原则，并与专家和社区合作，共同解决与人工智能相关的问题。在未来十年和更长时间里，谷歌将继续以人工智能为重点，通过解决各种问题和改善人们的生活来实现他们的使命。

谷歌新技术让机器狗听懂模糊指令，引发人们的好奇与期待

谷歌最近介绍了一项名为SayTap的方法，可以让机器狗听懂模糊的自然语言指令。该方法使用大型语言模型将指令转译成四足机器人的低层控制信号，使机器狗能够根据指令做出相应动作。

这项研究的贡献在于引入了足部接触模式作为自然语言指令与输出低层命令的桥梁，使交互式四足机器人系统更加灵活。研究者通过强化学习训练运动控制器，并使用LLM将用户指令转译成足部接触模式。实验结果表明，SayTap方法可以准确地将各种人类命令转译成接触模式，甚至能处理非结构化和模糊的指令。

研究者表示，未来的研究方向包括测试命令与特定感受的联系以及引入多模态输入。通过这项研究，可以看出技术正在以超乎想象的方式改善人们的生活，同时也为开发更多有趣的应用提供了可能性。

苹果投入百万美元加强Siri能力，致力于让iPhone用户通过简单命令完成复杂任务

苹果每天花几百万美元加强Siri的能力，通过人工智能研究来让iPhone用户能够通过简单的命令完成复杂的任务。苹果早在2019年就开始注重生成式AI技术，聘请了John Giannandrea等人才加强Siri的使用体验。

苹果的生成式AI团队目前正在构建基础模型，并且还有视觉智能和多模式人工智能团队。虽然苹果的生成式AI团队人数较少，但他们已经取得了Ajax GPT的研究成果，这个大语言模型的能力超过了Open AI的Chat GPT 3.5。苹果希望让Ajax GPT在终端上运行，以保护用户数据隐私。

然而，由于Ajax GPT的参数量较大，这对于苹果来说可能是一个难题。尽管目前还没有直接面向消费者的研究成果，苹果CEO Tim Cook表示对生成式AI非常感兴趣。

---

如果对AIGC感兴趣，请关注我们的微信公众号“我有魔法WYMF”，我们会定期分享AIGC最新咨询和经典论文精读分享，让我们一起交流学习！！