谷歌史上最强AI模型“双子星座“来了，但这又怎样？

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

最近，谷歌大张旗鼓地推出了其最新的AI模型“双子星座”，这个被设计来与OpenAI竞争的模型，一开始就给人留下了深刻的印象。它不仅有着出色的基准测试成绩，还有一段光鲜亮丽的视频演示，且立即提供了一个简化版本供使用，这一切都显示出谷歌的自信。

然而，当AI工程师和爱好者仔细研究细节时，这股积极情绪很快就变了味。尽管“双子星座”是一个令人印象深刻的新进入者，可能最终会削弱GPT-4的主导地位，但谷歌含糊其辞的信息传递让它不得不开始进行辩护。

北美一家大型零售商的首席AI工程师艾玛·马蒂斯（Emma Matthies）谈到这个问题时说：“现在还有很多问题没有答案。”她指出，“我发现谷歌的‘双子星座’视频演示与谷歌技术博客中的细节存在不连贯之处。”

谷歌的“双子星座”演示引发了批评。AI开发者注意到了其中的不一致之处。这个名为“亲身体验双子星座”的演示在YouTube上与“双子星座”的发布同时推出。它节奏快、友好、有趣，还包含了许多易于理解的视觉示例。但它也夸大了“双子星座”的工作方式。

谷歌的一位代表表示，演示“展示了真实的‘双子星座’提示和输出。”但视频的编辑省略了一些细节。与“双子星座”的交互是通过文本进行的，而不是语音，AI解决的视觉问题是通过图像输入的，而不是实时视频。谷歌的博客还描述了演示中未显示的提示。当被要求识别基于手势的剪刀石头布游戏时，“双子星座”被给了一个提示：“这是一个游戏。”但演示省略了这个提示。

这只是谷歌问题的开始。AI开发者很快意识到，“双子星座”的能力并没有起初看起来那么革命性。

“如果你看看GPT-4 Vision的能力，并为其构建合适的界面，它与‘双子星座’相似，”马蒂斯说。“我做过类似的边缘项目，社交媒体上也有类似的实验，比如‘大卫·阿滕伯勒正在解说我的生活’的视频，非常有趣。”

在“双子星座”发布五天后的12月11日，一位名叫格雷格·萨德茨基（Greg Sadetsky）的AI开发者用GPT-4 Vision粗略地重现了“双子星座”的演示。随后，他进行了“双子星座”与GPT-4 Vision之间的头对头比较，结果对谷歌不利。

谷歌在基准数据方面也遭到批评。作为家族中最大的三个模型之一，“双子星座Ultra”号称在多种基准测试中胜过GPT-4。这在很大程度上是正确的，但引用的数据被精心挑选，以使“双子星座”显得更加优秀。

谷歌在测量性能时使用的方法与其他人不同。用户如何提示AI模型会影响其性能，且只有在使用相同的提示策略时，结果才具有可比性。

GPT-4在一个名为大规模多任务语言理解（MMLU）的基准测试上的表现是使用所谓的少量提示（few shot prompting）来衡量的。不提供背景信息地提问被称为“零次提示”（zero-shot prompt），而提供几个示例则是“少量提示”（few-shot prompt）。

另一种方法是引导AI模型通过推理找到答案。Guildhawk的首席人工智能工程师理查德·戴维斯（Richard Davies）指出，“双子星座”是使用这样的链式推理方法进行测量的。“这不是一个公平的比较。”

谷歌关于“双子星座”的论文提供了一系列比较，但其营销活动比较了不同的策略，以使其结果看起来更好。它还完全专注于尚未向公众开放的“双子星座Ultra”。目前唯一可用的“双子星座Pro”提供的结果不那么令人印象深刻。

尽管信息传递上有失误，“双子星座”仍给人留下深刻印象。关于“双子星座”介绍的问题给其公告投下了阴影。然而，撇开不真诚的营销不谈，“双子星座”仍然是一个令人印象深刻的成就。

“双子星座”是多模态的，这意味着它可以在文本、图像、音频、代码和其他媒体形式上进行推理。这并不是“双子星座”所独有的，但大多数多模态模型要么不公开，要么难以使用，或者专注于特定任务。这使得OpenAI的GPT-4在这个领域占据主导地位。

马蒂斯说：“至少，我期待有一个强大的替代品和GPT-4及其新的GPT-4视觉模型的有力竞争者，因为目前还没有同类产品。”

戴维斯对“双子星座”的基准表现感到好奇，尽管挑选了数据，但在几个类似的场景中显示出显著的改进。

“从GPT-4的86.4%提高到‘双子星座’的90%，大约有4%的提升。但就实际减少的错误量而言，它减少了超过20%……这是相当多的。”戴维斯说。即使是小幅度的错误减少，在每天接收数百万请求的模型中也会产生巨大影响。

“双子星座”的命运尚未确定，它取决于两个未知数：“双子星座Ultra”的发布日期和OpenAI的GPT-5。虽然用户现在可以尝试“双子星座Pro”，但其更大的兄弟姐妹要到2024年某个时候才会发布。AI发展的快速步伐使得很难说“Ultra”一旦到来将如何表现，并且给了OpenAI充裕的时间来用一个新模型或GPT-4的改进版本作出回应。