Google震撼发布gemini双子座多模态大模型，性能直逼GPT-4

Gemini 是Google发布的一个多模态模型 ，它是从头开始构建的多模态大模型。这意味着Gemini可以概括和无缝地理解、操作和组合不同类型的信息，包括文本、代码、音频、图像和视频。

Gemini 也是Google迄今为止最灵活的大模型 - 能够从数据处理中心到移动设备的所有设备上高效运行。针对三种不同的尺寸优化了 Gemini 1.0版本

Gemini Ultra——最大、最有能力的模型，适用于高度复杂的任务。

Gemini Pro——可扩展各种任务的最佳模型。

Gemini Nano——最高效的移动设备端任务模型。

从自然图像、音频和视频理解到数学推理，Gemini Ultra 的性能在大型语言模型 (LLM) 广泛使用的32个学术基准中的 30 个基准上超过了当前最先进的模型。Gemini Ultra 的得分高达 90.0%，是第一个在MMLU（大规模多任务语言理解）上超越人类专家的模型，该模型结合了数学、物理、历史、法律、医学和伦理学等 57 个科目来测试知识理解和解决问题的能力。

Gemini 在文本和编码等一系列基准测试中超越了最先进的性能

Gemini Ultra 还在新的MMMU基准测试中取得了 59.4% 的最先进分数，该基准测试由跨越不同领域、需要极强推理性能的多模态任务组成。Gemini Ultra 的性能优于以前最先进的模型，无需光学字符识别 (OCR) 系统，即可从图像中提取文本以进行进一步处理。

Gemini 在一系列多模式基准测试中超越了最先进的性能

Gemini 1.0 经过训练，可以同时识别和理解文本、图像、音频，视频等，因此Gemini可以更好地理解更多微妙的信息，并可以回答与复杂主题相关的问题。这使得Gemini特别擅长解释数学和物理等复杂学科的推理问题。

Gemini 可以理解、解释和生成世界上最流行的编程语言（如 Python、Java、C++ 和 Go）的高质量代码。Gemini Ultra 在多个编码基准测试中表现出色，包括HumanEval（用于评估编码任务性能的重要行业标准）和 Natural2Code（google内部的数据集）。Gemini 还可以用作更高级编码系统的引擎。使用 Gemini 的专门版本，创建了更先进的代码生成系统AlphaCode 2，它擅长解决超出编码范围、涉及复杂数学和理论计算机科学的编程问题。

与第一代AlphaCode相比，AlphaCode2表现的更加出色，其推理能力与解决问题的能力大大超过了第一代AlphaCode。

AlphaCode2

随着google这种强有力的科技公司加入大模型模型的竞争，相信未来大家选择的模型不仅是GPT系列的模型。

随着GPT-4模型以及Gemini模型的发布，更多多模态模型会随之出现，虽然很多模型目前支持文本与图片，但是像Gemini这样，不仅可以支持文本与图片，更是支持音频，视频等信息，让多模态模型更进了一步。而多模态模型的思考方式越来越像人类的思考方式，是否会存在大模型意识问题以及安全问题，还需要经过时间的验证。

更多transformer，VIT，swin tranformer
参考头条号：人工智能研究所
v号：启示AI科技
微信中复制如下链接，打开，免费体验chatgpt
 
https://wx2.expostar.cn/qz/pages/manor/index?id=1137&share_from_id=79482&sid=24

动画详解transformer