龙头老大OpenAI在和谷歌等其他同行“掰头”的时候，有一家“业界清流”公司

Mistral AI——法国初创公司，该公司由来自 Google DeepMind 和 Meta 的顶级 AI 专家创立，专注于开发生成式 AI 技术。Mistral AI 在成立仅半年时间内就完成了3.85亿欧元的 A 轮融资，估值突破20亿美元，成为备受关注的 AI 公司之一。与 OpenAI 等公司不同的是，Mistral AI 坚持推广开源软件方法，允许用户自由复制、修改和再利用其计算机代码，为外部开发者提供支持。

AIGC专区：aigc
更多消息：AI人工智能行业动态，aigc应用领域资讯
注册试用测试平台网址链接：Sign in
详细论文网址链接：https://huggingface.co/blog/mixtral#about-the-name
官方介绍网址链接：Mixtral of experts | Mistral AI | Open source models

值得一提的是，成立仅一个月，还没有公布产品、彼时只有6名员工的Mistral AI，就曾凭借7页PPT“神话”般拿下1.13亿美元种子轮融资，轰动整个欧洲AI行业。 而规模这么小的Mistral AI，是如何用其高效能的强大AI模型征服十几家头部VC，又如何践行开源理念，赢得广大开发者社区潮水般的支持和肯定？这些都与公司的创始团队有分不开的联系。

Mistral AI 发布的一款名为 Mixtral 8x7B 的开源模型，该模型在性能上超越了700亿参数的 Llama 2 70B，并且拥有更高的推理速度。该模型的开源发布方式简单直接，引发了广大开发者的兴趣和关注。Mistral AI 也因此得到了开发者社区的肯定，被认为是开放模型革命的引领者。

Mistral AI的三位联合创始人中，首席执行官Arthur Mensch（中）曾任Google DeepMind的研究员，参与了包括Flamingo、Chinchilla、Gopher在内的多个DeepMind经典模型，也是Flamingo和Chinchilla的核心贡献者，对多模态、RAG、算法优化等技术有深刻理解。

首席技术官Timothée Lacroix（右）和首席科学家Guillaume Lample（左）此前都是Meta巴黎人工智能实验室的核心研究人员，两人对模型推理、预训练和模型嵌入有深入研究，是Llama和Llama2的核心技术贡献者，并发表过多篇重要学术论文。他们的前东家Meta也恰恰是鼓励开源的代表公司之一。

Mistral AI团队聚集了来自Meta、Hugging Face、Deepmind等AI巨头的科学家，团队高效配合，拥有商务和政策顾问支持。最近，他们在社交平台上以直接方式发布了引爆开源社区的MoE开源模型 Mixtral 8x7B，令人瞩目。

没有 OpenAI一贯的暧昧戏码和花式推拉、也没有Google发布Gemini时精心剪辑的“特效视频”，甚至连一句介绍语都没有。Mistral AI的官宣方式如此朴实无华，简单粗暴。秉持着“能干成一件事儿就绝不跟你多废话一个字”的作风，成为AI圈特立独行的“一股清流”。

这里简单解释一下MoE，全称为Mixture of Experts（混合专家模型），就是把复杂的分析预测任务分割成一系列更小、更容易处理的子任务，每个子任务由符合该特定领域的“专家”负责。MoE架构不仅能提高模型处理信息的效率，还降低了运行成本。

据说OpenAI从去年开始就在用这种方法来训练GPT-4， Mistral AI则正是致力于为企业提供一种“无限接近”GPT-4的开源选择。

具体到链接里的Mixtral 8x7B，总参数为46.7B，但每个令牌只使用12.9B。因此，它以与12.9B模型相同的速度和成本处理输入并生成输出。Mistral 8x7B拥有32k Tokens上下文长度，支持英语、法语、意大利语、德语和西班牙语。在代码生成方面表现出色，还支持微调为指令跟随模型，并采用 Apache 2.0许可证开源商用。

性能方面，Mixtral 8x7B在大多数基准测试上都超越了700亿参数的Llama 2 70B，推理速度提高6倍。在模拟真实世界对话场景、评估大语言连贯性和信息丰富的MT-Bench测试中，它达到了8.30的分数，其性能可与GPT3.5媲美，成为最好的开源模型。

Mistral AI称是一支行动迅速、高工作强度和透明度的团队，旨在将强大的生成式AI技术开源，并通过应用驱动实现模型对现实世界的实质帮助。他们希望成为开放式AI社区的领先支持者，将开源模型推向最先进的性能水平。与竞争对手不同，Mistral AI坚信开源是引领生成式AI革命的必然路径，认为社区支持的模型开发能够接受严格审查，抗击偏见，构建一个可信的替代方案，对抗AI寡头。CEO Arthur Mensch强调，过早进入闭源阶段对科学发展是有害的，开源模型可以精细地适应各行业垂直领域，允许开发者自定义护栏和编辑语气，避免依赖API提供者的选择和偏见。在AI行业巨头垄断的时代，Mistral AI的开源共享精神备受开发者拥戴，人们对其加速开源领域创新的期望与兴奋。