微软开源 Phi-3.5 视觉模型

微软开源 Phi-3.5 视觉模型_第1张图片

微软刚刚发布了 Phi 3.5 系列模型,一个小型模型 ("Mini")、一个混合模型 ("MoE") 和一个视觉模型。下面是关键总结:

  • Phi 3.5 Mini:
    • 3.8B 参数,性能超过 Llama 3.1 (8B) 和 Mistral 7B,接近 Mistral NeMo 12B。
    • 支持多种语言,使用了包含 32,000 个词汇的分词器。
    • 512 个 H100 GPU,3.4 万亿个 tokens 训练了 10 天。
  • Phi 3.5 MoE:
    • 16x3.8B 参数, 128K context,性能超过 Gemini Flash。
    • 512 个 H100 GPU,4.9 万亿个 tokens,训练了 23 天。
  • Ph3.5 Vision
    • 4.2B 参数,超越 GPT4o,
    • 256 个 H100 GPU,5000 亿个 tokens,训练了 6 天。

最关键的是基于 MIT ,几乎是最宽松的开源协议了,微软大善人。这下除了 CloseAI,大家都是 OpenAI

你可能感兴趣的:(三花AI,microsoft,人工智能,深度学习)