【AI周报】DeepMind用700亿打败大数据库;OpenAI的DALL·E可二次创作;CVPR 2022论文分享
01行业大事件语言模型参数越多越好?DeepMind用700亿打败自家2800亿,训练优化出「小」模型给定固定的FLOPs预算,应该如何权衡模型大小和训练token的数量?DeepMind得出了与先前不同的结论。最近一系列大型语言模型(LLM)正在崛起,其中最大的语言模型已经拥有超过5000亿个参数。这些大型自回归transformer通过使用各种评估协议(例如零样本、少样本和微调),在许多任务中