数据科学简讯 2023-03-09

---

头条

---

Salesforce 2.5 亿美元成立人工智能基金

这支新基金最初投资于 Cohere、Anthropic、You.com 和 HealthAI，将专注于全面加速生成人工智能公司。他们希望与会影响用户日常工作流程的公司合作。

Stability AI 收购 ClipDrop

从 2020 年开始，ClipDrop 是一款出色的计算机视觉应用程序，可让您使用各种 AI 增强工具编辑图像。他们计划将未来的 Stability 模型本地集成到已经拥有超过 1500 万用户的 ClipDrop 中。

机器学习 2022 竞争状态

竞争性 ML 是一个不断发展的领域，通常很难跟上，以下是 2022 年的一些亮点。 Kaggle 仍然是数据科学竞赛最主要的平台，但还有其他平台也有不错的奖金。 Python 是最常用的语言，96% 的深度学习解决方案使用 PyTorch——高于前一年的 77%。 NLP 比赛的获胜者使用 Transformers，而计算机视觉解决方案主要使用 CNN。表格数据竞赛主要由 GBDT 赢得，其中 LightGBM 最受欢迎。一半的比赛获胜者是首次获胜者。

---

研究

---

PALM-e

“正迁移”一词在某种程度上是大型模型的圣杯。这意味着当你训练两种模式时，你会获得比只训练一种或另一种模式更好的表现。谷歌的这篇论文表明，机器人控制、视频和文本的训练显示了域之间的正迁移。这被假设为模型规模的函数，这个模型是一个令人印象深刻的 5620 亿个参数。

Prismer：具有多模态专家的视觉语言模型

文章讨论了视觉语言学习中使用的大型预训练模型的高计算和数据要求，需要训练大量的图像文本数据。拟议的替代方法涉及为特定任务使用单独的子网络或“专家”，允许使用单个大型网络无法实现的特定领域数据和架构。所提出的模型 Prismer 是一种视觉条件自回归文本生成模型，它利用强大的纯视觉和纯语言模型以及特定模态视觉专家来完成开放式视觉语言推理任务。专家模型经过预训练和冻结，并通过轻量级可训练组件连接，仅占网络总参数的 20%，从而提高了训练效率和可扩展性。

---

工程

---

Davinci Functions (GitHub repo)

您希望使用大型语言模型（例如 text-divinci-003）执行一些常见的操作，例如编写列表、回答问题或验证陈述。这个 repo 提供了一些简单的工具来完成这些任务。这是在这些模型之上构建抽象层的一个很酷的步骤。

目前最好的Attention-Free长上下文语言模型的代码(GitHub repo)

在 S4 在远程竞技场基准测试中表现出色后，SSM 文献最近受到了越来越多的关注。该系列的最新工作已经缩小了语言建模任务与基于注意力的 Transformers 之间的差距，同时扩展到 10 倍长的上下文，100 倍的速度。

Nerflets：用于 2D 监督的高效结构感知 3D 场景表示的局部辐射场

该论文介绍了“Nerflets”，这是一种局部神经辐射场，可以有效地表示 3D 场景并具有结构意识。 Nerflets 由多个神经辐射场组成，这些神经辐射场保持自己的空间位置、方向和范围，以促进全景、密度和辐射重建。通过仅使用光度和推断的全景图像监督，Nerflets 允许从任意视图中提取全景和光度渲染，并启用 NeRF 罕见的任务，例如 3D 全景分割和交互式编辑。实验表明，Nerflet 比传统的全局 NeRF 更有效地拟合和逼近场景。

---

杂七杂八

---

SGD in SQL

希望降低 MLOps 的复杂性？只需将所有内容写入数据库！这篇有趣的小文章将这个想法发挥到了极致，并用 SQL 编写了梯度计算。

扩展 AI：为什么数据将为 AI 革命提供动力

Index Ventures 的这篇文章介绍了 Scale AI 的故事，Scale AI 是过去 5 年最成功的 AI 初创公司之一。 Scale AI 是人工智能的数据平台，为领先的机器学习团队提供高质量的训练数据。它由 Alexander Wang 在他 19 岁时创立，现在价值超过 70 亿美元。这篇文章讨论了 Scale 是如何起步的，是什么让它如此成功，以及公司和 AI 作为一个整体的发展方向。

AI-Native 初创公司的注意事项

随着大型语言模型在过去一年呈爆炸式增长，许多初创公司已开始构建 AI 原生应用程序以颠覆行业。作为关于护城河和防御性讨论的一部分，有很多人在谈论其中有多少只是“OpenAI 上的包装器”。本文深入探讨了 AI 原生初创公司应如何考虑护城河、防御能力等。

不要害怕人工智能引发的就业末日

这篇文章证明，由于西方的自动化程度太低，而不是太多，人工智能不太可能导致大规模失业。

风投对人工智能持怀疑态度

风险资本家对人工智能的盈利潜力存在一些担忧，他们最终担心的是加密技术的重演。

范畴论机器学习 (GitHub Repo)

这个 GitHub 存储库是类别理论论文的集合。

StableDiffusion-插件(GitHub Repo)

StableDiffusion-Plugin 允许您直接在 Photoshop 中使用 Automatic1111 Stable Diffusion 的功能，而无需在程序之间切换。