数据科学简讯 2023-04-14

---

头条

---

埃隆·马斯克 (Elon Musk) 正在Twitter上推进一个AIGC项目

尽管最近支持暂停人工智能培训，埃隆·马斯克似乎正在 Twitter 上酝酿一个人工智能项目。他购买了大约 10,000 个 GPU，并且一直在聘请 AI 专家，同时探索与 ChatGPT 竞争的可能性。 Twitter 的这种生成式 AI 的确切用途尚不清楚，但它有可能用于增强搜索功能或广告。

免费的 Dolly，商业上可行的指令调整模型

在发布 Dolly 1.0 两周后，Databricks 发布了他们模型的下一个版本： Dolly 2 。该模型是基于 EleutherAI Pythia 模型的开放式指令调优模型。它已经在一个新的商业上可行的数据集上进行了指令调整。目前尚不清楚它与基于 llama 的模型或 GPT 3.5 turbo 相比如何，但比以前更开放的工作总是会令人感兴趣。

---

研究

---

Agents for science

语言模型充当工具（可能是其他语言模型）规划器的想法在社区中越来越受欢迎。本质就是让一个中央的、强大的语言模型（例如 GPT-4）可以访问一组工具。这些工具可以是网络搜索、文档、python 引擎。在这些额外功能的支持下，LLM 模型能够合成化学物质、推理反应，甚至拒绝合成海洛因—。

资源高效型 CLIP

RECLIP 为 CLIP 预训练引入了一种资源高效的方法，该方法利用小图像进行大规模语言监督并使用高分辨率数据进行微调。该方法实现了具有竞争力的零样本分类和图像文本检索精度，同时使用比基线少 6-8 倍的计算资源和 7-9 倍的 FLOP，使其更容易为更广泛的研究社区所用。

Multilingual ChatGPT

本研究评估了 ChatGPT 在 7 项任务和 37 种语言中的有效性，以更好地了解其多语言功能。尽管在英语方面取得了成功，但 ChatGPT 在各种 NLP 任务和语言方面的表现都比以前的模型差，这突出表明需要进一步研究开发更有效的多语言学习模型。

---

工程

---

Deepspeed Chat (GitHub Repo)

Deepspeed 是最好的分布式训练开源框架之一。他们整合了研究论文中的许多最佳方法。他们发布了一个名为 DeepSpeed Chat 的新工具——它执行获得完全 RLHF 模型所需的 3 步过程。这 3 个步骤是：监督微调、奖励模型训练和 RL 步骤。由于底层工具的强大功能，DeepSpeed Chat 比其他框架快 15 倍，并且可以扩展到具有数十亿参数的模型。

Wombat：从 RLHF 到 RRHF，以“正确”的方式调整人类偏好 (GitHub Repo)

新颖的 RRHF 学习范式有效地将语言模型输出与人类偏好对齐，需要更少的模型并提供更简单的 PPO 替代方案。在 LLaMA 和 Alpaca 数据集上进行评估，RRHF 展示了与 PPO 相当的性能，同时在训练中简化了对齐过程。

Engshell (GitHub Repo)

Engshell 是适用于任何操作系统的英语 shell，由 LLM 提供支持。

ChatGPT Concierge Bot (GitHub Repo)

这是一个使用 ChatGPT 和 Whisper AI 的 Telegram 机器人。

---

杂七杂八

---

日本读心术人工智能研究引发伦理争论

本文介绍了日本在 AI 研究方面的一项突破，它提出了读心技术的可能性，引发了关于潜在伦理问题以及对隐私、监视和个人自主权的影响的辩论。

Open-Source Leak 如何导致开源 ChatGPT 爆炸式增长

本文介绍了“骆驼效应”，这是 AI 研究中的一个意外发现，它导致机器学习模型和算法取得重大进展，最终彻底改变了该领域，并为 AI 应用带来了新的可能性。

我希望 GPT4 从未发生过

本文以非常人性化的视角审视了 GPT4 的经济影响

流媒体服务商敦促取缔AI音乐

环球音乐集团已告知包括 Spotify 和苹果在内的流媒体平台，阻止人工智能服务从其受版权保护的歌曲中抓取旋律和歌词。

分割网络上的任何内容

Web AI 使用 JavaScript 和 onyx 运行时在浏览器中运行 ML 模型。这是在浏览器中运行的流行段任何模型的示例。

一致性模型 (GitHub Repo)

这个 repo 包含 OpenAI 发布的最新一致性模型的代码库。