构建 AI 应用：开源 infra 项目指南

近半年，AI 相关工具的发布不断更新了大家的认知，好用的新工具在不断涌现，搭建 AI 应用的门槛在逐渐降低，方便开发者更简单快速地构建酷炫项目 - 因此，我们收集了一些可以直接拿来构建 AI 应用的开源 infra 项目。

Chroma

出道半年，Chroma 今年四月初宣布了 1800 万美金种子轮。它是一个向量嵌入（embedding）存储，嵌入是 AI 原生表示不同类型数据的方式，因此也是与 AI 驱动的工具和算法的完美选择。
虽然已经有不少向量数据库解决方案，但 Chroma 团队认为都不够开发环境友好（没有找到想要的东西，所以就自己来写一个），它内置了你搭建 AI 应用在嵌入存储方面会需要的所有东西，只要 pip install chromadb 就可以了，无需配置或者额外安装别的东西。

因为羡慕，所以再来看一眼他们星光璀璨的资方列表。

Langchain

LangChain 2022 年 10 月发布，是一个能使开发 AI 应用程序更加灵活的框架。
LLM 虽然可以执行许多任务，但无法为某个深入领域知识或专业知识的问题提供具体答案。LangChain 可以看作是个衔接工具，方便开发者将不同的 prompt "链" (chain) 在一起⛓️。链条可以由多个模块的多个组件组成，包括：

大型语言模型（LLMs）：比如 GPT-3, BLOOM 等。
代理：决定应该采取什么行动。可以使用网络搜索或计算器等工具，并将所有的操作打包成一个逻辑循环。
记忆：短期或长期记忆。

你可以把一连串命令连在一起，这样 AI 模型就可以知道它需要做什么，产生什么答案，或者执行什么任务了。

比如 Chroma 和 LangChain 就可以无缝一起运行：开发者使用 LangChain 构建 LLM 应用程序背后由 Chroma 提供动力。

GPTCache

GPTCache 是 Zilliz 开发的 LLM 语义缓存层。

比如你开发的 AI Chatbot 越来越受欢迎，流量逐渐变大，可能会出现的问题包括调用 API 的费用变高，响应速度变慢。GPTCache 就是为了解决这类问题而诞生的，其实 Zilliz 开源 GPTCache 也是因为他们的问答机器人 OSSChat 遇到了性能逐步下降、服务费用不断增加的情况。

除了提升性能和节省开销，用户可以根据自己的需求（输入类型，输出格式，响应长度等）自定义缓存规则，最大化缓存效率。以及 - GPTCache 也已经跟 LangChain 完全集成了。

Dify

Dify.AI 是一个开箱即用的 LLMOps 平台，提供了可视化的 prompt 编排，运营，数据集管理等功能，创建有用的 AI 应用变得更加方便了。

它提供了一些常用的应用模板（比如他们就有一个 SQL Creator 的模板，可以给你生成 SQL 语句）

所以即便不是开发同学，也可以自己做简单的 LLM 应用并且直接给别人使用，进阶一点可以接入自己数据集，选择 LLM 模型，数据标注等等，开发者之后可以持续改进和调整 prompt。

Stable Diffusion

Stable Diffusion 是由 stability.ai 开发的一个 ML 模型，可以从文本中生成图像。stability.ai 去年十月已经完成了 1.01 亿美元的融资，它可以在你自己的机子上跑（对显卡要求可能比较高），其它一样出名的 AI 作画模型包括 DALL·E 2 和 Midjourney，看了一些对比，感觉每家都各有千秋，只能说各取所需吧。
Stable Diffusion 是开源的，所以基于或围绕它的项目也很多，比如 Stable Diffusion 的 prompt 搜索引擎，Figma 和 PS 的插件等等。

前不久，Stability AI 宣布开源了 AI 图像生成平台 StableStudio，也是 DreamStudio 的开源版本，背后的模型是最新的 SDXL，可以在线生成，编辑，修复 AI 图像了，这是要 one up Midjourney 的节奏吗️。

总结一下

看了一眼这些项目的 Star History，发现这些项目的共同特点就是都很年轻，发布时间最早的至今也不满一年，去年六月想可能都是脑洞大开的事儿，今年已经变成我们日常生活工作不可少的一部分了。

因为 Stable Diffusion 有个 head start... 我们去掉它，对齐一下时间线再来看看

合理多了！之前也说到过 AIGC 的爆发带动了许多附属产品和生态的增长，接下来大火的产品又会是什么呢？
P.S. - 如果你用过提到的工具，欢迎留个言呀！

你可以访问官网：https://www.bytebase.com/，免费注册云账号，立即体验 Bytebase。