《向量数据库》——为何向量数据库对大模型LLM很重要？

当您浏览Twitter、LinkedIn或新闻源上的时间轴时，可能会看到一些关于聊天机器人、LLM和GPT的内容。因为每周都有新的LLM发布，很多人都在谈论LLM。

我们目前置身于一场人工智能革命，许多新应用都依赖于向量嵌入。不妨让我们更多地了解向量数据库以及为什么它们对LLM很重要。

向量数据库的定义

不妨先定义向量嵌入（Vector Embedding）。向量嵌入是一种数据表示，它携带语义信息，帮助人工智能系统更好地理解数据，并能够保持长期记忆。对于任何您想学的新东西，最重要的部分是理解并记住主题。

嵌入是由人工智能模型生成的，比如含有大量特征的LLM，这使得它们的表示难以管理。嵌入表示数据的不同维度，以帮助AI模型理解不同的关系、模式和隐藏结构。

使用基于标量的传统数据库的向量嵌入是一个挑战，因为它无法处理或跟上数据的规模和复杂性。鉴于向量嵌入具有的种种复杂性，不难想象它需要专门的数据库。这时候向量数据库就有了用武之地。