构建一个针对SQL数据的问答系统

在如今的数据驱动时代，能够从结构化数据中提取信息并进行自然语言问答的能力是极其重要的。在这篇文章中，我们将探索如何使用大型语言模型(LLM)创建一个问答系统来查询SQL数据库中的表格数据。我们将通过对比链条和代理的实现来理解不同的建模策略。

技术背景介绍

结构化数据与非结构化数据的查询截然不同。对于结构化数据，我们往往通过创建和执行SQL查询来获取答案。通过这个指南，我们将展示如何使用链条和代理来开发一个问答系统，帮助我们从数据库中自动提取信息并以自然语言回答用户的问题。

核心原理解析

这个系统的高层次步骤如下：

1. 问题转换为DSL查询: 模型将用户输入转化为SQL查询。
2. 执行SQL查询: 在数据库中执行查询。
3. 回答问题: 使用查询结果对用户输入进行响应。

在这个过程中，我们需要特别注意SQL查询的执行安全性。

代码实现演示

以下是实现问答系统的主要代码段，我们将通过使用langchain和SQLAlchemy库进行实现。

环境设置

首先，我们需要安装必要的软件包并设置环境变量：

import getpass
import os

# 安装必要的软件包
%pip install --upgrade --quiet langchain langchain-community langchain-openai faiss-cpu

# 设置API密钥
if not os.environ.get("OPENAI_API_KEY"):
    os.environ["OPENAI_API_KEY"] = getpass.getpass()

数据库连接

接下来，我们将使用SQLite数据库进行演示：

from langchain_community.utilities import SQLDatabase

# 连接到SQLite数据库
db = SQLDatabase.from_uri("sqlite:///Chinook.db")
print(db.dialect)
print(db.get_usable_table_names())

创建问答链条

我们将使用LangChain创建一个简单的问答链条，将问题转化为SQL查询并执行：

from langchain.chains import create_sql_query_chain
from langchain_openai import ChatOpenAI

# 使用OpenAI模型进行查询生成
llm = ChatOpenAI(model="gpt-4o-mini")
chain = create_sql_query_chain(llm, db)

# 执行查询
response = chain.invoke({"question": "How many employees are there"})
print(db.run(response))

使用代理提高复杂性

对于更复杂的查询需求，我们可以使用代理来动态生成和调整查询：

from langchain_community.agent_toolkits import SQLDatabaseToolkit

# 创建并配置代理工具包
toolkit = SQLDatabaseToolkit(db=db, llm=llm)
tools = toolkit.get_tools()

# 初始化代理执行器
from langgraph.prebuilt import create_react_agent
agent_executor = create_react_agent(llm, tools)

# 执行查询
for result in agent_executor.stream({"messages": [HumanMessage(content="Which country's customers spent the most?")]}):
    print(result)

应用场景分析

该问答系统可以广泛应用于企业数据分析、客户支持和商业智能中。通过将自然语言转化为数据库查询，用户可以更轻松地获取所需的信息，而不必了解底层数据库结构。

实践建议

在构建类似系统时，请务必注意数据库查询的安全性和API调用的合法性。确保最小化数据库权限并考虑在查询执行前加入人工审核步骤。

如果遇到问题欢迎在评论区交流。

—END—