用Python streamlit实现简单的AI 大模型对话对比器

前言

如何实现与AI大模型的对话？一种选择是登陆AI大模型厂商提供的对话网站或者App。另外，目前网络上还有很多开源的实现，比如Chatbox，Chathub，ChatALL等等。这些项目大多使用Typescript, Javascript，提供配置功能，大模型人设等功能。
这篇文章里，我们使用Python的几十行代码来实现一个简单的AI 大模型对话对比器。

功能介绍

这个AI大模型对话对比器包含与大模型对话和多个大模型对比的功能。

• 提供浏览器界面，供用户输入提示词和显示对话生成结果。
• 可以对比多个大模型 （目前代码示例为GPT3和GPT4）。
• 保存对话上下文直至手动清空。

界面如下：

大模型本身没有记忆功能。从截图中可以看到，程序本身可以记忆上下文，上文中的英文被输入给大模型，并在用户的要求下被大模型翻译成下文中的中文。

代码实现

这里要介绍一下Streamlit，使用它根本不需要任何前端代码，只需要纯Python就可以快速构建漂亮的Web应用。Streamlit很流行，甚至AI大模型也支持Streamlit代码。

文中这个简单的系统-AI 大模型对话对比器，只使用了几十行的Python代码，按照前端功能和后端功能分成两个文件。
你可以通过访问我的Github直接下载代码。

前端功能

前端功能主要包括输入提示词和显示大模型对话生成内容。在用户清空对话之前，保存对话的上下文，并作为输入调用后端功能。

首先确保在调试运行之前安装了streamlit:

$ pip install streamlit

前端功能的python文件 - aitalk.py

__author__ = 'liyane'

import streamlit as st
from aibackend import models, get_chat_response_from_all_models

# define page / 定义页面
st.set_page_config(layout="wide")
st.title(" AI大模型对话&对比器")

# save chat context by default / 默认可保存对话上下文
# clean chat context after click the reset button / "点击“清空所有对话”按钮后将清空上下文
reset_button = st.button("清空所有对话(Reset)")
if reset_button:
    st.session_state.messages = {model_id: [] for model_id in models}

# initialize column for each model / 初始化大模型对话栏
st_all_columns = st.columns(len(models))
model_to_column_map = {}
for i, model_id in enumerate(models):
    model_to_column_map[model_id] = st_all_columns[i]
for model_id, column in model_to_column_map.items():
    column_subheader=model_id+"("+models[model_id]+")"
    column.subheader(column_subheader)

# initialize streamlit session messages / 初始化会话
if "messages" not in st.session_state:
    st.session_state.messages = {model_id: [] for model_id in models}

# display chat history / 显示历史会话内容
for model_id, messages in st.session_state.messages.items():
    column = model_to_column_map[model_id]
    for message in messages:
        column.chat_message(message["role"]).write(message["content"])

# handle the prompt / 处理用户提示词
prompt = st.chat_input()
if prompt:
    # save and display the prompt / 将用户提示词储存在会话中，并显示在对话栏中
    for model_id, column in model_to_column_map.items():
        st.session_state.messages[model_id].append({"role": "user", "content": prompt})
        column.chat_message("user").write(prompt)
    
    # call backend function and save&display the output from AI model / 调用后端大模型生成接口，并存储和显示大模型的输出
    with st.spinner("AI正在思考中，请稍等..."):    
        response = get_chat_response_from_all_models(st.session_state.messages)
        for model_id, column in model_to_column_map.items():
            content = response[model_id]
            st.session_state.messages[model_id].append({"role": "assistant", "content": content})
            column.chat_message("assistant").write(content)

后端功能

后端功能主要包括定义大模型字典和与大模型的对话生成接口通信。
在运行示例文件之前，取保你将OPENAI_API_KEY和其他需要的环境变量写入到同目录的如下隐藏文件中。
.env

OPENAI_API_KEY="..."
OPENAI_BASE_URL="..." 

我使用的是GPT3 和 GPT4， 如果你需要使用其他的大模型，需要添加相关的代码。
apibackend.py

__author__ = 'liyane'

import os
from openai import OpenAI

# load .env for OPENAI_API_KEY / 加载 .env 到环境变量，其中包含OPENAI_API_KEY
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())

# configure OpenAI client/ 配置 OpenAI 服务
client = OpenAI()

# define dict for all AI models / 定义大模型ID和对应的实际名称
models = {"GPT4": "gpt-4-turbo-preview", "GPT3": "gpt-3.5-turbo"}

# loop all defined AI models / 循环调用所有大模型
def get_chat_response_from_all_models(messages):
    response_from_models = {}
    for model_id, model_dict in models.items():
        response = get_chat_response_from_gpt(messages[model_id], models[model_id])
        response_from_models[model_id] = response
    return response_from_models

# call OpenAI chat completioin API / 调用GPT大模型对话生成接口
def get_chat_response_from_gpt(messages, model):
    response = client.chat.completions.create(
        messages=messages,
        model=model
    )
    return response.choices[0].message.content

启动步骤

使用下面的命令启动：

$ streamlit run aitalk.py

然后访问如下地址：

http://localhost:8501/

streamlit还支持将项目免费部署于streamlit community cloud上边，通过互联网访问。

其他问题

如何只使用一个大模型？

代码调用GPT的接口是通用的。如果希望只使用GPT的模型之一，可以修改aibackend.py中models的定义。
修改之前：

# define dict for all AI models / 定义大模型ID和对应的实际名称
models = {"GPT4": "gpt-4-turbo-preview", "GPT3": "gpt-3.5-turbo"}

修改之后界面将只显示一个模型的对话栏。model的ID（比如GPT4）也可以修改。

# define dict for all AI models / 定义大模型ID和对应的实际名称
models = {"GPT4": "gpt-4-turbo-preview"}

参考

Streamlit / Streamlit Github
OpenAI