GPT4ALL私有化部署 06 _ 通过API多轮对话

在看此篇之前你需要先看前几篇，分别是：
GPT4ALL私有化部署 01 | Python环境
GPT4ALL私有化部署 02 | 初尝试
GPT4ALL私有化部署 03 | 模型列表
GPT4ALL私有化部署 04 | 参数详解
GPT4ALL私有化部署 05 | 控制台多轮对话

---

01 | 摘要

假设你已经看过前几篇，那么已经大概了解如如何使用大模型进行对话，那么在本文中，会介绍如何创建一个简单的大模型WEB服务器。

需要用到到的包如下：

• Flask：用于构建 Web 应用程序和 RESTful API 的轻量级 Python Web 框架。
• request：处理 Flask 应用中的 HTTP 请求数据。
• jsonify：将 Python 字典或列表转换为 JSON 格式的函数。
• GPT4All：用于与 GPT-4 模型进行交互的 Python 库。
• gevent.pywsgi.WSGIServer：用于运行 Flask 应用的 WSGI 服务器。
• threading：线程管理库，用于创建和控制线程。
• queue：实现多线程之间的数据传输。
• time：处理时间相关的功能。
• translate.Translator：用于翻译文本的库。
• flask_cors.CORS：用于处理 Flask 应用中的跨域请求。

需要提前导入的包：

• pip install Flask
• pip install gpt4all
• pip install gevent
• pip install translate
• pip install Flask-Cors
  

02 | 步骤

代码编写步骤

用户发起POST请求

03 | 多线程版本代码

from flask import Flask, request, jsonify
from gpt4all import GPT4All
from gevent.pywsgi import WSGIServer
import threading
import queue
import time
from translate import Translator
from flask_cors import CORS  # 导入Flask-CORS

# 创建一个翻译器对象
translator_en = Translator(from_lang="zh", to_lang="en")
translator_zh = Translator(to_lang="zh", from_lang="en")

app = Flask(__name__)
CORS(app)  # 启用CORS

model = GPT4All(model_name='orca-mini-3b.ggmlv3.q4_0.bin', n_threads=12<