GPT 开发技术选取

技术栈

集成工具

• LangChain

部署

• Streamlit
• Gradio (on Hugging Face)

向量数据库

• Pinecone （云数据库，付费 70$/月，免费试用需要资格）
• Qdrant （开源，自己部署）
• FAISS（未了解）
• chroma(本地，轻量，用法与FAISS相似)

Embedding 引擎（向量化）

• OpenAI Embedding
• text2vec（需要自己部署，可以根据场景进行微调）
• 目前有两种向量化方式，需要实验对比效果，1是整个句子进行向量化，2是提取关键词进行向量化

LLM API（大型语言模型）

• OpenAI （gpt-3.5-turbo，可直接调用，需要 token）
• ChatGLM （GPT 3，需要自己部署，吃显存最少6g以上）

UI 界面

• LangFlow
• 自己网上找到一套代码（已做一定的修改）
• gradio

外部知识 API

• SerpApi（谷歌，每月免费100次，后面需要收费）
• Wikipedia API

后端 API 开发

• Django
• FastAPI
• lanarky(主要提供流式返回)

其他

GPTCache 语义缓存节省开销
https://github.com/zilliztech/GPTCache

GPTCache：LLM 应用必备的【省省省】利器