GPT 探索

实现方案

自建

专属模型

根据自有数据源，把 GPT 训练成我们自用的模型，需要走微调（fine tuning），目前 gpt-3.5-turbo 暂不开放微调，但用可以 GPT3 （text-davinci-003）的模型。前期训练成本比较高，后面模型稳定后成本会下降；

带提示问答

每次问答时关键词搜索以及上下文生成提示（prompt，gpt-3.5-turbo 支持），带上提示请求 gpt，但是 提示的长度是有限的（4097 tokens，汉字=2 token，英文=0.5 token），而且每次提问都携带长提示，成本较高；
LlamaIndex （或 LangChain）把原始文档转换为矢量索引

第三方工具

如何实现

资源投入

关键词收集

gpt-index 的库（现在更名为 LlamaIndex）；
Chat Markup Language（ChatML） ChatGPT API 增加了 messages 参数，支持显示定义角色，可以取代之前的 prompt，更清晰的标记每一个内容的来源，方便 API 生成更有价值的内容输出；

资料

20年IT老司机，用ChatGPT创建领域知识
使用 GPT 基于个人文档建立聊天机器人的逐步教程
基于垂直行业知识库和ChatGPT搭建行业问答机器人的技术架构
bbs 个人 AI 一周学习总结
GPT-4大模型硬核解读！看完成半个专家