Fastgpt本地或服务器私有化部署常见问题

一、错误排查方式

遇到问题先按下面方式排查。

  • docker ps -a 查看所有容器运行状态,检查是否全部 running,如有异常,尝试docker logs 容器名查看对应日志。
  • 容器都运行正常的,docker logs 容器名 查看报错日志
  • 带有requestId的,都是 OneAPI 提示错误,大部分都是因为模型接口报错。
  • 无法解决时,可以找找Issue,或新提 Issue,私有部署错误,务必提供详细的日志,否则很难排查。

二、通用问题

能否纯本地运行

可以。需要准备好向量模型和LLM模型。

其他模型没法进行问题分类/内容提取

  • 看日志。如果提示 JSON invalid,not support tool 之类的,说明该模型不支持工具调用或函数调用,需要设置toolChoice=false和functionCall=false,就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试。问题分类基本可用,内容提取不太行。
  • 如果已经配置正常,并且没有错误日志,则说明可能提示词不太适合该模型,可以通过修改customCQPrompt来自定义提

你可能感兴趣的:(AI大模型应用开发,fastgpt,rag,llm)