LangChain+LLM做知识库时,参数如何调优(3)

如何文本分割的时候,按照每行进行分割?因为我的本地TXT文件知识库是按照Q,A的形式组织的。也就是文本切片的时候按照每行进行切片。· Issue #893 · imClumsyPanda/langchain-ChatGLM (github.com)

建议:

其实FAQ最好的实现是不用大模型。只做AQ里的Q的文本切割(一般用\n对内容简单的split即可)、向量化,AQ成对存放在数据库里。

这样达到的效果是:用户提问题,根据相关度匹配向量库的Q,如果Q有多个则返回给用户问的哪个问题,如果Q只有1个,则通过Q在A数据库里搜索Q对应的A,A返回给用户。

至于想显得智能些,FAQ里匹配不到用户问题时,再考虑用大模型,把用户问题抛给大模型并提示用户是机器人回答的。

你可能感兴趣的:(AI创业,langchain,ai)