基于清华chatglm-6b模型的向量化检索问答

之前清华模型已经证实在中文领域具有相当不错的表现，这是其他老外模型所不具备的（除了openai），目前在免费领域来说chatglm-6b已经是领头羊的地位。抛开此模型的弊端（微调大部分都会失败，可能失去通用领域的能力，可能失去语言能力）来说，将其应用于本地知识库的问答检索还是可以的。整体架构如下：

1、本地知识库分段分片向量化，问题向量化；

2、由向量化的query向量与知识库向量进行相似检索，免费的是faiss检索；

3、由问题以及设定的topk个相近的知识库片段向chatglm-6b进行提问，获得答复。

其中一个潜在问题是，如果文档库比较大，比如100G，500G，1T或者更大，那么经过分片分段后进行向量化，那么可能产生50G，200G，500G的512维度的向量，这样检索就会变得比较慢了，而且由于需要faiss对加载进内存的向量库进行检索，那么要确保内存要大于前述容量。

向量化采用的是