【LLM问答】两阶段的对话式问答模型ChatQA思路和兼看两阶段的RAG知识问答引擎QAnything
一、ChatQA1.1微调如下图,ChatQA微调包含两个阶段,SupervisedFine-tuning和Context-EnhancedInstructionTuning1.1.1阶段一:SFT(SupervisedFine-tuning)这个阶段的目标是基于LLM,通过SFT,提高模型对话的能力,使其能够更好地遵循指令并进行对话。数据集构建:为了进行有监督微调,作者们收集了128K个样本,这