基于BERT微调与知识库的问答系统

一、问答系统设计

  问答系统是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。与对话系统相比，问答系统的答案通常存储在数据库，只需要采取一定的技术从数据库中精准地提取答案即可。一种可行的问答系统算法流程图如下：

二、问答系统技术

• BERT系列类模型微调：BERT、wwm BERT、ALBERT、ERNIE均可。
• 序列标注之实体识别算法：LSTM、BERT系列抽取特征均可。
• 句子对相似分类算法：利用负采样技术，构建负样本训练模型。
• 数据库匹配：构建句子对分类样本，用句子对相似分类算法选择关系属性。
• 短文本相似度匹配：编辑距离、字级杰卡德、词级杰卡德、余弦距离四种相似算法加权综合。

三、问答系统效果

问题：经济新常态的主要特点是什么？
回答: 新常态的主要特点是从高速增长转为中高速增长
--------------------------------------------------
问题：广州恒大的总经理是哪位？
回答: 广州恒大淘宝足球俱乐部的总经理是康冰
--------------------------------------------------
问题：沪北青专线在哪个时间段运营呢？
回答: 沪北青专线的运营时间是新城东站方向:4：50-21：00
--------------------------------------------------