写一个夸夸机器人
前段时间夸夸群火热，试着用几种不同方式写一个夸夸机器人。
项目地址https://github.com/xiaopangxia/kuakua_robot。
语料
做聊天机器人需要训练语料，事实上笔者本想潜伏在一些夸夸群里收集，后拉发现这些夸夸群日渐不活跃了，语料的质量也比较差，于是还是去爬了豆瓣表扬小组的数据，收集的语料地址https://github.com/xiaopangxia/kuakua_corpus。
基于文本相似度
相似度用的是传统离散词袋，采用TF-IDF、LSI、LDA模型等，搜索top4相似话题的回复，从中随机返回表扬语句，效果还不错，能够有一定针对性地夸人。
import random
from zhcnSegment import zhcnSeg
from sentenceSimilarity import SentenceSimilarity
class kuakuaChat():
def __init__(self):
"""
初始化夸夸话题回复表
"""
self.qa_dict = {}
self.q_list = []
with open('./douban_kuakua_topic.txt', 'r', encoding='utf8') as in_file:
for line in in_file.readlines():
que = line.split('<######>')[0].strip()
ans_list = []
for ans in line.split('<######>')[-1].split('<$$$$$$>'):
if len(ans) > 2:
ans_list.append(ans)
if len(que)>5:
self.q_list.append(que)
self.qa_dict[que] = ans_list
zhcn_seg = zhcnSeg()
self.sent_sim = SentenceSimilarity(zhcn_seg)
self.sent_sim.set_sentences(self.q_list)
# 默认用tfidf
self.sent_sim.TfidfModel()
def answer_question(self, question_str):
"""
返回与输入问句最相似的问句的固定回答
:param question_str:
:return:
"""
most_sim_questions = self.sent_sim.similarity_top_k(question_str, 4)
answer_list = []
for item in most_sim_questions:
answer = self.qa_dict[item[0]]
answer_list += answer
return answer_list
if __name__ == '__main__':
test_bot = kuakuaChat()
while True:
try:
user_input = input('USER:')
answer_list = test_bot.answer_question(user_input)
response = random.choice(answer_list)
print('BOT:', response)
# 直到按ctrl-c 或者 ctrl-d 才会退出
except (KeyboardInterrupt, EOFError, SystemExit):
break
尝试用chatterbot
做聊天机器人有一些现成的库可以用，任务型机器人可能考虑用aiml然后写模板，闲聊机器人有一个比较流行的chatterbot的库，拿它来训练一个机器人看看。
from chatterbot import ChatBot
from chatterbot.trainers import ChatterBotCorpusTrainer
import json
class kuakuaChat():
@classmethod
def corpus_convert(cls):
"""
格式转化，将夸夸语料转成chatterbot训练语料
:return:
"""
dialog_list = []
with open('douban_kuakua_qa.txt', 'r', encoding='utf8') as in_file:
que = None
ans = None
for line in in_file.readlines():
if 'Q:\t' in line:
que = line.strip().split('\t')[-1]
elif 'A:\t' in line:
ans = line.strip().split('\t')[-1]
if len(que) > 5 and ans is not None and len(ans) > 2:
dialog_list.append([que, ans])
que = None
ans = None
chatterbot_corpus = {"conversations": dialog_list}
out_file = open('kuakua_corpus.json', 'a', encoding='utf8')
json.dump(chatterbot_corpus, out_file, ensure_ascii=False)
@classmethod
def create_chatterbot(cls):
"""
用语料训练一个chatbot
:return:
"""
cn_chatter = ChatBot("National Lib Chatter",
storage_adapter='chatterbot.storage.SQLStorageAdapter',
input_adapter='chatterbot.input.TerminalAdapter',
output_adapter='chatterbot.output.TerminalAdapter',
logic_adapters=[
'chatterbot.logic.BestMatch',
'chatterbot.logic.MathematicalEvaluation',
],
database='./db.sqlite3'
)
trainer = ChatterBotCorpusTrainer(cn_chatter)
trainer.train('./kuakua_corpus.json')
# trainer.export_for_training('./my_export.json')
return cn_chatter
@classmethod
def load_chatterbot(cls):
"""
加载训练好的bot
:return:
"""
cn_chatterbot = ChatBot('National Lib Chatter',
storage_adapter='chatterbot.storage.SQLStorageAdapter',
input_adapter = 'chatterbot.input.TerminalAdapter',
output_adapter = 'chatterbot.output.TerminalAdapter',
logic_adapters = [
'chatterbot.logic.BestMatch',
'chatterbot.logic.MathematicalEvaluation',
],
database = './db.sqlite3'
)
return cn_chatterbot
if __name__ == '__main__':
# kuakuaChat.corpus_convert()
# test_chatter = kuakuaChat.create_chatterbot()
test_chatter = kuakuaChat.load_chatterbot()
while True:
try:
user_input = input('USER:')
response = test_chatter.get_response(user_input)
print('BOT:', response)
# 直到按ctrl-c 或者 ctrl-d 才会退出
except (KeyboardInterrupt, EOFError, SystemExit):
break
效果很不好，chatterbot本身适用于闲聊，任务性差，对语料的方法性好像也不太敏感 。有篇博客专门比较了一下开源聊天机器人的性能，也表示chatterbot对于闲聊型问题还可以回答正确几个(准确率也不高)，但是对于任务型、知识型问题一窍不通，这应该是开源项目里没有设置相应的模块、语料库资源过少，也不能够主动上网查询。