前期工作
我的目标是利用tenserflow得到一个可以对新闻标题进行准确分类的分类器。
首先我需要有新闻标题的原始数据，因此我从今日头条抓取了近十万条新闻标题用于接下来的训练工作。
得到原始标题数据后，我需要对其进行分词构建语料库，分词我使用jieba这个第三方库。
之后要通过语料库用Word2vec算法对分词进行训练，这里我使用gensim的word2vec。
梳理下准备条件：
- 原始新闻标题数据
- jiaba
- gensim
生成语料文件
我抓取的数据存放在MYSQL，因此我将查询出标题进行分词后写入语料文件：yuliao.txt。
path = sys.path[0]
yuliao_path = os.path.join(path, 'yuliao.txt') # 生成语料的路径
def filter_biaodian(cnt):
pat = r'[！？｡＂＃＄％＆＇（）＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃《》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘’‛“”„‟…‧﹏.]+|[!"#$%&\'()*+,-./:;<=>?@\[\\\]\^\_\`\{\|\}\~0-9]+'#去标点
return re.sub(pat, '', cnt)
def filter_kong(x):
if ' ' in x:
return False
return True
def title_handle(title):
# 去除标点符号
title = filter_biaodian(title)
title = ' '.join(list(filter(filter_kong, jieba.lcut(title)))) + ' '
return title
def load_data():
sql = '''
select title from ToutiaoNews
'''
res = db.execute_sql(sql)
with open(yuliao_path, 'w') as fp:
for title in res:
title = title_handle(title[0])
fp.write(title)
虽然jieba分词已经很不错了，但是对于某些热门新词和人名等还是不够准确，所以有必要自定义一些词汇提供给jieba。
我在user_dict.txt中定义了一些jieba没有正确分出来的词：
C罗
王思聪
陈意涵
王晶
四驱
杨超越
高颖浠
李子璇
热依娜
摩拜
发威
余额宝
小鲜肉
然后加载到我们的程序中：
# 加载自定义字典
dict_path = os.path.join(path, "user_dict.txt")
jieba.load_userdict(dict_path)
执行load_data方法便会生成语料文件。
训练和保存模型
导入gensim，加载我们的语料文件，开始训练模型：
from gensim.models import word2vec
# 模型文件存放路径
model_path = os.path.join(path, "word2vec_model.bin")
def train_model():
print('加载语料文件...')
sentences =word2vec.Text8Corpus(yuliao_path) # 加载语料
print('模型训练中...')
model =word2vec.Word2Vec(sentences, size=200) #训练skip-gram模型，默认window=5
# 保存模型，以便重用
print('保存模型文件中...')
model.save(model_path)
训练好模型保存为文件，下次可以直接从文件导入，不必再进行训练。
def load_word2vec_model():
'''
加载训练好的模型
'''
print('加载模型文件...')
return word2vec.Word2Vec.load(model_path)
def print_most_similar(words):
'''
测试输出最相关的20个词
'''
model = load_word2vec_model()
y2 = model.most_similar(words, topn=20) # 20个最相关的
print ("-------------")
print('>>> 和 {} 最相关的20个词:\n'.format(words))
for item in y2:
print(item[0], item[1])
print ("-------------")
我们看下模型的效果，运行print_most_similar测试方法，输出:
-------------
>>> 和 人工智能 最相关的20个词:
前景 0.9870855212211609
应用 0.986504077911377
推动 0.9858032464981079
观察 0.9855602979660034
机器人 0.9849052429199219
共享 0.9845559000968933
展锐 0.9841729402542114
发展趋势 0.9837538599967957
指数 0.9834417700767517
金服 0.9829524159431458
进一步 0.9829222559928894
高质量 0.9827390909194946
解读 0.9825021624565125
趋势 0.9823193550109863
实体 0.9820591807365417
各大 0.9819753170013428
物流 0.9819672107696533
生态 0.9815815687179565
房地产 0.981529712677002
运营 0.9815083742141724
-------------
效果还可以，如果语料再多一点会更好。
词向量
训练好的模型相近意思的词在向量空间中的位置也是相似的，这样我们依据词向量做分类训练，本质上是将相近意思的句子归类。
当然最终我们要得到某个词的向量表示形式：
if __name__ == '__main__':
model = load_word2vec_model()
print('model type:', type(model))
print(model['ofo'])
print('model size of ofo:', len(model['ofo']))
print('the type of an element of the ofo:', type(model['ofo'][0]))
out:
加载模型文件...
--> model type:
[-0.12093621 0.21866739 0.0476281 0.15949744 -0.2265305 -0.08501934
0.1477401 -0.00190862 -0.03246938 -0.06177654 0.14871995 0.19064938
0.20575511 -0.12488797 0.18135293 0.17202124 -0.09171224 -0.21369526
0.03578532 -0.08414337 -0.04215271 -0.07621672 0.22449629 0.0337574
-0.01039878 0.01468771 0.15081759 0.09702738 -0.33268988 0.11885371
-0.16769075 0.09913398 -0.0534218 0.15699175 -0.10522668 0.02929186
0.15697408 0.10360114 -0.22695963 -0.09760883 -0.06047406 0.20749298
0.16786923 -0.32377186 -0.0979296 0.23040165 -0.06727723 0.2789535
-0.05251723 0.05750585 0.04498681 -0.19886209 -0.14110063 -0.43698636
0.31315592 -0.0539036 0.18757886 -0.12233631 0.25112468 -0.12556228
-0.19618745 0.23073478 0.09799167 -0.09279976 -0.13416637 -0.30544615
0.20916344 0.18377133 -0.20380071 0.06745876 0.22611332 -0.11335444
-0.30527177 -0.0248933 0.01644903 -0.09095342 0.17283195 -0.11239095
-0.01026074 -0.11678243 -0.20007738 -0.00843141 0.12541942 0.08090381
0.13402799 -0.25427282 0.00226124 -0.11637224 -0.07989754 0.09807675
-0.01441371 -0.13024434 -0.15721492 -0.21402866 0.04589665 -0.06763294
-0.17075238 -0.07745436 0.0095577 -0.38303027 0.07163925 0.38283527
0.25002772 0.32608908 0.13308333 0.24943127 0.03098303 0.03559564
-0.05252191 -0.01458469 0.14649096 0.17111804 0.1398329 -0.06161319
0.0758339 0.01116067 -0.1789481 -0.39118966 0.02592629 0.11360105
-0.12705195 -0.09707507 0.20374824 0.20948473 0.189067 -0.08490008
0.03691229 -0.03789151 0.09222446 0.36308745 -0.11168318 0.04258949
-0.04875926 -0.06543283 -0.05993763 -0.21278009 0.15429844 -0.03047387
0.08654932 -0.27806106 0.13747326 -0.3273331 -0.18196188 -0.20869672
0.19920668 0.16047722 -0.22706664 0.14389433 0.12567239 -0.2691268
-0.20942092 -0.0147821 -0.14789784 -0.04505106 -0.17953952 0.00555091
-0.02158411 0.21042849 -0.10467305 -0.01584556 -0.08712497 0.01285077
0.13214627 -0.05077496 0.20669343 0.25896493 0.14283897 -0.06721289
-0.13196066 -0.04882697 0.02222396 0.00217219 0.11299089 -0.09901663
-0.15670624 -0.13901645 0.1034102 0.15072429 0.42944327 0.02470743
0.11724957 0.09513479 -0.1651883 0.12621285 0.17963493 0.09137619
0.02091281 -0.04587717 0.0837699 -0.14793368 0.13413116 0.01136413
-0.31699035 0.03399559 0.06288019 -0.05555357 0.11239031 -0.07564677
0.08233534 0.1478644 ]
--> model size of ofo: 200
--> the type of an element of the ofo: