文本相似度、文本匹配、文本聚类

1 1在Keras的Embedding层中使用预训练的word2vec词向量：https://blog.csdn.net/u012052268/article/details/90238282

import numpy as np
import pandas as pd

#1准备工作

# graph LR
# 文本-->分词
# 分词-->训练词向量
# 训练词向量-->保存词向量

import gensim
#训练自己的词向量,并保存

def trainWord2Vec(filePath):
    sentences = gensim.models.word2vec.LineSentence(filePath)#读取分词后的文本
    model = gensim.models.Word2Vec(sentences, size=100, window=5, min_count=1, workers=4)#训练模型

    model.save('./CarComment_vord2vec_100')

def testMyWord2Vec():
    #读取自己的词向量，并简单测试一下效果
    inp = './CarCommennt_vord2vec_100' #读取词向量
    model = gensim.models.Word2Vec.load(inp)

    print('空间的词向量（100维):', model['空间'])
    print('打印与空间最相近的5个词语：', model.most_similar('空间', topn=5))

if __name__ == '__main__':
    testMyWord2Vec()
    pass

#通过上述，我们就拥有了预训练的词向量文件CarCommennt_vord2vec_100


# 转化词向量为keras所需格式
#keras中使用的embedding层，embedding层所需要的格式为一个巨大的“矩阵”：第i列表示词索引为i的词的词向量
#思路：embedding层，提供一个【word：word_vector]的词典来初始化embedding层中所需要的的大矩阵，并且标记为不可训练

# 获取所有词语word和词向量
#首先导入预训练的词向量
myPath = './CarCommennt_vord2vec_100' #本地词向量的位置
Word2VecModel = gensim.models.Word2Vec.load(myPath) # 读取词向量
vector = Word2VecModel.wv['空间']  #词语的向量，是numpy格式

#gensim的word2vec模型 把所有的单词和 词向量 都存储在了Word2VecModel.wv里面，讲道理直接使用这个.wv即可

print(type(Word2VecModel.wv)) #结果为Word2VecKeyedVectors

for i,j in Word2VecModel.wv.vocab.items():
    print(i) #此时i 代表每个单词
    print(j) #j代表封装了词频等信息的gensim“Vocab”对象，例子：Vocab(count:1481, index:38, sample_int:3701260191)
    break


#2.2 构造“词语——词向量”字典

#构造一个list存储所有的单词：vocab——list存储所有词语
#构造一个字典word_index：{word:index}, key是每个词语，value是单词在字典中的序号。
#在后期tokenize（序号化）训练集的时候就是用该词典

#构造一个大向量矩阵embedding_matrix(按照embedding层的要求)：行数为所有单词数，比如10000；列数为词向量维度，比如100.

#构造包含所有词语的list，以及初始化“词语-序号”字典和“词向量”矩阵

vocab_list = [word for word, Vocab in Word2VecModel.wv.vocab.items()]#存储所有的词语
word_index = {" ": 0}#初始化‘[word:token]',后期tokenize语料库就是用该词典
word_vector = {} #初始化’[word:vector]'字典

#初始化存储所有向量的大矩阵，留意其中多一位（首行),词向量全为0，用于padding补零
#行数为所有单词+1，比如10001；列数为词向量维度，比如100

embedding_matrix = np.zeros((len(vocab_list)+1),Word2VecModel.vector_size)

#2.3 填充字典和矩阵
#填充上述步骤中的字典和大矩阵

for i in range(len(vocab_list)):
    word = vocab_list[i] #每个词语
    word_index[word] = i+1 #词语：序号
    word_vector[word] = Word2VecModel.wv[word]#词语：词向量
    embedding_matrix[i+1] = Word2VecModel.wv[word] #词向量矩阵

#2.4在keras的embedding层中使用与驯良词向量

from keras.layers import Embedding

from keras.utils.np_utils import *

#from…import *：是把一个模块中所有函数都导入进来; 注：相当于：相当于导入的是一个文件夹中所有文件，所有函数都是绝对路径。
EMBEDDING_DIM = 100 #词向量维度

embedding_layer = Embedding(input_dim=len(embedding_matrix),#字典长度
                            EMBEDDING_DIM, #词向量长度100
                            weights= [embedding_matrix],#重点：预训练的词向量系数
                            input_length=MAX_SEQUENCE_LENGTH,#每句话的最大长度（必须padding
                            trainable=False) #是否在训练的过程中更新词向量

#此时输入EMbedding层的数据的维度是，形如（samples,sequence_length)的2D张量
#3D张量：(samples,sequence_length,embeding_matrix)

#*2.5不使用“预训练”而直接生成词向量模型
#我们也可以直接使用KERAS自带的Embedding层训练词向量，而不用预训练的word2vec词向量。
embedding_layer = Embedding(len(word_index)+1,#由于没有预训练，设置 +1
                            EMBEDDING_DIM,
                            input_length = MAX_SEQUENCE_LENGTH)

#一般来说，在自然语言处理任务中，当样本数量非常少时，使用预训练的词向量是可行的。（实际上，预训练的词向量引入了外部语义信息


# 3整体代码：在Keras模型中使用预训练的词向量
#文本数据预处理，将每个文本样本转换为一个数字矩阵，矩阵的每一行表示一个词向量。

# 3.1 读取数据
def load_file():
    dataFrame_2016 = pd.read_csv('data\\nlpcc2016_traindata_zong_right.csv', encoding='utf-8')

    print(dataFrame_2016.coloumns) #打印列的名称

    texts = [] #存储读取的x
    labels = [] #存储读取的y
    #遍历获取数据

    for i in range(len(dataFrame_2016)):
        texts.append(dataFrame_2016.iloc[i].q_text)
        ##每个元素为一句话“《机械设计基础》这本书的作者是谁？”
        labels.append(dataFrame_2016.iloc[i].q_type)
        #每个元素为一个int 代表类别 # [2, 6, ... 3] 的形式


    #把类别从int3转换为（0，0,0,1,0,0)的形式
    labels = to_categorical(np.assarray(labels))## keras的处理方法，一定要学会# 此时为[[0. 0. 1. 0. 0. 0. 0.]....] 的形式
    return texts,labels

#3.2句子分词
import jieba
#jieba.lcut生成为一个列表
def cut_sentence2word(texts):
    texts = [jieba.lcut(Sentence.repalce('\n','')) for Sentence in texts]
    #句子分词
    return texts

#构造词向量字典

#获取word2vec模型，并构造，词语index字典，词向量字典
import os
## 3.获取word2vec模型， 并构造，词语index字典，词向量字典
def get_word2vec_dictionaries(texts):
    def get_word2vec_model(texts=None): # 获取 预训练的词向量 模型，如果没有就重新训练一个。
        if os.path.exists('data_word2vec/Word2vec_model_embedding_25'): # 如果训练好了 就加载一下不用反复训练
            model = Word2Vec.load('data_word2vec/Word2vec_model_embedding_25')
            # print(model['作者'])
            return model
        else:
            model = Word2Vec(texts, size = EMBEDDING_DIM, window=7, min_count=10, workers=4)
            model.save('data_word2vec/Word2vec_model_embedding_25') # 保存模型
            return model

    Word2VecModel = get_word2vec_model(texts) #  获取 预训练的词向量 模型，如果没有就重新训练一个。

    vocab_list = [word for word, Vocab in Word2VecModel.wv.vocab.items()]  # 存储 所有的 词语


    word_index = {" ": 0}# 初始化 `[word : token]` ，后期 tokenize 语料库就是用该词典。
    word_vector = {} # 初始化`[word : vector]`字典

    # 初始化存储所有向量的大矩阵，留意其中多一位（首行），词向量全为 0，用于 padding补零。
    # 行数 为 所有单词数+1 比如 10000+1 ； 列数为 词向量“维度”比如100。
    embeddings_matrix = np.zeros((len(vocab_list) + 1, Word2VecModel.vector_size))

    ## 填充 上述 的字典 和 大矩阵
    for i in range(len(vocab_list)):
        word = vocab_list[i]  # 每个词语
        word_index[word] = i + 1  # 词语：序号
        word_vector[word] = Word2VecModel.wv[word] # 词语：词向量
        embeddings_matrix[i + 1] = Word2VecModel.wv[word]  # 词向量矩阵

    return word_index, word_vector, embeddings_matrix
#3.4文本序号化Tokenizer
#英文文本不用切词，因为默认会将空格将词切开，就需要切词，且每个词用空格隔开
from keras.preprocessing.text import Tokenizer
tokenizer = Tokenizer(num_words = 2000) #建一个2000个单词的字典
tokenizer.fit_on_texts(train_texts)

#当然我们也可以使用之前构建的word——index字典。手动构建tokenizer句子（推荐这种方法，这样序号下标与预训练词向量一致。

from keras.preprocessing import  sequence
#序号化文本，tokenizer句子，并返回每个句子所对应的词语索引
def tokenizer(texts,word_index):
    data = []
    for sentence in texts:
        new_txt = []
        for word in sentence:
            try:
                new_txt.append(word_index[word]) #把句子中的词语转化为index

            except:
                new_txt.append(0)

        data.append(new_txt)
    texts = sequence

#3.5 切分数据
from sklearn.model_selection import train_test_split
def split_data(texts,labels):
    x_train, x_test, y_train, y_test = train_test_split(texts,labels,test_size=0.2)
    return x_train,x_test,y_train,y_test

embedding_layer = Embedding(input_dim=len(embeddings_matrix),  # 字典长度
                                output_dim = EMBEDDING_LEN,  # 词向量 长度（25）
                                weights=[embeddings_matrix],  # 重点：预训练的词向量系数
                                input_length=MAX_SEQUENCE_LENGTH,  # 每句话的 最大长度（必须padding） 10
                                trainable=False,  # 是否在 训练的过程中 更新词向量
                                name= 'embedding_layer')

本文的部分工作、代码、数据共享到gethub网站《使用多层级注意力机制和keras实现问题分类》：https://github.com/xqtbox/question-classification-with-multi-level-attention-mechanism-and-keras

2 QA match/文本匹配/文本分类/文本embedding/文本聚类/文本检索：https://github.com/MachineLP/TextMatch

3 文本相似度计算／文本匹配
https://github.com/JepsonWong/Text_Matching