深度学习-Embedding(词嵌入)

深度学习模型不会接受原始文本数据作为输入，它只能处理数值张量。因此需要文本向量化。

文本向量化是指将原始文本转化为数值张量的过程，有多种实现方式：

    1.将文本分割为单词，并将每个单词转化为一个向量

    2. 将文本分割为字符，并将每个字符转化为一个向量

    3. 提取单词或字符的n-gram(多个连续的单词或字符)，将每个n-gram转化为一个向量。

将文本分割后的单词/字符/n-gram称为token，将tokens转化为向量有两种方法:

    1.one-hot 编码    

    2.Embedding（通常只用于单词，叫作词嵌入（word embedding）)

---

一. one-hot

import tensorflow as tf 

from tensorflow import keras 

from tensorflow.keras.preprocessing.text import Tokenizer

samples=['The cat is very cute.','The girl is so beautiful.'] tokenizer=Tokenizer(num_words=1000)#创建一个分词器，只保留前1000个最常见的单词 tokenizer.fit_on_texts(samples)#构建单词索引 sequence=tokenizer.texts_to_sequences(samples)#将字符串转换为单词的整数索引组成的列表 

one_hot_results=tokenizer.texts_to_matrix(samples,mode='binary')

word_index=tokenizer.word_index#单词索引

print(sequence):

print(one_hot_results):

print(word_index):

One-hot存在的问题：

    1.维度爆炸

    2.无法捕捉词之间的语义关系

对于第一个问题，可以使用one-hot散列技巧来缓解，也就是对word做hash。问题是会存在冲突。

import numpy as np

#将单词保存为长度为1000 的向量。如果单词数量接近1000 个（或更多），那么会遇到很多散列冲突，这会降低这种编码方法的准确性

dimensionality=1000

max_length=10

results=np.zeros((len(samples),max_length,dimensionality))

for i,sample in enumerate(samples):

    for j,word in list(enumerate(sample.split()))[:max_length]:

        index=abs(hash(word))%dimensionality

        results[i][j][index]=1

---

二. Embedding词嵌入

词嵌入是从数据中学习得到的。常见的词向量维度是256、512 或1024（处理非常大的词表时）。

与此相对，onehot编码的词向量维度通常为20 000 或更高（对应包含20 000 个标记的词表）。因此，词向量可以将更多的信息塞入更低的维度中。

词向量之间的几何关系应该表示这些词之间的语义关系。词嵌入的作用应该是将人类的语言映射到几何空间中。

获取词嵌入主要有两种方法：

    1.在完成主任务（文本分类/情感预测）的同时学习词嵌入。

    在这种情况下，词嵌入一开始是随机值，在训练的过程中对词嵌入进行学习。学习方式与神经网络中的权重相同。

    2.在不同于待解决问题的机器学习任务中计算好词嵌入，将其直接加载进模型中。这些词嵌入叫做预训练词嵌入。

在Tensorflow中，可以通过Embedding层来生成词向量

Embedding层至少需要两个参数：(1)token的个数（最大单词索引+1）(2)嵌入的维度

如：embedding_layer=keras.layers.Embedding(1000,64)

可以将Embedding层看作一个字典:将整数索引（表示指定单词）映射为稠密向量。

它接受整数作为输入，并在内部字典中查找这些整数，然后返回相关联的向量。

单词索引->Embedding层->对应的词向量

Embedding层的输入是一个二维整数张量，其形状为（samples,sequence_length）, 其中每个元素是一个整数序列。

序列必须具有相同的长度（因为需要将它们打包成一个张量），所以较短的序列应该用0填充，较长的序列应该被截断。

Embedding 层返回一个形状为(samples, sequence_length, embedding_dimensionality) 的三维浮点数张量。然后可以用RNN 层或一维卷积层来处理这个三维张量。

将一个Embedding 层实例化时，它的权重（即标记向量的内部字典）最开始是随机的。与其他层一样，在训练过程中，利用反向传播来逐渐调节这些词向量，改变空间结构以便下游模型可以利用。

---

代码示例：使用keras自带的imdb数据集

import tensorflow as tf

from tensorflow import keras

from tensorflow.keras.datasets import imdb

max_feature=1000 #每条文本只保留最常见的1000个词

max_len=20 #每条文本单词个数最多为20

(x_train,y_train),(x_test,t_test)=imdb.load_data(num_words=max_feature)

#将整数列表转换成形状为(samples,maxlen) 的二维整数张量

x_train=keras.preprocessing.sequence.pad_sequences(x_train,max_len)

x_test=keras.preprocessing.sequence.pad_sequences(x_test,max_len)

构建模型：

dimonsion=8

model=keras.models.Sequential()

# Embedding 层激活的形状为(samples, maxlen, 8)

model.add(keras.layers.Embedding(max_feature,dimonsion,input_length=max_len))

# 将三维的嵌入张量展平成形状为(samples, maxlen * 8) 的二维张量

model.add(keras.layers.Flatten())

model.add(keras.layers.Dense(1,activation='sigmoid'))

model.compile(loss='binary_crossentropy',metrics=['accuracy'],optimizer='rmsprop')

训练模型：

history=model.fit(x_train,y_train,epochs=10,batch_size=32,validation_split=0.2)

---

上述在训练模型的过程中，同时训练词向量。若想使用预训练的词向量：

加载数据集：使用原始imdb数据集(即英文语句序列）

import pandas as pd

train=pd.read_csv("D://data/imdb/train.csv",sep="\t",header=None)

train.columns=['label','text']

train.head()

text=train.text

label=train.label

#对文本数据进行分词，使用预训练的词向量

from tensorflow.keras.preprocessing.text import Tokenizer

from tensorflow.keras.preprocessing.sequence import pad_sequences

max_len=100

max_words=1000

tokenizer=Tokenizer(num_words=max_words)

tokenizer.fit_on_texts(text)

sequence=tokenizer.texts_to_sequences(text)

word_index=tokenizer.word_index

print('found %s unique tokens'% len(word_index))

data=pad_sequences(sequence,max_len)

print(data[:2])

打乱训练数据并将其划分为训练集，验证集：

import numpy as np

indices=np.arange(data.shape[0])

np.random.shuffle(indices)

data=data[indices]

label=label[indices]

x_val=data[:5000]

y_val=label[:5000]

x_train=data[5000:]

y_train=label[5000:]

下载Glove词嵌入

打开https://nlp.stanford.edu/projects/glove，下载2014 年英文维基百科的预计算嵌入。

这是一个822 MB 的压缩文件，文件名是glove.6B.zip，里面包含400 000 个单词（或非单词的标记）的100 维嵌入向量。解压文件。

 对解压后的文件（一个.txt 文件）进行解析，构建一个将单词（字符串）映射为其向量表示（数值向量）的索引。

embedding_index={}

f=open("D:/Glove/glove.6B.100d.txt",'r',encoding='mac_roman')

for line in f:

        values=line.split()

        word=values[0]

        coefs=np.array(values[1:],dtype='float32')

        embedding_index[word]=coefs

f.close()

构建可以加载到Embedding层的嵌入矩阵

expanding_dim=100

embedding_matrix=np.zeros((max_words,expanding_dim))

for word,i in word_index.items():

    if i

        embedding_vector=embedding_index.get(word)

        if embedding_vector is not None:

            embedding_matrix[i]=embedding_vector

与上例相同，构建模型：

model=keras.models.Sequential()

model.add(keras.layers.Embedding(1000,100,input_length=max_len))

model.add(keras.layers.Flatten())

model.add(keras.layers.Dense(1,activation='sigmoid'))

关键步骤，使用预训练的词向量：

model.layers[0].set_weights([embedding_matrix])

model.layers[0].trainable = False

训练模型：

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['acc'])

history=model.fit(x_train,y_train,epochs=10,batch_size=32,validation_data=(x_val,y_val))