目前使用深度网络进行文本任务模型训练时,第一步应该是将文本转为词向量进行处理。但一般词向量的效果跟语料的大小有关,而处理任务的语料不足支持我们的实验,这时就需要使用网上公开的大规模语料训练词向量。
网上公开的词向量下载地址:https://github.com/xgli/word2vec-api
glove的文件说明如何使用预训练词向量,文件格式如下:每行为一个单词和其对应的词向量,以空格分隔。
glove对应的词向量,非二进制文件
word2vec对应的词向量,非二进制文件
glove词向量的装载
filename = 'glove.6B.50d.txt'
def loadGloVe(filename):
vocab = []
embd = []
vocab.append('unk') #装载不认识的词
embd.append([0]*emb_size) #这个emb_size可能需要指定
file = open(filename,'r')
for line in file.readlines():
row = line.strip().split(' ')
vocab.append(row[0])
embd.append(row[1:])
print('Loaded GloVe!')
file.close()
return vocab,embd
vocab,embd = loadGloVe(filename)
vocab_size = len(vocab)
embedding_dim = len(embd[0])
embedding = np.asarray(embd)
word2vec词向量的装载
def loadWord2Vec(filename):
vocab = []
embd = []
cnt = 0
fr = open(filename,'r')
line = fr.readline().decode('utf-8').strip()
#print line
word_dim = int(line.split(' ')[1])
vocab.append("unk")
embd.append([0]*word_dim)
for line in fr :
row = line.strip().split(' ')
vocab.append(row[0])
embd.append(row[1:])
print "loaded word2vec"
fr.close()
return vocab,embd
vocab,embd = loadGloVe(filename)
vocab_size = len(vocab)
embedding_dim = len(embd[0])
embedding = np.asarray(embd)
vocab:为词表
embed:为词的词向量
构建网络时候的词向量层
W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]),
trainable=False, name="W")
embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim])
embedding_init = W.assign(embedding_placeholder)
在网络结构中声明词向量矩阵W
sess.run(embedding_init, feed_dict={embedding_placeholder: embedding})
在将embedding传给网络赋值。
此部分对某些任务不适用,比如对话,序列标注等问题,就是这个内置的函数会自动的过滤掉标点符号,但是标点符号也是一些任务需要的信息。
tf.nn.embedding_lookup(W, input_x)
该代码将输入映射为词向量,但input_x为词的id。因此我们需要将输入文本映射为词id序列。
from tensorflow.contrib import learn
#init vocab processor
vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)
#fit the vocab from glove
pretrain = vocab_processor.fit(vocab)
#transform inputs
input_x = np.array(list(vocab_processor.transform(your_raw_input)))
使用tensorflow自带的词处理api进行处理,将词映射成为词id,同时会过滤掉标点符号。
目前写这么多,当时自己写的时候,进了很多坑,这次写的也不详细,如果有不理解的,欢迎评论交流,或发邮件给我(邮件比较及时)。
原作者里面是错的,少考虑了“unk”这种情况。请大家注意。
感谢作者:https://ireneli.eu/2017/01/17/tensorflow-07-word-embeddings-2-loading-pre-trained-vectors/