NLP小项目--emojify(二)

模型构建

预训练词向量导入

上一篇博文里,我们已经完成了数据集的制作,接下来的一个问题就是,模型的构建,第一个问题就是词向量的问题,
我们已经有了一个训练好的词向量,那么在keras中很好处理,可以看我的gitghub keras 实现,那么pytorch是怎么实现与训练向量的导入的呢,如果看官方文档,查看完整参数列表,发现似乎没有参数可以实现预训练向量的导入,只有定义好就是随机的初始化向量。查看了源码,发现了存储embeding权重的变量就是weights,然后我
尝试直接修改weights的值,踩了几个坑,最后采用如下实现:

        self.word_embeds = nn.Embedding(vocab_size, embedding_dim)
        weight = np.array(weight)
        self.word_embeds.weight.data.copy_(torch.from_numpy(weight))

ok,测试一下,怎么测试呢,随便找个词输入可以查看50维度的词向量,输入到上面的embeding层中,再输入到一个
没有赋值的embeding层中,通过查看词向量是否一致来看是不行的,因为embeding层每次都会随机选取初始化向量的,
不一致才是正常的,因此我们可以通过执行两次上面赋值后embeding,看看是否一样,一样说明赋值成功了,否则的话
随机变化肯定是不会一样的。测试代码如下:

vocab_len = len(word_to_index) + 1  #word index begin with 1,plus 1 for padding 0
emb_dim = word_to_vec_map["cucumber"].shape[0]
emb_matrix = np.zeros((vocab_len, emb_dim))
for word, index in word_to_index.items():
    emb_matrix[index, :] = word_to_vec_map[word]

word_embeds = nn.Embedding(vocab_len, 50)
pretrained_weight = np.array(emb_matrix)
word_embeds.weight.data.copy_(torch.from_numpy(pretrained_weight))

input = Variable(torch.LongTensor([word_to_index["cucumber"]]))

print("111:",word_embeds(input))
print("222:",word_embeds(input))
print("333:",word_embeds(input))

为了保险,我输入了三次,结果都是一样的,这就说明赋值是成功的。

固定词向量

我们知道,训练时,我们是不希望词向量的值改变的,因为这个向量已经在很大的语料库上训练好了,不需要改变,因此就涉及到固定子层参数不更新的技巧。这个方法有很多,常用的是requires_grad和volatile,requires_grad = False等同于volatile = True。我就只说说前者了,每个Variable都有这个参数,自然就包括model的parameter,因此我们可以设置embeding层的参数的parameter的requires_grad为False,这样就不会计算他们的梯度了,这样还会提升模型训练的速度,因为预训练的词向量矩阵还是维度很大的,如果每次反向传播都计算它的梯度会极大地影响训练的速度。当然这样还是不够的,设置优化器的时候,第一个参数就不可以是model。parameter(),因为embeding层的梯度是没有的,也就优化不了,因此要将它排除。由于这里的层很少,因此我采用如下方法:

optimizer1 = torch.optim.Adam(model.rnn.parameters(),lr=0.001)
optimizer2 = torch.optim.Adam(model.linear.parameters(),lr=0.001)

就是用两个优化器,分别优化剩下的两个层。这个方法是我自己想的,不知道有没有什么bug。那么自然,后面更新的step,也要两个优化器一起step。完整代码我会上传到我的github的。

模型搭建

剩下的就蛮简单的了,注意好好看官方文档对应的API,每个参数都了解,能节省代码就节省代码,比如2层LSTM中间接dropout,keras是依次实现的,而pytorch可以直接一个函数实现。具体结构如下:

NLP小项目--emojify(二)_第1张图片
emojifier-v2.png

其他

  • 记得还有一个问题是,读取自定义数据集时,会把数据变成DoubleTensor,target变成了intTensor,转化成longTensor就是直接在后面加上.long(),就行了,其他的Tensor之间的转化也如此,.int(),.float(),等等。

  • 完整代码地址 pyTorch emojify,喜欢的别忘了点个star哦=-=

    我以后应该会出一个深度框架解读系列,目的就是让大家积极读源代码,这样才能彻底掌握这个框架,也督促我自己好好研读源码,因此大家Github上一定要关注这些框架的官方源码,时时关注更新动态,首先应该就是从pytorch和torchvision开始讲起,一个类一个类的详解,当然很多类也需要关联起来解读。然后其他框架的话再说吧,我了解的框架也就那么几个=-=

你可能感兴趣的:(NLP小项目--emojify(二))