NLP-D31-《动手学pytorch》完结&BERT&Layer_norm

---------0439我感觉今天终于可以阶段性地看完沐沐的课了!!!狂喜!马上终于可以看看宝可梦了嘿嘿嘿!

1、ELMo&GPT&BERT对比

NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第1张图片

2\位置嵌入参数

全局来看,应该也就只有一个位置嵌入参数
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第2张图片

3\BERT的valid_len第一层觉得有意义,后面感觉就很生硬了

NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第3张图片

4\为啥norm_shape一会一维一会二维呢???

在这里插入图片描述

5\Layer_norm的使用方法

参数传几维,就对几维座layer_norm,不过传的时候shape要匹配。
传最后一维
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第4张图片
参考:https://blog.csdn.net/qq_37541097/article/details/117653177
这里面应该是把【768这维给norm了】。这个细节之后再研究吧。
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第5张图片

传3维,官方文档也很给力
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第6张图片
参考:NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第7张图片

-------0522先干个饭

6、Momentum用来做梯度平滑;Adam做梯度平滑+并且调整各个维度的值,避免因为值大小不同,lr不好取。

NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第8张图片

看到最后一节啦!!!!沐沐大大棒棒!!!

----06020看完啦!!!又被种草了《实用机器学习》,不过有一说一,本来就是想看的hhhhhhhh
现在来把BERT代码敲完hhh

—0638ee网络冲了一波浪,现在就学hhh

7\NSP任务

做nsp任务时,留下batch_size层,把接下来的维展开,用单层感知机进行预测。
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第9张图片

8在get_batch_loss中传入nsp_y即真实值

在get_batch_loss中会做前向传播,得到nsp_y_hat,因此,在最后的train中,也只需要传入真实的nsp_y供其计算损失即可。
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第10张图片
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第11张图片

—0837帮同学回答了一些毕设相关的问题,还是蛮开心的hhh,继续写bert啦

9Bert微调实例

得到cls的最终表示后,再放入一个hidden和一个linear层,得到最终正向推理结果。
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第12张图片
在定义了正向推理(net)过程后,便可以train了,也就是根据目标的y不断地优化模型参数。
NLP-D31-《动手学pytorch》完结&BERT&Layer_norm_第13张图片

!!!完结撒花!!!

你可能感兴趣的:(python,机器学习,自然语言处理,bert,人工智能)