[李宏毅-机器学习]序列模型 Sequence to Sequence model

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第1张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第2张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第3张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第4张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第5张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第6张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第7张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第8张图片

sequence generation

 

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第9张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第10张图片

每一步随机采样下一词

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第11张图片

 

conditional sequence generation

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第12张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第13张图片

 

dynamic sequence generation(attention)

encoder可能无法将所有输入都压缩到一个vector中

之前decoder每一步的输入都是一样的,现在让decoder每一步自己选择需要输入的信息

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第14张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第15张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第16张图片[李宏毅-机器学习]序列模型 Sequence to Sequence model_第17张图片

 

tips

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第18张图片

 

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第19张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第20张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第21张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第22张图片

 

transformer

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第23张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第24张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第25张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第26张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第27张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第28张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第29张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第30张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第31张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第32张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第33张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第34张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第35张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第36张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第37张图片

 

多义词如何解决?

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第38张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第39张图片

ELMO

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第40张图片

每一个词得到多个embedding,然后将这个多个embedding加权相加,其中的加权参数是通过整个任务学习出来的

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第41张图片

 

BERT

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第42张图片

输入一个句子,通过bert得到该句子的embedding

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第43张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第44张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第45张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第46张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第47张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第48张图片

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第49张图片

 

bert的输入句子的长度都不一样 是怎么学习参数的?

对不同词语使用同样的参数 并不是每个词都有一个对应参数 类似RNN 重复使用一套参数

self-attention可以堆叠很多层

 

ERNIE

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第50张图片

 

GPT

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第51张图片

Bert是transformer的encoder,GPT是transformer的decoder

[李宏毅-机器学习]序列模型 Sequence to Sequence model_第52张图片

只和已经产生的词进行attention

 

你可能感兴趣的:(深度学习)