cs224n笔记04-Contextual Word Embeddings

上下文相关的词嵌入

静态词向量的没个词有一个唯一的向量表示,即使具有多个含义的词也只能有一种表达方式。但是上下文相关的词嵌入可以解决一词多义的问题。比较常见的动态词向量训练方法有elmo、bert等

cs224n笔记04-Contextual Word Embeddings_第1张图片

bert使用的是transformer的encoder,任务是mask语言模型和NSP(预测下一个句子)

bert的fine-tuning训练方式

cs224n笔记04-Contextual Word Embeddings_第2张图片

你可能感兴趣的:(nlp,NLP)