BERT详解

BERT详解_第1张图片
BERT详解_第2张图片
BERT详解_第3张图片
bert base使用12层encoder(不是transformer)
bert large使用24层encoder
BERT详解_第4张图片
BERT详解_第5张图片

Bert输入部分详细解读

BERT详解_第6张图片
cls、sep存在因为bert预训练任务中有nsp任务(判断两个句子之间的关系)
将cls的输出向量接一个二分类器,去做一个二分类任务
BERT详解_第7张图片
BERT详解_第8张图片

预训练之MLM详解

BERT详解_第9张图片
bert在预训练的时候,使用的是大量的无标注的语料
BERT详解_第10张图片
BERT详解_第11张图片BERT详解_第12张图片
认为mask是相互独立的,然而mask不是相互独立的
BERT详解_第13张图片

BERT详解_第14张图片

预训练之NSP任务详解

BERT详解_第15张图片
主题预测:两个样本是不是来自同一文档(很简单)
连贯性预测:两个段落是不是上下文关系
BERT详解_第16张图片

如何提升Bert下游任务表现

BERT详解_第17张图片
BERT详解_第18张图片
领域——>任务——>微调
BERT详解_第19张图片
bert是静态mask,我爱吃饭每次mask吃
BERT详解_第20张图片

脱敏数据如何使用bert

BERT详解_第21张图片

你可能感兴趣的:(bert,深度学习,人工智能)