bert使用
1. transformer资料
transformers（以前称为pytorch-transformers和pytorch-pretrained-bert）
提供用于自然语言理解（NLU）和自然语言生成（NLG）的BERT家族通用结构（BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet等），包含超过32种、涵盖100多种语言的预训练模型
2.使用
import numpy as np
import torch 下载transformers包
!pip install transformers下载分词器和模型
from transformers import BertTokenizer,BertModelmodel_name = 'hfl/chinese-bert-wwm'导入分词器
导入配置文件
tokenizer = BertTokenizer.from_pretrained(model_name)
model_config = BertConfig.from_pretrained(model_name)
model_config.output_hidden_states = True
model_config.output_attentions = True
bert_model = BertModel.from_pretrained(model_name, config = model_config)输入文本
input_text = "我爱伟大的祖国"input_ids：是单词在词典中的编码
token_type_ids：区分两个句子的编码（上句全为0，下句全为1）
attention_mask：指定 对哪些词 进行self-Attention操作
input_text='我们'
inputs = tokenizer(input_text,padding='max_length',max_length=50,return_tensors="pt")
print(inputs)
outputs = bert_model(**inputs)
print(len(outputs))
print(outputs.keys()
print(outputs['last_hidden_state'].shape)
print(outputs['pooler_output'].shape)
print(outputs['last_hidden_state'].shape)
print(len(outputs['hidden_states']))
print(len(outputs['attentions']))padding
-
True或'longest'：填充到批次中最长的序列（如果仅提供单个序列，则不填充）。 -
'max_length'：填充到参数指定的最大长度，max_length或者如果未提供该参数，则填充到模型的最大可接受输入长度。 -
False或'do_not_pad'（默认）：无填充（即，可以输出具有不同长度序列的批次）
将input_id转化回token
tokenizer.convert_ids_to_tokens(inputs['input_ids'])Bert最终输出的结果维度为：last_hidden_state, pooled_output, hidden_states, attentions
以输入序列为19为例：
last_hidden_state：torch.Size([1, 19, 768])#(batchsize,sequence_length,hidden_state)通常用于命名实体识别
pooled_output：torch.Size([1, 768])#通常用于句子分类
(hidden_states)：tuple, 13 * torch.Size([1, 19, 768])
隐藏层状态（包括Embedding层），取决于 model_config 中的 output_hidden_states
(attentions)：tuple, 12 * torch.Size([1, 12, 19, 19])#每一层的注意力权重，用于计算self_attention heads的加权平均值
注意力层，取决于 model_config 中的 output_attentions
2. 遮蔽语言模型 Masked Language Model
BERT以训练遮蔽语言模型（Masked Language Model）作为预训练目标。
具体来说就是把 输入的语句中的字词 随机用 [MASK] 标签覆盖，然后 训练模型 结合被覆盖的词的 左侧 和 右侧上下文进行预测。
可以看出，BERT 的做法 与 从左向右语言模型只通过左侧语句预测下一个词的做法相比，遮蔽语言模型 能够生成同时融合了左、右上下文的语言表示。
这种做法能够使 BERT 学到字词更完整的语义表示。