2021.07.15 周四 晴

注意力机制问题

注意力模型(Attention Model，AM)已经成为神经网络中的一个重要概念，并在不同的应用领域进行了充分的研究。这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构，并展示了注意力如何提高神经网络的可解释性

Transformers入门        ----转载主要为学习记载

tokenizer，就是将原始数据准备成模型需要的输入格式和内容

这里关注PreTrainedTokenizer类，有很多函数，但重点要记住__call__（），其中的参数解析：

text (str, List[str], List[List[str]]`)：就是输入的待编码的序列（或1个batch的），可以是字符串或字符串列表。

text_pair (str, List[str], List[List[str]]`)：输入待编码的序列对。

add_special_tokens(bool, optional, defaults to True) ：True就是给序列加上特殊符号，如[CLS],[SEP]

padding (Union[bool, str], optional, defaults to False) ：给序列补全到一定长度，True or ‘longest’: 是补全到batch中的最长长度，max_length’:补到给定max-length或没给定时，补到模型能接受的最长长度。

truncation (Union[bool, str], optional, defaults to False) ：截断操作，true or ‘longest_first’：给定max_length时，按照max_length截断，没给定max_lehgth时，到，模型接受的最长长度后截断，适用于所有序列（单或双）。only_first’：这个只针对第一个序列。only_second’：只针对第二个序列。

max_length (Union[int, None], optional, defaults to None) ：控制padding和truncation的长度。

stride (int, optional, defaults to 0) ：和max_length一起使用时，用于标记截断和溢出的重叠数量（不知道怎么用）。

is_pretokenized (bool, defaults to False)：表示这个输入是否已经被token化。

pad_to_multiple_of ：将序列以倍数形式padding

return_tensors (str, optional, defaults to None)：返回数据的类型，可选tf’, ‘pt’ or ‘np’ ，分别表示tf.constant, torch.Tensor或np.ndarray

return_token_type_ids (bool, optional, defaults to None)：默认返回token_type_id（属于哪个句子）。

return_attention_mask (bool, optional, defaults to none)：默认返回attention_mask（是否参与attention计算）。

return_overflowing_tokens (bool, optional, defaults to False)：默认不返回溢出的token

return_special_tokens_mask (bool, optional, defaults to False) ：默认不返回特殊符号的mask信息.

最终返回一个字典：

{

    input_ids: list[int],

    token_type_ids: list[int] if return_token_type_ids is True (default)

    attention_mask: list[int] if return_attention_mask is True (default)

    overflowing_tokens: list[int] if the tokenizer is a slow tokenize, else a List[List[int]] if a ``max_length`` is specified and ``return_overflowing_tokens=True``

    special_tokens_mask: list[int] if ``add_special_tokens`` if set to ``True``and return_special_tokens_mask is True

}

使用：

from transformers import AutoTokenizer  #还有其他与模型相关的tokenizer，如BertTokenizer

tokenizer=AutoTokenizer.from_pretrained('bert-base-cased') #这里使用的是bert的基础版（12层），区分大小写，实例化一个tokenizer

batch_sentences=["Hello I'm a single sentence","And another sentence","And the very very last one"]

batch=tokenizer(batch_sentences, padding=True, truncation=True, return_tensors="pt")

返回的三个句子都按照batch中最长序列padding到了9个token，由于是单个句子输入，所以token_type_ids是0，padding部分的attention_mask为0，不参与attention计算。

{'input_ids':tensor([[101,8667,146,112,182,170,1423,5650,102],[101,1262,1330,5650,102,0,0,0,0],[101,1262,1103,1304,1304,1314,1141,102,0]]),'token_type_ids':tensor([[0,0,0,0,0,0,0,0,0],[0,0,0,0,0,0,0,0,0],[0,0,0,0,0,0,0,0,0]]),'attention_mask':tensor([[1,1,1,1,1,1,1,1,1],[1,1,1,1,1,0,0,0,0],[1,1,1,1,1,1,1,1,0]])}

序列对的预处理

上面是对单句输入的处理，对于序列对的处理其实是一样的道理。

batch=tokenizer(batch_sentences,batch_of_second_sentences,padding=True,truncation=True,return_tensors="pt")

第一个参数是第一个序列，第二个参数第二个序列，剩下也是根据需要设置是否padding，是否截断，返回什么类型的数据。

BertConfig

这是一个配置类，继承PretrainedConfig类，用于model的配置，构造函数参数如下：

vocab_size (int, optional, defaults to 30522) ：BERT模型的字典大小，默认30522，每个token可以由input_ids表示。

hidden_size (int, optional, defaults to 768) ：是encoder和pooler层的维度，其中encoder层就是bert的主体结构，pooler层是将encoder层的输出接一个全连接层，将整个句子的信息表示为第一个token对应的隐含状态。

num_hidden_layers (int, optional, defaults to 12) ：隐含层数，默认是12层。

num_attention_heads (int, optional, defaults to 12) ：每个attention层的attention头数，默认是12个。

intermediate_size (int, optional, defaults to 3072) ：encoder中的中间层的维度，如前向传播层，默认是3072.

hidden_act (str or function, optional, defaults to “gelu”)：encoder和pooler部分中非线性层的激活函数，默认是gelu     GELU(x)=0.5x(1+tanh[2/π​(x+0.044715x3)])

hidden_dropout_prob (float, optional, defaults to 0.1) ：embedding, encoder, pooler部分里全连接层的dropout概率，默认为0.1.

attention_probs_dropout_prob (float, optional, defaults to 0.1)：attention过程中softmax后的概率计算时的dropout概率，默认0.1.

max_position_embeddings (int, optional, defaults to 512) ：模型允许的最大序列长度，默认512。

函数:

from_dict：由一个参数字典构建Config；

from_json_file：由一个参数json文件构建Config；

from_pretrained：由一个预训练的模型配置实例化一个配置

2. BertTokenizer

以字分割，继承PreTrainedTokenizer，前面介绍过，构造函数参数;

vocab_file (string)：字典文件，每行一个wordpiece

do_lower_case (bool, optional, defaults to True) ：是否将输入转换成小写

do_basic_tokenize (bool, optional, defaults to True)：是否在字分割之前使用BasicTokenize

never_split (Iterable, optional, defaults to None) ：可选。输入一个列表，列表内容为不进行 tokenization 的单词

unk_token (string, optional, defaults to “[UNK]”) ：字典里没有的字可以用这个token代替，默认使用[UNK]

sep_token (string, optional, defaults to “[SEP]”)：分隔句子的token符号，默认[SEP]

pad_token (string, optional, defaults to “[PAD]”) 

cls_token (string, optional, defaults to “[CLS]”)

mask_token (string, optional, defaults to “[MASK]”)

tokenize_chinese_chars (bool, optional, defaults to True) :是否将中文字分割开

返回的就是input_ids，token_type_ds，attention mask等。

3. BertModel

Bert模型类，继承torch.nn.Module，实例化对象时使用from_pretrained()函数初始化模型权重，参数config用于配置模型参数

模型输入是：

input_ids，token_type_ids(可选），attention_mask(可选)，position_ids(可选),

head_mask(可选）：0表示head无效，1表示head有效。

inputs_embeds (可选)如果不使用input_ids，可以直接输入token的embedding表示。

encoder_hidden_states(可选)：encoder最后一层的隐含状态序列，模型配置为decoder时，需要此输入。

encoder_attention_mask(可选)：encoder最后一层隐含状态序列是否参与attention计算，防止padding部分参与，模型配置为decoder时，需要此输入.

返回类型tuple(torch.FloatTensor)：

last_hidden_state：模型最后一层输出的隐含层状态序列

pooler_output ：最后一层隐含层状态序列经过一层全连接和Tanh激活后，第一个toekn对应位置的输出。

hidden_states（可选，当output_hidden_states=True或者config.output_hidden_states=True）：每一层和初始embedding层输出的隐含状态

attentions（可选，当output_attentions=True或者config.output_attentions=True）：attention softmax后的attention权重，用于在自注意力头中计算权重平均值。

4. BertForPreTraining

这个类是论文中做pre_train时的两个任务，a masked language modeling and a next sentence prediction ，模型主体与BertModel一样，只是输入输出上稍有不同。

输入中增加了labels ，next_sentence_label，分别用于两个任务计算loss时用。

输出主要是loss，prediction_scores，seq_relationship_scores分别表示两个任务的总loss，MLM任务的loss和NSP任务的loss。

5. BertForMaskedLM

6. BertForNextSentencePrediction

这两个类就是把两个任务分开了，单独进行

7. BertForSequenceClassification

这个类用于句子分类或回归任务，继承torch.nn.Module，实例化依然使用from_pretrained+ config配置。

输入相比BertModel多了一个label

输出主要是loss，logits（softmax之前的分类分数）等tuple(torch.FloatTensor)

8. BertForMultipleChoice

这个是用于多项选择分类，例如，RocStories/SWAG tasks，这个分支我不了解，简单搜了一下就是给出前面几句话，让你从后面几个选项中选出接下来的话是哪个，感觉是知识推理。

输入输出与BertForSequenceClassification一样。

9. BertForTokenClassification

这个类用于对token分类，如命名实体识别任务，从给定的输入中识别出命名实体，所以是对最小单位toekn的分类。

输入输出同BertForSequenceClassification

10. BertForQuestionAnswering

这个类适用于问答系统。

输入中将上面几个模型中的label改成了start_position和end_position，即答案在原文中起始和结束位置。

输出是将预测分数改成了对答案起始位置和结束位置的预测分数。

from_pretrained函数

前面学习了Bert相关的类，每个类在实例化时，使用from_pretrained函数加载与训练的模型参数来初始化，所以这里要学习一下from_pretrained函数，以BertModel中的from_pretrained函数为例，其他的大同小异。

from_pretrained(pretrained_model_name_or_path, *model_args, **kwargs)

参数解析：

pretrained_model_name_or_path ：这个参数可以是一个需要下载或缓存中的与训练模型的快捷名称，如果本地的缓存中没有这个模型，就自己去官网下载，缓存到本地.cache中，速度较慢；也可以是使用save_pretrained()保存的模型权重字典的路径，如./my_model_directory/。我参考其他博客，选择手动下载一个模型的config.json ，model.bin，vocab.txt文件放在一个文件夹里，与.py文件在同一目录下，然后设置这个参数值为创建的文件夹相对路径。

model_args（可选）：所有要传入到模型中的位置参数序列

config（可选）：模型的配置

state_dict（可选）：一个可选择的权重字典而不是下载的预训练模型权重，当需要创建一个使用预训练配置但加载自己的权重值时使用。

cache_dir（可选）：当不使用标准缓存时，可以设置这样一个缓存路径，在这个路径里应该存放着预训练模型配置。

force_download（可选）：布尔值，默认为0，作用是设置是否强制下载模型权重和配置文件，如果缓存中已有，则会覆盖掉。

resume_download（可选）：布尔值，默认为0，表示不删除不完整的接收文件，如果这个文件存在，则继续下载。

proxies（可选）：字典，默认为None，是协议或终端使用的代理服务的字典。

output_loading_info（可选）：布尔值，设置为True会返回一个包含缺失键、意外键和错误消息的字典。

kwargs ：一些可以更新配置和模型初始参数的参数，如output_attention=True，这个参数与配置有关：如果提供了配置对象，那么这个参数就被传递给模型的__init__方法中；如果没有提供配置对象，那么这个参数会首先被传递给配置类的初始化函数(from_pretrained)，这个函数里面与kwargs重叠的健值会被覆盖，kwargs中剩下的会传递给模型的__init__函数。