2021.07.15 周四 晴

注意力机制问题

注意力模型(Attention Model,AM)已经成为神经网络中的一个重要概念,并在不同的应用领域进行了充分的研究。这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构,并展示了注意力如何提高神经网络的可解释性

Transformers入门        ----转载主要为学习记载

tokenizer,就是将原始数据准备成模型需要的输入格式和内容

这里关注PreTrainedTokenizer类,有很多函数,但重点要记住__call__(),其中的参数解析:

text (str, List[str], List[List[str]]`):就是输入的待编码的序列(或1个batch的),可以是字符串或字符串列表。

text_pair (str, List[str], List[List[str]]`):输入待编码的序列对。

add_special_tokens(bool, optional, defaults to True) :True就是给序列加上特殊符号,如[CLS],[SEP]

padding (Union[bool, str], optional, defaults to False) :给序列补全到一定长度,True or ‘longest’: 是补全到batch中的最长长度,max_length’:补到给定max-length或没给定时,补到模型能接受的最长长度。

truncation (Union[bool, str], optional, defaults to False) :截断操作,true or ‘longest_first’:给定max_length时,按照max_length截断,没给定max_lehgth时,到,模型接受的最长长度后截断,适用于所有序列(单或双)。only_first’:这个只针对第一个序列。only_second’:只针对第二个序列。

max_length (Union[int, None], optional, defaults to None) :控制padding和truncation的长度。

stride (int, optional, defaults to 0) :和max_length一起使用时,用于标记截断和溢出的重叠数量(不知道怎么用)。

is_pretokenized (bool, defaults to False):表示这个输入是否已经被token化

pad_to_multiple_of :将序列以倍数形式padding

return_tensors (str, optional, defaults to None):返回数据的类型,可选tf’, ‘pt’ or ‘np’ ,分别表示tf.constant, torch.Tensor或np.ndarray

return_token_type_ids (bool, optional, defaults to None):默认返回token_type_id(属于哪个句子)。

return_attention_mask (bool, optional, defaults to none):默认返回attention_mask(是否参与attention计算)。

return_overflowing_tokens (bool, optional, defaults to False):默认不返回溢出的token

return_special_tokens_mask (bool, optional, defaults to False) :默认不返回特殊符号的mask信息.

最终返回一个字典

{

    input_ids: list[int],

    token_type_ids: list[int] if return_token_type_ids is True (default)

    attention_mask: list[int] if return_attention_mask is True (default)

    overflowing_tokens: list[int] if the tokenizer is a slow tokenize, else a List[List[int]] if a ``max_length`` is specified and ``return_overflowing_tokens=True``

    special_tokens_mask: list[int] if ``add_special_tokens`` if set to ``True``and return_special_tokens_mask is True

}

使用:

from transformers import AutoTokenizer  #还有其他与模型相关的tokenizer,如BertTokenizer

tokenizer=AutoTokenizer.from_pretrained('bert-base-cased') #这里使用的是bert的基础版(12层),区分大小写,实例化一个tokenizer

batch_sentences=["Hello I'm a single sentence","And another sentence","And the very very last one"]

batch=tokenizer(batch_sentences, padding=True, truncation=True, return_tensors="pt")

返回的三个句子都按照batch中最长序列padding到了9个token,由于是单个句子输入,所以token_type_ids是0,padding部分的attention_mask为0,不参与attention计算。

{'input_ids':tensor([[101,8667,146,112,182,170,1423,5650,102],[101,1262,1330,5650,102,0,0,0,0],[101,1262,1103,1304,1304,1314,1141,102,0]]),'token_type_ids':tensor([[0,0,0,0,0,0,0,0,0],[0,0,0,0,0,0,0,0,0],[0,0,0,0,0,0,0,0,0]]),'attention_mask':tensor([[1,1,1,1,1,1,1,1,1],[1,1,1,1,1,0,0,0,0],[1,1,1,1,1,1,1,1,0]])}

序列对的预处理

上面是对单句输入的处理,对于序列对的处理其实是一样的道理。

batch=tokenizer(batch_sentences,batch_of_second_sentences,padding=True,truncation=True,return_tensors="pt")

第一个参数是第一个序列,第二个参数第二个序列,剩下也是根据需要设置是否padding,是否截断,返回什么类型的数据。

BertConfig

这是一个配置类,继承PretrainedConfig类,用于model的配置,构造函数参数如下:

vocab_size (int, optional, defaults to 30522) :BERT模型的字典大小,默认30522,每个token可以由input_ids表示。

hidden_size (int, optional, defaults to 768) :是encoder和pooler层的维度,其中encoder层就是bert的主体结构,pooler层是将encoder层的输出接一个全连接层,将整个句子的信息表示为第一个token对应的隐含状态。

num_hidden_layers (int, optional, defaults to 12) :隐含层数,默认是12层。

num_attention_heads (int, optional, defaults to 12) :每个attention层的attention头数,默认是12个。

intermediate_size (int, optional, defaults to 3072) :encoder中的中间层的维度,如前向传播层,默认是3072.

hidden_act (str or function, optional, defaults to “gelu”):encoder和pooler部分中非线性层的激活函数,默认是gelu     GELU(x)=0.5x(1+tanh[2/π​(x+0.044715x3)])

hidden_dropout_prob (float, optional, defaults to 0.1) :embedding, encoder, pooler部分里全连接层的dropout概率,默认为0.1.

attention_probs_dropout_prob (float, optional, defaults to 0.1):attention过程中softmax后的概率计算时的dropout概率,默认0.1.

max_position_embeddings (int, optional, defaults to 512) :模型允许的最大序列长度,默认512。

函数:

from_dict:由一个参数字典构建Config;

from_json_file:由一个参数json文件构建Config;

from_pretrained:由一个预训练的模型配置实例化一个配置

2. BertTokenizer

分割,继承PreTrainedTokenizer,前面介绍过,构造函数参数;

vocab_file (string):字典文件,每行一个wordpiece

do_lower_case (bool, optional, defaults to True) :是否将输入转换成小写

do_basic_tokenize (bool, optional, defaults to True):是否在字分割之前使用BasicTokenize

never_split (Iterable, optional, defaults to None) :可选。输入一个列表,列表内容为不进行 tokenization 的单词

unk_token (string, optional, defaults to “[UNK]”) :字典里没有的字可以用这个token代替,默认使用[UNK]

sep_token (string, optional, defaults to “[SEP]”):分隔句子的token符号,默认[SEP]

pad_token (string, optional, defaults to “[PAD]”) 

cls_token (string, optional, defaults to “[CLS]”)

mask_token (string, optional, defaults to “[MASK]”)

tokenize_chinese_chars (bool, optional, defaults to True) :是否将中文字分割开

返回的就是input_ids,token_type_ds,attention mask等。

3. BertModel

Bert模型类,继承torch.nn.Module,实例化对象时使用from_pretrained()函数初始化模型权重,参数config用于配置模型参数

模型输入是:

input_ids,token_type_ids(可选),attention_mask(可选),position_ids(可选),

head_mask(可选):0表示head无效,1表示head有效。

inputs_embeds (可选)如果不使用input_ids,可以直接输入token的embedding表示。

encoder_hidden_states(可选):encoder最后一层的隐含状态序列,模型配置为decoder时,需要此输入。

encoder_attention_mask(可选):encoder最后一层隐含状态序列是否参与attention计算,防止padding部分参与,模型配置为decoder时,需要此输入.

返回类型tuple(torch.FloatTensor):

last_hidden_state:模型最后一层输出的隐含层状态序列

pooler_output :最后一层隐含层状态序列经过一层全连接和Tanh激活后,第一个toekn对应位置的输出。

hidden_states(可选,当output_hidden_states=True或者config.output_hidden_states=True):每一层和初始embedding层输出的隐含状态

attentions(可选,当output_attentions=True或者config.output_attentions=True):attention softmax后的attention权重,用于在自注意力头中计算权重平均值。

4. BertForPreTraining

这个类是论文中做pre_train时的两个任务,a masked language modeling and a next sentence prediction ,模型主体与BertModel一样,只是输入输出上稍有不同。

输入中增加了labels ,next_sentence_label,分别用于两个任务计算loss时用。

输出主要是loss,prediction_scores,seq_relationship_scores分别表示两个任务的总loss,MLM任务的loss和NSP任务的loss。

5. BertForMaskedLM

6. BertForNextSentencePrediction

这两个类就是把两个任务分开了,单独进行

7. BertForSequenceClassification

这个类用于句子分类或回归任务,继承torch.nn.Module,实例化依然使用from_pretrained+ config配置。

输入相比BertModel多了一个label

输出主要是loss,logits(softmax之前的分类分数)等tuple(torch.FloatTensor)

8. BertForMultipleChoice

这个是用于多项选择分类,例如,RocStories/SWAG tasks,这个分支我不了解,简单搜了一下就是给出前面几句话,让你从后面几个选项中选出接下来的话是哪个,感觉是知识推理。

输入输出与BertForSequenceClassification一样。

9. BertForTokenClassification

这个类用于对token分类,如命名实体识别任务,从给定的输入中识别出命名实体,所以是对最小单位toekn的分类。

输入输出同BertForSequenceClassification

10. BertForQuestionAnswering

这个类适用于问答系统。

输入中将上面几个模型中的label改成了start_position和end_position,即答案在原文中起始和结束位置。

输出是将预测分数改成了对答案起始位置和结束位置的预测分数。

from_pretrained函数

前面学习了Bert相关的类,每个类在实例化时,使用from_pretrained函数加载与训练的模型参数来初始化,所以这里要学习一下from_pretrained函数,以BertModel中的from_pretrained函数为例,其他的大同小异。

from_pretrained(pretrained_model_name_or_path*model_args**kwargs)

参数解析:

pretrained_model_name_or_path :这个参数可以是一个需要下载或缓存中的与训练模型的快捷名称,如果本地的缓存中没有这个模型,就自己去官网下载,缓存到本地.cache中,速度较慢;也可以是使用save_pretrained()保存的模型权重字典的路径,如./my_model_directory/。我参考其他博客,选择手动下载一个模型的config.json ,model.bin,vocab.txt文件放在一个文件夹里,与.py文件在同一目录下,然后设置这个参数值为创建的文件夹相对路径。

model_args(可选):所有要传入到模型中的位置参数序列

config(可选):模型的配置

state_dict(可选):一个可选择的权重字典而不是下载的预训练模型权重,当需要创建一个使用预训练配置但加载自己的权重值时使用。

cache_dir(可选):当不使用标准缓存时,可以设置这样一个缓存路径,在这个路径里应该存放着预训练模型配置。

force_download(可选):布尔值,默认为0,作用是设置是否强制下载模型权重和配置文件,如果缓存中已有,则会覆盖掉。

resume_download(可选):布尔值,默认为0,表示不删除不完整的接收文件,如果这个文件存在,则继续下载。

proxies(可选):字典,默认为None,是协议或终端使用的代理服务的字典。

output_loading_info(可选):布尔值,设置为True会返回一个包含缺失键、意外键和错误消息的字典。

kwargs :一些可以更新配置和模型初始参数的参数,如output_attention=True,这个参数与配置有关:如果提供了配置对象,那么这个参数就被传递给模型的__init__方法中;如果没有提供配置对象,那么这个参数会首先被传递给配置类的初始化函数(from_pretrained),这个函数里面与kwargs重叠的健值会被覆盖,kwargs中剩下的会传递给模型的__init__函数。

你可能感兴趣的:(工作日志,python,学习)