Bert模型解读（transformer库源码解读）

BERT输出两个张量
#outputs[0]是last_hidden_state, 是基于token表示的， 对于实体命名、问答非常有用、实际包括四个维度[layers, batches, tokens, features]
#outputs[1]是整个输入的合并表达， 形状为[1, representation_size], 提取整篇文章的表达， 不是基于token级别的
#outputs一共四个属性、last_hidden_state, pooler_output, hidden_states, attentions
#增加 hidden_states 和 attentions 才会有输出产生
#pooler_output的输出是由 hidden_states获取了cls标签后进行了dense 和 Tanh后的输出
#所以bert的model并不是简单的组合返回。一般来说，需要使用bert做句子级别的任务，可以使用pooled_output结果做baseline， 进一步的微调可以使用last_hidden_state的结果
#https://www.cnblogs.com/webbery/p/12167552.html
#https://blog.csdn.net/weixin_44317740/article/details/113248250?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162273562216780264063437%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=162273562216780264063437&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_v2~rank_v29-1-113248250.nonecase&utm_term=bert&spm=1018.2226.3001.4450
#https://colab.research.google.com/github/huggingface/transformers/blob/master/notebooks/02-transformers.ipynb#scrollTo=uLeDnIz-h-dP
#https://colab.research.google.com/drive/1ZQvuAVwA3IjybezQOXnrXMGAnMyZRuPU#scrollTo=0CcY_oRwcHlS