batchsize越小 => 一个batch中的随机性越大,越不易收敛。
batchsize越大 => 越能够表征全体数据的特征,梯度下降方向准确,收敛快。缺乏随机性,容易使梯度始终向单一方向下降,陷入局部最优;而且当batchsize增大到一定程度,一次batch产生的权值更新(即梯度下降方向)基本不变。
因此理论上存在一个最合适的batchsize值,使得训练能够收敛最快或者收敛效果最好(全局最优点)。
chinese_L-12_H-768_A-12.zip文件:是一个BERT预训练模型,我们可以在在这个预训练模型上面进行fine-tune。
这个文件里面有的几个文件:
bert_config.json
bert_model.ckpt.meta
bert_model.ckpt.data-00000-of-00001
bert_model.ckpt.index
vocab.txt
bert_config.json是BERT在训练时可选调整参数
bert_model.ckpt开头的文件是负责模型变量载入的
TensorFlow模型会保存在后缀为.ckpt的文件中。保存后在save这个文件夹中实际会出现3个文件,因为TensorFlow会将计算图的结构和图上参数取值分开保存。model.ckpt.meta文件保存了TensorFlow计算图的结构,可以理解为神经网络的网络结构model.ckpt文件保存了TensorFlow程序中每一个变量的取值checkpoint文件保存了一个目录下所有的模型文件列表
使用bert,其实是使用几个checkpoint(ckpt)文件。上面下载的zip是google训练好的bert,我们可以在那个zip内的ckpt文件基础上继续训练,获得更贴近具体任务的ckpt文件。
如果是直接使用训练好的ckpt文件(就是bert模型),只需如下代码,定义model,获得model的值
from bert import modeling
# 使用数据加载BertModel,获取对应的字embedding
model = modeling.BertModel(
config=bert_config,
is_training=is_training,
input_ids=input_ids,
input_mask=input_mask,
token_type_ids=segment_ids,
use_one_hot_embeddings=use_one_hot_embeddings
)
# 获取对应的embedding 输入数据[batch_size, seq_length, embedding_size]
embedding = model.get_sequence_output()
这里的bert_config是之前定义好的
bert_config = modeling.BertConfig.from_json_file(FLAGS.bert_config_file);
输入是input_ids,input_mask,segment_ids三个变量,还有两个设置is_training(False),use_one_hot_embedding(False)。此外这样的设置还有很多。
bert_config.json模型中参数的配置
{
"attention_probs_dropout_prob": 0.1, #乘法attention时,softmax后dropout概率
"hidden_act": "gelu", #激活函数
"hidden_dropout_prob": 0.1, #隐藏层dropout概率
"hidden_size": 768, #隐藏单元数
"initializer_range": 0.02, #初始化范围
"intermediate_size": 3072, #升维维度
"max_position_embeddings": 512,#一个大于seq_length的参数,用于生成position_embedding "num_attention_heads": 12, #每个隐藏层中的attention head数
"num_hidden_layers": 12, #隐藏层数
"type_vocab_size": 2, #segment_ids类别 [0,1]
"vocab_size": 30522 #词典中词数
}
import tensorflow as tf
from bert import modeling
import os
# 这里是下载下来的bert配置文件
bert_config = modeling.BertConfig.from_json_file("chinese_L-12_H-768_A-12/bert_config.json")
# 创建bert的输入
#placeholder占位符,在tensorflow中类似于函数参数,运行时必须传入值
#dtype:数据类型,常用的是tf.float32,tf.float64等数值类型
#shape:数据形状,默认是None,就是一维值,也可以是多维,比如[2,3]两行三列,[None,3]行不固定三列
#name:名称
input_ids=tf.placeholder (shape=[64,128],dtype=tf.int32,name="input_ids")
input_mask=tf.placeholder (shape=[64,128],dtype=tf.int32,name="input_mask")
segment_ids=tf.placeholder (shape=[64,128],dtype=tf.int32,name="segment_ids")
# 创建bert模型
model = modeling.BertModel(
config=bert_config,
is_training=True,
input_ids=input_ids,
input_mask=input_mask,
token_type_ids=segment_ids,
use_one_hot_embeddings=False # 这里如果使用TPU 设置为True,速度会快些。使用CPU 或GPU 设置为False ,速度会快些。
)
#bert模型参数初始化的地方
init_checkpoint = "chinese_L-12_H-768_A-12/bert_model.ckpt"
use_tpu = False
# 获取模型中所有的训练参数。
tvars = tf.trainable_variables()
# 加载BERT模型
(assignment_map, initialized_variable_names) = modeling.get_assignment_map_from_checkpoint(tvars, init_checkpoint)
tf.train.init_from_checkpoint(init_checkpoint, assignment_map)
tf.logging.info("**** Trainable Variables ****")
# 打印加载模型的参数
for var in tvars:
init_string = ""
if var.name in initialized_variable_names:
init_string = ", *INIT_FROM_CKPT*"
tf.logging.info(" name = %s, shape = %s%s", var.name, var.shape,
init_string)
#通过会话tf.Session().run()进行循环优化网络参数
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
下面的代码也可以加载模型:
import tensorflow as tf
from bert import modeling
import os
pathname = "chinese_L-12_H-768_A-12/bert_model.ckpt" # 模型地址
bert_config = modeling.BertConfig.from_json_file("chinese_L-12_H-768_A-12/bert_config.json")# 配置文件地址。
configsession = tf.ConfigProto()
configsession.gpu_options.allow_growth = True
sess = tf.Session(config=configsession)
input_ids = tf.placeholder(shape=[64, 128], dtype=tf.int32, name="input_ids")
input_mask = tf.placeholder(shape=[64, 128], dtype=tf.int32, name="input_mask")
segment_ids = tf.placeholder(shape=[64, 128], dtype=tf.int32, name="segment_ids")
with sess.as_default():
model = modeling.BertModel(
config=bert_config,
is_training=True,
input_ids=input_ids,
input_mask=input_mask,
token_type_ids=segment_ids,
use_one_hot_embeddings=False)
saver = tf.train.Saver()
sess.run(tf.global_variables_initializer())# 这里尤其注意,先初始化,在加载参数,否者会把bert的参数重新初始化。这里和demo1是有区别的
saver.restore(sess, pathname)
print(1)
获取bert模型的输出:
# 这个获取每个token的output 输出[batch_size, seq_length, embedding_size] 如果做seq2seq 或者ner 用这个
output_layer = model.get_sequence_output()
# 这个获取句子的output
output_layer = model.get_pooled_output()
bert的输入:
def convert_single_example( max_seq_length,
tokenizer,text_a,text_b=None):
tokens_a = tokenizer.tokenize(text_a)
tokens_b = None
if text_b:
tokens_b = tokenizer.tokenize(text_b)# 这里主要是将中文分字
if tokens_b:
# 如果有第二个句子,那么两个句子的总长度要小于 max_seq_length - 3
# 因为要为句子补上[CLS], [SEP], [SEP]
_truncate_seq_pair(tokens_a, tokens_b, max_seq_length - 3)
else:
# 如果只有一个句子,只用在前后加上[CLS], [SEP] 所以句子长度要小于 max_seq_length - 3
if len(tokens_a) > max_seq_length - 2:
tokens_a = tokens_a[0:(max_seq_length - 2)]
# 转换成bert的输入,注意下面的type_ids 在源码中对应的是 segment_ids
# (a) 两个句子:
# tokens: [CLS] is this jack ##son ##ville ? [SEP] no it is not . [SEP]
# type_ids: 0 0 0 0 0 0 0 0 1 1 1 1 1 1
# (b) 单个句子:
# tokens: [CLS] the dog is hairy . [SEP]
# type_ids: 0 0 0 0 0 0 0
#
# 这里 "type_ids" 主要用于区分第一个第二个句子。
# 第一个句子为0,第二个句子是1。在预训练的时候会添加到单词的的向量中,但这个不是必须的
# 因为[SEP] 已经区分了第一个句子和第二个句子。但type_ids 会让学习变的简单
tokens = []
segment_ids = []
tokens.append("[CLS]")
segment_ids.append(0)
for token in tokens_a:
tokens.append(token)
segment_ids.append(0)
tokens.append("[SEP]")
segment_ids.append(0)
if tokens_b:
for token in tokens_b:
tokens.append(token)
segment_ids.append(1)
tokens.append("[SEP]")
segment_ids.append(1)
input_ids = tokenizer.convert_tokens_to_ids(tokens)# 将中文转换成ids
# 创建mask
input_mask = [1] * len(input_ids)
# 对于输入进行补0
while len(input_ids) < max_seq_length:
input_ids.append(0)
input_mask.append(0)
segment_ids.append(0)
assert len(input_ids) == max_seq_length
assert len(input_mask) == max_seq_length
assert len(segment_ids) == max_seq_length
return input_ids,input_mask,segment_ids # 对应的就是创建bert模型时候的input_ids,input_mask,segment_ids 参数
上面的代码是对单个样本进行转换,代码中的注释解释的很详细了,下面对参数说明下:
max_seq_length :是每个样本的最大长度,也就是最大单词数。
tokenizer :是bert源码中提供的模块,其实主要作用就是将句子拆分成字,并且将字映射成id
text_a : 句子a
text_b : 句子b
1,bert模型对输入的句子有一个最大长度,对于中文模型,我看到的是512个字。
2,当我们用model.get_sequence_output()获取每个单词的词向量的时候注意,头尾是[CLS]和[SEP]的向量。做NER或seq2seq的时候需要注意。
3,bert模型对内存的要求还是很高的,运行本文的demo的时候,如果内存不足,可以降低batch_size和max_seq_length来试下。
Processor:
任何模型的训练、预测都是需要有一个明确的输入,而BERT代码中processor就是负责对模型的输入进行处理。我们以分类任务的为例,介绍如何修改processor来运行自己数据集上的fine-tune。在run_classsifier.py文件中我们可以看到,google对于一些公开数据集已经写了一些processor,如XnliProcessor,MnliProcessor,MrpcProcessor和ColaProcessor。这给我们提供了一个很好的示例,指导我们如何针对自己的数据集来写processor。
对于一个需要执行训练、交叉验证和测试完整过程的模型而言,自定义的processor里需要继承DataProcessor,并重载获取