BERT详解(4)---fine-tuning

目录

  • Bert详解(1)—从WE、ELMO、GPT到BERT
  • BERT详解(2)—源码讲解[生成预训练数据]
  • BERT详解(3)—源码解读[预训练模型]
  • BERT详解(4)—fine-tuning
  • BERT(5)—实战[BERT+CNN文本分类]

1. fine-tuning

BERT本质上是一个两段式的NLP模型。第一个阶段叫做:Pre-training,跟WordEmbedding类似,利用现有无标记的语料训练一个语言模型。第二个阶段叫做:Fine-tuning,利用预训练好的语言模型,完成具体的NLP下游任务。pre-training的训练成本很大,一般直接使用google训练好的模型,而fine-tuning成本相对较少,本文介绍如何进行fine-tuning,对应的程序为run_classifier.py,如下所示,从主函数开始

def main(_):
  tf.logging.set_verbosity(tf.logging.INFO)
  #   新增类,用于处理数据,加载训练数据
  processors = {                              # 【2】新增类
      "cola": ColaProcessor,
      "mnli": MnliProcessor,
      "mrpc": MrpcProcessor,
      "xnli": XnliProcessor,
      "mypro": MyProcessor
  }

  tokenization.validate_case_matches_checkpoint(FLAGS.do_lower_case,
                                                FLAGS.init_checkpoint)

  if not FLAGS.do_train and not FLAGS.do_eval and not FLAGS.do_predict:
    raise ValueError(
        "At least one of `do_train`, `do_eval` or `do_predict' must be True.")

  bert_config = modeling.BertConfig.from_json_file(FLAGS.bert_config_file)

  if FLAGS.max_seq_length > bert_config.max_position_embeddings:
    raise ValueError(
        "Cannot use sequence length %d because the BERT model "
        "was only trained up to sequence length %d" %
        (FLAGS.max_seq_length, bert_config.max_position_embeddings))

  tf.gfile.MakeDirs(FLAGS.output_dir)

  # 读取task_name, task_name实际上就是选择或自定义的processor,若自定义需要加入processors字典中
  task_name = FLAGS.task_name.lower()

  if task_name not in processors:
    raise ValueError("Task not found: %s" % (task_name))
  # 获取数据处理方法
  processor = processors[task_name]()
  # 获取标签
  label_list = processor.get_labels()

  tokenizer = tokenization.FullTokenizer(
      vocab_file=FLAGS.vocab_file, do_lower_case=FLAGS.do_lower_case)
      ....
      ....

从程序中可以看出需要自定义一个类来处理原始数据,用于训练, 并将该类加入processors字典当中,数据处理类可以参考已经存在的类。此处我自定义一个MyProcessor类来加载原始数据, 代码如下

class MyProcessor(DataProcessor):
  """Processor for the MRPC data set (GLUE version)."""
  def __init__(self):
  # 【0】  设置语言
      self.language = "zh"                                            

  def get_train_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "train.tsv")), "train")

  def get_dev_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "dev.tsv")), "dev")

  def get_test_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "test.tsv")), "test")

  def get_labels(self):
    """See base class."""
    return ["0", "1", "2", "3", "4", "5", "6", "7", "8"]     # 【1】设置标签label

  def _create_examples(self, lines, set_type):
    """Creates examples for the training and dev sets."""
    examples = []
    for (i, line) in enumerate(lines):
      guid = "%s-%s" % (set_type, i)
      text_a = tokenization.convert_to_unicode(line[1])         # 【2】text_a/text_b根据实际语料结构更改
      text_b = None
      if set_type == "test":
        label = "-1"
      else:
        label = tokenization.convert_to_unicode(line[0])
      examples.append(
          InputExample(guid=guid, text_a=text_a, text_b=text_b, label=label))
    return examples

该类中主要定义几个函数分别进行获取训练(测试、验证)样本(get_train_examples),获取标签值(get_labels),同时也能发现,在data_dir中我们需要将数据处理成.tsv格式,训练集、开发集和测试集分别是train.tsv, dev.tsv, test.tsv,这里我们暂时只使用train.tsv和dev.tsv。另外,label在get_labels()设定,如果是二分类,则将label设定为[“0”,”1”],同时_create_examples()中,给定了如何获取guid以及如何给text_a, text_b和label赋值。

2. 总结

对于这个fine-tuning过程,我们要做的只是:

  • 准备好一个12G显存左右的GPU,没有也不用担心,可以使用谷歌免费的GPU
  • 准备好train.tsv, dev.tsv以及test.tsv
  • 新建一个跟自己task_name对应的processor,用于将train.tsv、dev.tsv以及test.tsv中的数据提取出来赋给text_a, text_b, label
  • 下载好Pre-training模型,设定好相关参数,run就完事了

.tsv文件格式如下:标签+table+句子

0 			i love china
1			a beautiful day
0 			i love shanghai

更详细介绍fine_tuning过程及运行代码见orangerfun github

3 参考

BERT源码

你可能感兴趣的:(自然语言处理,python,深度学习,机器学习,人工智能,自然语言处理)