BERT fine-tune之后 predict或eval时模型没有加载 没有效果

train时

do_train置True

仔细阅读run_classifier.py源码，

可能是训练阶段没有成功加载预训练好的模型文件，--init_checkpoint起到关键作用

然后跑时打印模型所有tensor时候出现*INIT_FROM_CKPT*字样，

predict或eval时

do_train置False

run_config = tf.contrib.tpu.RunConfig(
      cluster=tpu_cluster_resolver,
      master=FLAGS.master,
      model_dir=FLAGS.output_dir,
      save_checkpoints_steps=FLAGS.save_checkpoints_steps,
      tpu_config=tf.contrib.tpu.TPUConfig(
          iterations_per_loop=FLAGS.iterations_per_loop,
          num_shards=FLAGS.num_tpu_cores,
          per_host_input_for_training=is_per_host))

RunConfig的model_dir参数起到关键作用，这时--init_checkpoint留空