0、bert 初尝试

    开年公司安排做 NLP ，一开始真的是丈二的和尚摸不着头脑。对机器学习一无所知，一直都是感觉高大上而又遥不可及的东西。幸运的是团队中有人能做建模的工作，而我知道四个月后才渐渐摸到门槛。

   如果有缘，我建议看几本书，一本好书真的会节省很多时间，少走很多弯路：

   《数学之美》、《Python深度学习》、《python自然语言处理》、《简单粗暴 TensorFlow 2.0》

   后面讲学习的历程一一补充吧。

   1、下载 bert 代码，直接找原生的 git clone https://github.com/google-research/bert.git

   2、下载数据，链接：https://pan.baidu.com/s/1-b4I3ocYhiuhu3bpSmCJ_Q
          提取码：z6mk

   3、下载 BERT-Base, Uncased ，下载的很慢

   4、编写一个脚本

   

BERT_BASE_DIR=/data/nlp/pretrained_models/chinese_wwm_ext_L-12_H-768_A-12
GLUE_DIR=/home/nlp/chao/mybert/my-test/stu_data

python3 /home/nlp/chao/mybert/my-test/bert/run_classifier.py \
  --task_name=MRPC \
  --do_train=true \
  --do_eval=true \
  --data_dir=$GLUE_DIR/MRPC \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
  --max_seq_length=128 \
  --train_batch_size=32 \
  --learning_rate=2e-5 \
  --num_train_epochs=3.0 \
  --output_dir=/home/nlp/chao/mybert/my-test/stu_result/

   5、创建几个代码中的目录，记得给权限

        bert stu_data  stu_result  stu_shell

   6、然后 看一下 GPU 使用情况

      

    7、然后 run 起来