LLM：预训练语言模型finetune下游任务

安装依赖

LLM：Transformers 库_-柚子皮-的博客-CSDN博客

还要安装

accelerate >= 0.12.0
datasets >= 1.8.0
sentencepiece != 0.1.92
scipy
scikit-learn
protobuf
torch >= 1.3
evaluate

示例代码

python run_glue.py
--model_name_or_path {} --dataset_name {}
--do_train --do_eval
--per_device_train_batch_size 16 --per_device_eval_batch_size 16
--num_train_epochs 8 --output_dir {}

python run_glue.py \
  --model_name_or_path bert-base-cased \
  --dataset_name imdb  \
  --do_train \
  --do_predict \
  --max_seq_length 128 \
  --per_device_train_batch_size 32 \
  --learning_rate 2e-5 \
  --num_train_epochs 3 \
  --output_dir /tmp/imdb/

[拆解trainer的仅训练示例