LLM-4-Langchain-Chatchat

FP16精度训练

PRE_SEQ_LEN=128
LR=2e-2
NUM_GPUS=2

torchrun --standalone --nnodes=1 --nproc-per-node=$NUM_GPUS main.py \
    --do_train \
    --train_file datas/service_worksheet/data_8_14_normal_new/train.json \
    --validation_file datas/service_worksheet/data_8_14_normal_new/dev.json \
    --preprocessing_num_workers 10 \
    --prompt_column content \
    --response_column summary \
    --overwrite_cache \
    --model_name_or_path /usr/local/serving/models/chatglm/chatglm2-6b \
    --output_dir datas/service_worksheet/data_8_14_normal_new/worksheet-chatglm2-6b-pt-$PRE_SEQ_LEN-$LR-fp16 \
    --overwrite_output_dir \
    --max_source_length 1024 \
    --max_target_length 1024 \
    --per_device_train_batch_size 12 \
    --per_device_eval_batch_size 12 \
    --gradient_accumulation_steps 1 \
    --predict_with_generate \
    --logging_steps 10 \
    --learning_rate $LR \
    --pre_seq_len $PRE_SEQ_LEN \
    --num_train_epochs 300 \
    --evaluation_strategy epoch \
    --save_strategy epoch \
    --fp16  \
    --fp16_full_eval

直接json字符训练

应该是需要转义，也就是这样的格式：{
   "labels": "请按照规定格式介绍苏州。", "predict": "["<