关于大模型在文本分类上的尝试

---

前言

总共25个类别，在BERT上的效果是48%，数据存在不平衡的情况，训练数据分布如下：

训练数据不多，4000左右

所做的尝试

1、基于 Qwen-14b-base 做Lora SFT，Loss忘记记录

准确率在68%左右

Lora配置

class LoraArguments:
    lora_r: int = 64
    lora_alpha: int