from_pretrained的一个细节

写这篇的目的主要是记录在使用huggingface的transformers的bert部分from_pretrained的一些细节，以下主要以文本分类为例。

• 文档：https://huggingface.co/docs/transformers/model_doc/bert

第一种方案：利用BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained("bert-base-uncased", config=config)

第二种方案：BertForSequenceClassification+后续处理

这里继承了BertForSequenceClassification，然后取句子表示在做两层dnn进行分类，至于为什么不直接用BertModel获取句子表示然后接着搞的原因是，之前的实验是通过继承的这种方法比直接搞效果要好（是的我也不理解つ﹏⊂

class Classify(BertForSequenceClassification):
    def __init__(self, bert_dir):
        super(Classify, self).__init__(bert_dir)
        if device == 'cuda':
            self.dense_1 = nn.Linear(768, 768).cuda()
            self.dense_2 = nn.Linear(768, args.label_num).cuda()
            self.dropout = nn.Dropout(0.5).cuda()
            self.softmax = nn.Softmax().cuda()
        else:
            self.dense_1 = nn.Linear(768, 768)
            self.dense_2 = nn.Linear(768, args.label_num)
            self.dropout = nn.Dropout(0.5)
            self.softmax = nn.Softmax()

第三种方案：一个朴实的类，自己init BertModel

具体的代码略

---

这里主要想说第二种方案，在创建了这种形式的Model.py后，要如何实例化呢？

一共尝试了两种方法：

1. model = Classify(args.bert_model)
2. model = Classify.from_pretrained(args.bert_model)

经过（不）缜密的实验，上面第一种方法是不可以的，会导致每次load的BertModel的embedding向量都是随机初始化的，验证方法：debug看看self.bert.embeddings.word_embeddings.weight是不是每次运行都一样。

这就说明只能用第二种方法，但是这个初始化方法与常见的python类初始化方法略有不一样，这是为什么呢？

搜索了很久才发现有一位同志也产生了以下的困扰，是故翻出from_pretrained的源码：

@classmethod
def from_pretrained(cls, pretrained_model_name_or_path: Optional[Union[str, os.PathLike]], *model_args, **kwargs):
    ...
    return model

因此，能使用xx.from_pretrained进行初始化的原因就是，这里采用classmethod进行了修饰。

进到代码里在读一小段：

# Instantiate model.
if is_deepspeed_zero3_enabled():
    import deepspeed

    logger.info("Detected DeepSpeed ZeRO-3: activating zero.init() for this model")
    # this immediately partitions the model across all gpus, to avoid the overhead in time
    # and memory copying it on CPU or each GPU first
    with deepspeed.zero.Init(config_dict_or_path=deepspeed_config()):
        with no_init_weights(_enable=_fast_init):
            model = cls(config, *model_args, **model_kwargs)
else:
    with no_init_weights(_enable=_fast_init):
        model = cls(config, *model_args, **model_kwargs)

这句model = cls(config, *model_args, **model_kwargs)（cls是classmethod修饰后表示自身类的参数（用于调用自己这个类的属性）），进行了类的初始化操作，这样就解释了为什么能用from_pretrained来初始化模型。

---

classmethod可以参考：

• python @classmethod 的使用场合
• Python classmethod 修饰符
• 【Python】@staticmethod和@classmethod的用法

粗暴版：如果一个类的方法需要调用自身类的属性，用classmethod；否则就用staticmethod即可。

---

补充：

如果按照方案2并且希望传入一些自己的参数咋办呢？可以先这么写：（其实这属于python编程问题的范畴了

class Classify(BertForSequenceClassification):
    def __init__(self, bert_dir, **kwargs):
        super(Classify, self).__init__(bert_dir)
        num_labels = kwargs.pop("test", 3)

        if device == 'cuda':
            self.dense_1 = nn.Linear(768, 768).cuda()
            self.dense_2 = nn.Linear(768, num_labels).cuda()
            self.dropout = nn.Dropout(0.5).cuda()
            self.softmax = nn.Softmax().cuda()
        else:
            self.dense_1 = nn.Linear(768, 768)
            self.dense_2 = nn.Linear(768, num_labels)
            self.dropout = nn.Dropout(0.5)
            self.softmax = nn.Softmax()

调用：

model = Classify.from_pretrained(pretrained_model_name_or_path=args.bert_model, test=num_labels)

这里有个小坑的地方，在调用时，第一个参数名称一定要是这个：pretrained_model_name_or_path（或者省略）。其它自己想要传入的参数（如test），尽量起一个其它的名字，不要和transformers包中的起名有重复，原因是在from_pretrained函数中有一系列pop的操作（如下图）

image.png

一些好看的命名方式会在init过程中被pop出去，然后在Classify类就找不到了（不过我没有找到pop出num_labels的位置）

一个错误的调用示范：

model = Classify.from_pretrained(pretrained_model_name_or_path=args.bert_model, num_labels=num_labels)

我们会发现kwargs是空的：

image.png

而我们希望的是：

image.png

---

总体来说，BertForSequenceClassification设计之初可能就没打算继承出来接着搞更多的东西，现在用from_pretrained+kwargs能绕开一些小坑，不过总归还是哪里不对劲┑(￣Д ￣)┍