冻结bert最后四层以外的参数

# 冻结 BERT 模型的参数
for name, param in self.bert.named_parameters():
    if not name.startswith("bert.encoder.layer.11"):
        param.requires_grad = False

你可能感兴趣的:(Pytorch-深度学习,bert,人工智能)