使用huggingface如何保存部分BERT参数

文章目录

      • 题目
      • 实现
      • 方法1
      • 方法2
      • 如何对其进行部分参数初始化
      • 保存参数
      • 加载参数
      • 保存模型
      • 加载模型

题目

使用huggingface如何保存部分BERT参数

实现

在知识蒸馏中需要对bert-base的12层transformer参数进行选择,比如要获得一个只有6层的transformer该怎么办?

方法1

直接使用Huggingface中自带的DistilBertModel

from transformers import DistilBertModel, DistilBertConfig

# Initializing a DistilBERT configuration
configuration = Dist

你可能感兴趣的:(NLP,nlp,知识蒸馏,参数,保存,bert)