backbone

什么是backbone？

还是借用huggingface书里面的一句话：

在BERT,GPT,Transformers模型被提出之前，被广泛使用的自然语言处理网络结构式RNN。RNN的主要功能是把能把自然语言的句子抽取成特征向量，又来特征向量之后再接入全连接网络做分类或者回归就水到渠成了。

从这个角度讲，RNN把一个自然语言处理的任务转换成了全连接神经网络任务。对于类似于RNN这样能够把抽象数据类型转化成具体特征向量的网络层，被统称为backbone,中文一般译为特征抽取层。

相对于backbone的网络，后续的处理神经网络被称为下有任务模型，它往往会对backbone输出的特征向量进行在计算，得到业务上需要的计算结构，这往往也是分类或回归需要的结果。