基于小样本知识蒸馏的乳腺癌组织病理图像分类

基于小样本知识蒸馏的乳腺癌组织病理图像分类

期刊:中国计量大学学报

时间:2022

研究院:中国计量大学

关键词:乳腺癌 ;知识蒸馏 ;图像分类 ;小样本学习 ;卷积神经网络

方法简介

本文使用的知识蒸馏方案是基于小样本的双级蒸馏策略,其核心在于它通过将学生模型的部分参数替换成教师模型的参数的方法,来学习学生模型的参数。 这种嫁接策略可以更好地利用教师模型中训练有素的参数 ,并且显著缩小了学生模型的参数空间。

相关工作

样本学习利用少量样本进行图像分类学习,可以解决训练数据量少的问题[3-4]。基于度量学习的方法[5-7]和元学习[8-10]是当前在小样本学习中广泛应用的两种方法

具体方法

基于小样本的原则性双级蒸馏策略

2020年 Shen 等[20]提出一种针对少量数据定制的原则性双级蒸馏方案。 该方案分为两步, 第一步 ,将学生区块逐一嫁接到教师网络身上,并与其他教师区块交织在一起训练,训练过程只更新嫁接区块的参数。 第二步,将训练有素的学生区块逐步连接 ,然后一起嫁接到教师网络上,让习得的学生区块相互适应,最终取代教师网络。 小样本知识蒸馏的目标是将知识从教师网络转移到学生网络 ,每个类别仅使用少量样本取得优秀的蒸馏效果。 如图 3 所示 ,在第一阶段 ,将每个学生区块嫁接到教师网络上,代替了相应的教师区块。 此时每次只有一个教师区块被相应的学生区块取代。 然后对嫁接后的网络通过小样本蒸馏训练更新学生区块参数。 第二阶段,将所有训练有素的学生区块逐步嫁接到教师区块上,直到整个教师网络被一系列学生区块完全取代。 首先学生网络 S 被分解成几个区块 {hl}L l=1,每个区块都嫁接到教师网络上,然后通过小样本蒸馏在 TB l 和T 之间进行优化。 最后,将第一阶段的训练完善的 {hl}L l=1 按顺序组成训练后的学生网 S,并在 TN l 和T 之间通过小样本蒸馏进行优化。

嵌段嫁接在可用样本较少的情况下,一般认为很难对神经网络进行优化,尤其是有大量参数的网络。 为了降低网络优化的复杂性,将学生网络分解为一系列区块,每个区块包含较少的参数。 学生区块嫁接到教师网络

针对学生区块和教师区块之间的通道维度差异 ,引入自适应模块对通道维度差异进行对齐。其中表示来自网络的第l个块的输出。 自适应模块采用1×1 卷积运算实现。 它实现了输入特征在通道维度上的线性重组,并且不改变接受域的大小 ,该接受域旨在使学生和教师之间的特征对齐

网络嫁接

从上面的部分可以得到一系列经过训练的学生区块 ,每个学生区块都可以与教师网络的区块一起进行决策。 然而,这些训练有素的区块未曾合并在一起训练。 在这一部分中,采用网络嫁接策略 ,逐步增加嫁接教师网络中的学生块,减少对原教师网络的依赖。

网络优化

不同网络架构的 Logits规模可能会有很大差距,这会导致优化困难。 通过优化损失函数来指导优化模型 ,提出了教师区块和学生区块之间知识转移的归一化的损失函数如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xbT9lSvD-1666889232834)(基于小样本知识蒸馏的乳腺癌 组织病理图像分类.assets/image-20221028004600527.png)]

你可能感兴趣的:(文献,分类,机器学习,人工智能)