泛读：基于融合多网络深层卷积特征和稀疏双关系正则化方法的乳腺癌图像分类研究

基本思路

文章使用图像识别的方法辨别病例图像，提高效率，减少医生工作量，用以辅助诊断。首先，通过子图像裁剪和颜色增强进行乳腺癌图像预处理; 其次，使用深度学习模型中典型的 3 种深度卷积神经网络( InceptionV3、ＲesNet-50 和 VGG-16) ，提取乳腺癌病理图像的多网络深层卷积特征并进行特征融合; 最后，通过利用两种关系( “样本－样本”和“特征－特征”关系) 和 lF 正则化，提出一种有监督的双关系正则化学习方法进行特征降维，并使用支持向量机将乳腺癌病理图像区分为 4 类—正常、良性、原位癌和浸润性癌。

思路详细

1.背景介绍

使用灰度共生矩阵(gray level co-occurrence matrix,GLCM)、局部二值模式（local binary patterns,LBP）、尺度不变特征转换（scale-invariant feature transform,SIFT）等作特征提取。

2.图像预处理

图像下采样->颜色增强->子图像裁剪

3.图像特征提取

通过3种DCNNs,分别提取乳腺癌形状和深层抽象特征，并利用不同网络间的互补性进行融合，从而提高分类的准确性。具体来说，ＲesNet-50 和 InceptionV3 网络直接去掉网络的全连接层，使用一个全局平均池化将网络最后一层卷积层输出的特征映射图转换为长度为 2048 的一维特征向量。同时，VGG-16 网络由 5个 模 块 ( 3-Block1、3-Block2、3-Block3、3-Block4 和3-Block5) 组成，其中 3-Block2、3-Block3、3-Block4 和 3-Block5 分别有 128、256、512、像数量) ×3( 3 个 DCNNs) ) 。

4.特征选择与分类器训练

L1正则化得到稀疏解，利用样本——样本，特征——特征关系排除冗余和噪声，最后加入LF正则项优化。

   

重点

1.三种神经模型联合提取特征

2.稀疏双关系正则化

总结

论文中选择InceptionV3、ResNet-50和VGG-16这3个DCNNs，主要原因是它们的网络结构差异性较大，提取到的图像特征具有互补性，这 3 个网络相比于其他同类型网络在计算速度、准确性、硬件资源消耗等方面更有优越性。同时，ResNet50网络相比于InceptionV3和VGG-16可以获得更具代表性的深层语义特征，从而训练出准确性更高的分类器; VGG-16 网络［11］具有更小卷积核、分段卷积、以及更浅层的网络结构，使其在提取图像浅层特征( 形状、纹理、轮廓和颜色等) 的时候也获得了大量的冗余特征和噪声信息，从而影响SVM的分类性能。