CapsNet

胶囊网络


原文:Dynamic Routing Between Capsules
源码:https://github.com/XifengGuo/CapsNet-Fashion-MNIST


数据集

Fashion-MNIST数据集由70000张大小的灰度图像组成,共有10个类别,每一类别各有7000张图像。数据集划分为两部分,即训练集和测试集。其中,训练集共有60000张图像,每个类别各有6000张;测试集共有10000张图像,每一类别各有1000张。

胶囊网络结构

网络模型

采用CapsNet网络模型,该网络由两部分组成:编码器和解码器。前3层网络为编码器,即卷积层、PrimaryCaps层和DigitCaps层;后3层网络为解码器,即三层全连接层。

编码器

CapsNet_第1张图片
编码器

编码器以大小的Fashion-MNIST图像作为输入,以大小的矩阵作为输出。

卷积层

该层用于检测图像的基本特征。卷积核大小为,步长为1,filter数为256,激活函数为Relu。输出大小为。

PrimaryCaps层

该层接受卷积层检测到的基本特征,用于生成特征组合。该层共有32个PrimaryCapsules,每个PrimaryCapsules由8个卷积核为,步长为2的卷积组成。输出大小为。

DigitCaps层

该层由10个16维的DigitCapsules构成,每一个DigitCapsule对应一个类别。在DigitCapsules内部,每个输入通过的权重矩阵将8维输入空间映射至16维Capsules输出空间。输出大小为。

损失函数

其中,若真实标签与预测标签相同,则,否则为0。和分别为0.9和0.1。用于确保训练中的数值稳定性。

表示第个capsule输出的向量。

为高层capsules的输入。为耦合系数,其中,初始时。

表示权重矩阵,为低层capsules的输出,为预测向量,可视为底层capsules的输出向量进行仿射变换。

动态路由算法
CapsNet_第2张图片

解码器

CapsNet_第3张图片
解码器

解码器由三层全连接层构成,用于重建图像,损失函数为MSE函数。训练时仅使用正确的DigitCap向量。

实现细节

初始学习率为0.001,其随迭代次数增大而衰减,batchsize为100,共100个epoch。

结果

CapsNet_第4张图片

在test数据集上最终精度为92.89%

你可能感兴趣的:(CapsNet)