Hinton胶囊理论代码开源，上线即受热捧
当前的深度学习理论是由Geoffrey Hinton大神在2007年确立起来的，但是如今他却认为，“CNN的特征提取层与次抽样层交叉存取，将相同类型的相邻特征检测器的输出汇集到一起”是大有问题的。
去年9月，在多伦多接受媒体采访时，Hinton大神断然宣称要放弃反向传播，让整个人工智能从头再造。10月，人们关注已久的Hinton大神那篇Capsule论文"Dynamic Routing between Capsules"终于揭开面纱。
在论文中，Capsule被Hinton大神定义为这样一组神经元：其活动向量所表示的是特定实体类型的实例化参数。他的实验表明，鉴别式训练的多层Capsule系统，在MNIST手写数据集上表现出目前最先进的性能，并且在识别高度重叠数字的效果要远好于CNN。
近日，该论文的一作Sara Sabour终于在GitHub上公开了该论文中的代码。该项目上线5天便获得了217个Star，并被fork了14218次。下面让我们一起来看看Sara Sabour开源的代码吧。
胶囊模型的代码在以下论文中使用：
"Dynamic Routing between Capsules" by Sara Sabour, Nickolas Frosst, Geoffrey E. Hinton.
要求
TensorFlow ( 访问 http://www.tensorflow.org 了解如何安装和升级)
NumPy (详见 http://www.numpy.org/)
GPU
运行测试代码验证设置是否正确，比如：
python layers_test.py
快速MNIST测试结果：
从以下网址下载并提取MNIST记录到 $DATA_DIR/：https://storage.googleapis.com/capsule_toronto/mnist_data.tar.gz
从以下网址下载并提取MNIST模型检测点（checkpoint）到$CKPT_DIR：
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --train=false \
--summary_dir=/tmp/ --
checkpoint=$CKPT_DIR/mnist_checkpoint/model.ckpt-1
快速CIFAR10 ensemble测试结果：
从以下网址下载并提取cifar10二进制版本到$DATA_DIR/：
https://www.cs.toronto.edu/~kriz/cifar.html
从以下网址下载并提取cifar10模型检测点（checkpoint）到$CKPT_DIR：
https://storage.googleapis.com/capsule_toronto/cifar_checkpoints.tar.gz
将提取的二进制文件目录作为data_dir传递给（$DATA_DIR）
python experiment.py --data_dir=$DATA_DIR --train=false --dataset=cifar10 \
--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false \
--summary_dir=/tmp/ --checkpoint=$CKPT_DIR/cifar/cifar{}/model.ckpt-600000 \
--num_trials=7
Sample CIFAR10训练命令：
python experiment.py --data_dir=$DATA_DIR --dataset=cifar10 --max_steps=600000\
--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false \
--summary_dir=/tmp/
Sample MNIST完整训练命令：
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000\
--summary_dir=/tmp/attempt0/
Sample MNIST 基线训练命令：
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000\
--summary_dir=/tmp/attempt1/ --model=baseline
上述模型的训练期间在验证集上进行测试
训练中连续运行的注意事项：
在训练中 --validate = true
总共需要总共2块GPU：一个用于训练，一个用于验证
如果训练和验证工作位于同一台机器上，则需要限制每个任务的RAM占用量，因为TensorFlow会默认为第一个任务分配所有的RAM，而第二个任务将无法进行。
在MultiMNIST上测试/训练：
--num_targets = 2
--data_dir = $ DATA_DIR / multitest_6shifted_mnist.tfrecords@10
生成multiMNIST / MNIST记录的代码位于input_data / mnist / mnist_shift.py
生成multiMNIST测试分割的示例代码：
python mnist_shift.py --data_dir=$DATA_DIR/mnist_data/ --split=test --shift=6
--pad=4 --num_pairs=1000 --max_shard=100000 --multi_targets=true
为affNIST泛化能力建立expanded_mnist： --shift = 6；--pad = 6。
Github地址：
https://github.com/Sarasra/models/tree/master/research/capsules
论文地址：
https://arxiv.org/abs/1710.09829
新一年，AI科技大本营的目标更加明确，有更多的想法需要落地，不过目前对于营长来说是“现实跟不上灵魂的脚步”，因为缺人~~
所以，AI科技大本营要壮大队伍了，现招聘AI记者和资深编译，有意者请将简历投至：[email protected]，期待你的加入！
如果你暂时不能加入营长的队伍，也欢迎与营长分享你的精彩文章，投稿邮箱：[email protected]
如果以上两者你都参与不了，那就加入AI科技大本营的读者群，成为营长的真爱粉儿吧！后台回复：读者群，加入营长的大家庭，添加营长请备注自己的姓名，研究方向，营长邀请你入群。
☟☟☟点击 | 阅读原文 | 查看更多精彩内容