（笔记）神经网络压缩，Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks（一）

目录

原文

paper: http://lepsucd.com/wp-content/uploads/2015/08/Thesis_Philipp_Gysel.pdf

code: https://github.com/MichalBusta/Ristretto-caffe/commit/55c64c202fc8fca875e108b48c13993b7fdd0f63
2016年硕士论文
作者：Philipp Matthias Gysel
学校：B.S. (Bern University of Applied Sciences, Switzerland)

简要介绍

Ristretto是一个和Caffe类似的框架。本文介绍了几种网络压缩的方法，压缩特征图和参数。方法包括定点法、动态定点法、迷你浮点法和乘法变移位法，所压缩的网络包括LeNet、CIFAR-10、AlexNet和CaffeNet等。注：Ristretto原指一种特浓咖啡（Caffe），本文的Ristretto沿用了Caffe的框架。

摘要

卷积神经网络（CNN）近年来获得巨大成功，尤其在图像识别方面。然而深度CNN需要巨大的计算能力和内存空间，制约了其进一步在移动终端或嵌入式系统的应用。
是什么：Ristretto是一个框架，针对深度学习CNN的硬件加速，能以已训练的模型为输入，低位数的压缩模型作为输出。其中模型的中间变量（特征图）和层参数都用更低的位数进行存取，其减小计算成本。
性能：Ristretto能用GPU加速。
效果：在保证准确率损失在1%以内的前提下，Ristretto能压缩CaffeNet和SqueezeNet到8bit。

第一章：介绍（略）

第二章：卷积神经网络（略）

第三章：相关工作（略）