预备知识学习

可解释机器学习公开课

1、学什么

AI画画看似非常高大上，有突破性和革命性，但背后仍然是一个黑箱子，经常犯错误

2、为什么学

可解释性分析是推荐的非常难得的好方向
机器Teaching例子：把各种鸟的区别以热力图的形式告诉我们，是以人为中心的AI

感悟

训练集和测试集要来自同一分布
模型集成很强大

思考题

1、为啥要对机器学习、深度学习模型做可解释性分析和显著性分析？
2、如何回答“人工智能黑箱子灵魂之问”？
3、人工智能的可解释性分析有哪些应用场景
4、哪些机器学习算法本身可解释性就好？为什么？
\quad KNN，符合“近朱者赤近墨者黑”的思想
5、对CV如何做可解释性分析？
6、可以从哪几个角度实现可解释性分析？
7、机器Teaching有哪些应用场景？

CNN工程实践技巧

用多个小卷积核来代替一个大卷积核
1、可用两个3×3卷积代替一个5×5卷积
2、先降维再卷积再升维度代替直接卷积
3、用1×N的卷积和N×1的卷积代替N×N的卷积
好处：1、参数减少；2、非线性变换增多

经典CNN结构分析

1、ZFNet
对AlexNet的参数进行了优化
2、VGG
VGG有两个版本：VGG16和VGG19，可以对224×224×3的图像分
类。缺点：比较臃肿，计算不那么efficiency，需要大量内存和计算量，参数数量比较多。 VGG的论文非常容易阅读，算法使用了模型的集成
3、ResNet的改进

1. Deep Networks with Stochastic Depth，有效地改善梯度消失现象
2. 恒等映射 in Deep 残差网络
3. 宽的残差网络，残差块的质量比数量更重要。优点：计算更方便，增加计算效率
4. ResNext，把ResNet和Inception结合在一起

4、DenseNet
连接非常密集
5、SqueezeNet
6、FractalNet
7、MobileNet，部署在移动设备上。核心思路：深度可分离卷积。优点：大大减少参数和计算量
8、NAS
9、Learning Transferable Architectures for Scalable 图像识别

加速深度学习的算法

1、剪枝
有仿生学的理论基础对应
2、合并权重
大大减少表示数字的位数。
扩展：哈夫曼编码
剪枝、合并权重和哈夫曼编码可放在一起
3、量化
4、低秩近似
5、二值/三值量化
6、Winograd 卷积
用更多的加法代替乘法
7、并行计算
分为数据并行和模型并行