《深度学习 21天实战caffe》学习笔记

第一天 什么是深度学习

一、几个概念：

1. 有监督：上课跟着老师学习；
2. 无监督：课后完成作业；
3. 测试数据集：用于检测我们学习效果的考试试卷；
4. 过拟合：平时训练题做的很好，一到考试就不行了；
5. 损失或惩罚函数：训练样本D=｛z₁,z₂,…,z_n｝，其中z_i表示未知系统P(Z)中采样得到的数据（输入-输出对）。惩罚函数L(f,Z)，其参数为学习到的规则f和独立于训练样本的验证样本集Z，返回值为实数标量，成为惩罚值或损失（Loss）。机器学习算法从D中学习得到f，直到L足够小，算法收敛；
6. 训练集：机器学习的样例；
7. 验证集：学习阶段用于评估得分和损失是否达到预期要求；
8. 测试集：学习结束后，实战阶段的评估得分。
   总结：带“学习”的机器通过“看”未知系统的输入-输出，自动实现该系统内部算法，并且具有举一反三的能力（泛化）。

二、一些信息：

1. 2012年AlexNet在ImageNet大规模视觉识别大赛 上的比赛结果掀起了基于CNN计算机视觉的浪潮。
   机器学习ABC：
   （1）更大的数据集：ImageNet；
   （2）新的深度学习技术：ReLU，Dropout；
   （3）新的硬件：GPU。
2. Geoffrey Hinton 的googleNet；基于caffe实现的Fast-RCNN；
3. Yann LeCun带领下的Facebook的著名项目：Torch和fbcunn。
4. Amazon的laas平台相关项目[http://aws.amazon.com/cn/machine-learning/]
5. 国内机器学习热潮：BAT，科大讯飞，商汤科技，Face++,涂鸦（云服务），格灵深瞳，Dress+，Linkface。。。