吴恩达DL课程学习笔记——NN & DL（第一周）

第一周——深度学习概述

1、什么是神经网络

（1）单神经元的网络 => 感知机/单层NN => MLP/ANN/BPNN。
（2）通过组合一些低层次的特征得到更高层次的特征，例如通过house size和bedroom数目推测该房屋可作为几口之家，然后利用高层抽象的特征去做预测。
（3）NN的输入为特征向量，这些特征可以表示该样本；NN做特征的自动抽取。
（4）要给够数据，基于input-output pair以监督学习的方式训练NN，NN作为函数近似机，能够找到最佳函数，拟合数据，学到输入输出对中所蕴藏的那个函数。

2、用NN进行监督学习

（1）目前DL产生的经济效益绝大部分都来自于监督学习，即以监督学习的方式训练得到一个model，然后用这个model做预测，来解决现实世界中的实际问题。
（2）将通过监督学习得到的End-to-End组件嵌入到更大型的系统中。
（3）结构化的数据，例如数据库中的表，或者CSV文件，那种每一个特征都有明确定义的input sample和output label；非结构化数据，音频、图片和文本等，由于DL，现在计算机也可以比较好地理解这些非结构化数据了。
（4）DL创造的经济效益更多来自于结构化数据，例如做一个更好的在线广告推荐系统。

3、为什么深度学习会兴起

（1）Scale drives deep learning progress，数据的规模和NN的规模。
（2）统计学习方法非常依赖于手工设计的特征。
（3）更多的数据+计算力的提升，是早期DL取得很大进展的两个原因。
（4）最近，算法方面也有了很多创新，趋势就是更少的数据（例如远程监督、半监督学习、RL、GAN等），更少的模型参数（例如RNN不同时刻复用同一套参数和CNN的权值共享），更少的超参（参考AlexNet=>VGG-16），NN更快的训练速度（例如通过ReLU引入非线性，能够加速DL模型的训练过程）。
（5）搞机器学习是一个不断迭代不断实验的过程，idea => code => experiment，通过实验去验证idea是否可行，去尝试更多的想法，去改进idea。