网易云课堂吴恩达Andrew Ng深度学习笔记（一）

时不时给自己充电，记笔记巩固记忆。

我以前也接触过机器学习，往简单说就是以前统计理论的曲线拟合的概念包装，数据一多就变成机器学习或者叫做人工智能，也就是用数据做分析，得出分类或者回归的结果。

以前是用SVM支持向量机做的毕业设计，用数据往函数里面一塞算上1~2天。所以在我的印象中，机器学习其实是个很学术的东西，实用意义不大。第一次听说深度学习是在Alpha Go的围棋比赛，把人类棋手一网打尽之后，才知道这么逆天的东西是用一个叫深度学习的算法做到的。当时也大致看过博客介绍何为深度学习，不知是自己理解不够还是确实没有解释清楚，觉得和我之前接触的机器学习并没有什么两样。

吴恩达老师了解是因为其之前被百度聘用的时候出了很多新闻，而且其离开百度也是当时的大新闻。渐渐知道有这么一位资深的华裔人工智能大牛。在我关注的公众号里面某天的一个推送，说是其主持下的deeplearning.ai的深度学习教程终于完结，撒花！然后正好是年前工作相对轻松，就想着给自己充充电。秉着中国人不愿付钱的本性，我没有在coursera上学习，找到了网易云课堂里面的课程，好处是免费，带中文字幕，缺点是没有课后练习（视频里面有提到，但我没有找到，可能coursera的课程有）。

01.神经网络和深度学习

第一周  深度学习概论

what is neural network?

It is a powerful learning algorithm inspired by how the brain works.

神经网络是模仿人脑做的学习算法，人脑由神经元构成神经系统，信息被一层层处理，抽象化，最后做出决策。

这个过程像灰箱，我给输出，中间进行算法处理，最后输出结果。对理论研究透彻的人，知道其变化的原理。对以前的我来说，这个过程更多是黑箱，只知道里面发生了变化推导，具体的还是模糊。

上图是一个简单的单神经元事例，输入房间的规模，然后输出价格。

这个过程在算法中就是一个神经元，进行了第一层的数据处理，把面积信息转化为价格信息。

多层神经网络模型就是由多个单神经元组成，中间层在传统NN算法中2~3层最多，1层为最简单的神经网络。（这是我以前的理解，不知道深度学习是不是指中间层特别多）

中间层越多，抽象的过程越复杂，越无法用逻辑来说明。

输入是尽可能的输入给中间层，但中间层具体使用哪几个特征运算生成尽量不相关的中间特征是由算法来决定的。

任何一种方法都会有其极限的存在，即增加数据后无法得到最终效果的提升。大型神经网络的数据量阈值点最高。

各种机器学习方法在数据量有限的时候（这就是我之前学习中所遇到的情况），相互的差距是很小的，甚至说与大数据量的情况相反。当数据量往上增长后，模型之间的差别逐渐体现出来。

真正让深度学习脱颖而出的最直接因素，就是数据规模的上升。

然后必不可少的计算速度的提升，这个和算法有关，和编程语言有关，也和硬件有关。

就像我以前做的那样，如果模型计算的周期是用天用月来计算，根本没有足够的时间来调整模型。

我想我需要重点注意的就是深度学习是如何把这个计算时间来进行压缩的。

神经网络在现实中的应用有很多方面，面对的数据有结构型数据和非结构型数据（图像，语句，语言等）。虽然非结构数据是未来应用的主流，但目前适用最广的还是将以往积累的结构型数据利用起来，挖掘数据价值。

对于不同的应用，有不同的神经网络分类：应用于图像的Convolution Neural Network，应用于一维序列数据（翻译、文本理解）的Recurrent Neural Network，应用于自动驾驶的hybrid Neural Network.