吴恩达深度学习网课 通俗版笔记——（01.神经网络和深度学习）第一周 深度学习概论

引言

之前已经学过吴恩达的机器学习课程，该课程涉及面较广，但深度较浅。在完成所有课程作业，以及通过毕设又对支持向量机和神经网络有了一个初步的应用后，算是对机器学习有了基本的入门，强烈建议学该课程之前先学习吴恩达的机器学习网课！

今天开始学习深度学习课程，第一次使用CSDN完成课程笔记，也是第一次写CSDN博客，力求非官方、通俗化（希望以后养成写CSDN博客的习惯！）

---

像类似这种网课视频，几乎所有人都很难看一遍就将知识点融会贯通，往往需要在实际应用时发现遗忘了某个点而重新翻看视频，这确实耗时耗力，因此做笔记是一个必要工作，但是冗杂的总结性笔记一样会花费不少时间，去看别人的详细笔记同样事倍功半。

因此，本深度学习笔记力求把每一小节课程的精华要点拿出来，多余的都不要，10分钟视频我们只需要20秒就可以过掉，专门针对二次学习查漏补缺的朋友们。（前提是之前已经完整看过所有课程内容）

---

神经网络和深度学习——深度学习概论

1.1 欢迎来到深度学习工程师微专业

吴恩达老师说中文还不错，老师和我们一样热衷学习新事物。

1.2 什么是神经网络？

介绍一个最基本的神经网络，在机器学习网课中也有给出的房价预测例子。

• 输入层：房屋面积、房间数量等；
• 隐藏层：网络自己找到的一些规律，如周边学校质量、家庭规模等；
• 输出层：房屋价格。

记住以下函数称为ReLu函数（修正线性单元）

1.3 用神经网络进行监督学习

神经网络在监督学习中即输入x，输出y。
目前不同种类神经网络应用如下：

• 普通的一些预测——标准神经网络
• 图像领域——CNN（卷积神经网络）
• 音频识别，序列数据——RNN（循环神经网络）
• 无人驾驶——两者结合，混合神经网络架构
  
  结构化数据：数据的数据库，即给出了很明确的数字化数据集，特征为数据库中数据。
  非结构化数据：音频、视频、图像等，特征为像素值等。

目前取得更好直接效益的仍是在结构化数据。

1.4 为什么深度学习会兴起？

近几年深度学习发展迅猛，已经比出机器学习网课那会厉害很多了，下图就可以展示传统机器学习算法和深度学习神经网络算法的性能表现，横轴为数据量，纵轴为性能。

可以看到，小数据量问题传统机器学习算法也能解决的不错，而海量数据问题神经网络才是王道。一句话，深度学习较传统机器学习来说上限更高。

咱们做深度学习研究无非就是上图的三点循环，有了想法就去写代码，然后运行实现，最后再用新想法改进，以此往复。

近几年，深度学习在算法上又有很大创新，例如，ReLu函数替代sigmoid函数后性能表现更好，尤其梯度下降的运行速度会更快。（机器学习课程神经网络中使用的是sigmoid函数）

1.5 关于这门课

说了一下课程讲什么，不赘述。

1.6 课程资源

略。