吴恩达深度学习课程笔记(初步认识神经网络)

吴恩达深度学习课程笔记1

课程主要内容

1.神经网络与深度学习介绍
2.Improving Deep Neural Networks:超参数调整,正则化,优化方法
3.结构化机器学习工程:比如如何分割训练集,比较集,或改变验证集,测试集。
4.卷积神经网络CNN
5.如何进行自然语言处理(时间序列模型)RNN,LSTM

什么是神经网络?

举例:房价预测的例子
吴恩达深度学习课程笔记(初步认识神经网络)_第1张图片
问题是:我们现在已知六所房子(我可爱的朋友们,小红,小明,小兰,小白,小黑,小绿每人都有一套房,我还知道他们的价格和面积)的房屋面积以及房价,目标是随便给定房屋面积预测房屋的价格。(想为了追上朋友们的脚步,我也要买一个120平的大House得需要多少钱呢?)
那我们最自然的一种想法是利用一个线性函数去拟合它

吴恩达深度学习课程笔记(初步认识神经网络)_第2张图片
但是因为价格不能为负数(不能人家给我房子还倒贴钱吧,哈哈哈哈),所以在某个点他会是0.
吴恩达深度学习课程笔记(初步认识神经网络)_第3张图片
也就是上面这个样子的。这个蓝色的粗线,就是我们要找的函数,我就可以预测我的120平米的大house多少钱了。
吴恩达深度学习课程笔记(初步认识神经网络)_第4张图片
这时候输入120(size:x),经过这个圆圈圈(独立神经元,其实就是我们找到的线性函数计算),就可以得到预测的房价(price:y)了。(我要为了我的大house努力学习)

吴恩达深度学习课程笔记(初步认识神经网络)_第5张图片
在深度学习中,上述图片的这样的一个函数我们叫做线性修正单元(rectifited linear unit) RELU.

学习了单个的神经元,我们就可以通过单个的神经元去搭建更大的神经元了。

吴恩达深度学习课程笔记(初步认识神经网络)_第6张图片
可能以后我结婚生孩子了,一个120平的大house已经不适合我了,我要考虑更多的因素去买房子了,比如
1.房屋的大小
2.有几间卧室
3.邮政编码
4.繁荣程度
房屋的大小和卧室的数量与我家有几口人有关系,邮政编码决定了我住在哪个区,我的步行化程度,邮政编码和繁荣程度又和学校的质量有关系(学区房呀),最后才能得出房价的预估。
吴恩达深度学习课程笔记(初步认识神经网络)_第7张图片
中间的⭕成为是隐藏单元,来自于前面的特征,神经网络的工作就是我输入前面的x(上面列出的1,2,3,4)的部分,然后他经过一通计算,给我得出我想要的房子的价格y.具体中间的隐藏单元是啥,我们是不知道的。

用神经网络能够干些什么

吴恩达深度学习课程笔记(初步认识神经网络)_第8张图片
用神经网络进行监督学习
可以应用到以下几个方面(翻译的ppt):
1.实际问题的预测
2.在线广告的推广
3.图像处理
4.语音识别
5.机器翻译
6.自动驾驶
其中1,2用的是标准的神经网络,3用的的卷积神经网络CNN,4,5用的是RNN,6用的是混合神经网络。
吴恩达深度学习课程笔记(初步认识神经网络)_第9张图片
网络模型的图示
吴恩达深度学习课程笔记(初步认识神经网络)_第10张图片
监督学习的数据分为两类,一类是结构化的数据,就是比如我们数据库中存储的数据,具有明显的特征。另一类是非结构化数据,语音,图片,文本(英语单词)

为什么深度学习火了?

吴恩达深度学习课程笔记(初步认识神经网络)_第11张图片
红色:传统机器学习表现
黄色:小型神经网络表现
蓝色:中型神经网络表现
绿色:大型神经网络表现

在数据量小的时候,传统的机器学习算法的效果与深度学习的算法的效果相比,很难分出好坏。在现在这个时代,获取海量数据变得容易了(那么多app…额。。。不说了)。而传统的机器学习算法,很难处理海量的数据,但是大型神经网络可以,所以他就火了。
深度学习的发展和数据的爆炸式增长,硬件的发展(GPU,CPU)是密不可分的。
吴恩达深度学习课程笔记(初步认识神经网络)_第12张图片
也就是规模促使深度学习进步。
数据促使计算能力变强(CPU,GPU)
算法进步导致计算能力变强,计算速度变快

说一个最简单的算法的创新
将激活函数sigmoid函数变为RELU函数
因为sigma函数两侧倒数接近于0,在用梯度下降法时参数更新的很慢,在使用RELU函数后,计算效率有所提升。

这是我今天通过看视频学习到的东西,如果有什么地方理解的不准确,欢迎大家批评指正。希望自己能坚持下去,学完这个课程。加油!

你可能感兴趣的:(深度学习,神经网络)