吴恩达深度学习课程第一课---深度学习---第一周学习笔记

吴恩达深度学习课程第一课–深度学习–第一周学习笔记

什么是神经网络

神经网络就是按照一定规则将多个神经元连接起来的网络
单神经元网络，相当于简单的函数，输入x得出y,如图:

复杂一些的神经网络是由多个单元神经网络堆叠起来的

机器学习被应用于结构化数据和非结构化数据

结构化数据是数据的数据库，如

非结构化数据是不方便用数据库二维逻辑表来表现的数据,如音频,图片，和文本中单词:

sigmoid函数和ReLU函数

sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid作为激活函数有以下优缺点：
优点：平滑、易于求导。
缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。

线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。相比于传统的神经网络激活函数，诸如逻辑函数（Logistic sigmoid）和tanh等双曲函数，线性整流函数有着以下几方面的优势：
1.更加有效率的梯度下降以及反向传播：避免了梯度爆炸和梯度消失问题
2.简化计算过程：没有了其他复杂激活函数中诸如指数函数的影响；同时活跃度的分散性使得神经网络整体计算成本下降。