网易云课堂-微专业-深度学习工程师-学习记录

深度学习工程师

大家好，此文章为网易云课程–微专业–深度学习工程师的课堂笔记，欢迎讨论交流。
课程链接：神经网络和深度学习

标题神经网络和深度学习

主要讲解了以下几个问题

• 什么是神经网络
• 二分类问题
• 逻辑回归
• 浅层神经网络
• 深层神经网络

什么是神经网络(Neural Network)

首先以房屋价格预测的例子介绍了什么是神经网络，假如我们知道了一些不同房屋面积对应的房屋价格，即图上的红叉表示，那么我们想研究房屋面积x与房屋价格y之间的关系，通过观察可以得出x与y是正相关，那么可以用一条蓝线来拟合其关系，因x和y都不可能为负，所以蓝线的前方部分是y=0的线段，这种蓝线形状的函数称为ReLU(Rectified Linear Unit)。神经网络即是输入x与输出y之间的一种映射关系。

实际上房屋的价格除了房屋面积外还有很多影响因素，比如卧室的数量、邮编（反应周围的环境）、富裕程度等，下图便是多元神经网络结构。神经网络的神奇之处是当你输入x1、x2、x3、x4……，便能得到一个输出y，中间的网络能够自己找到x对y的精准映射。

二分类问题（Binary Classification）

如名字所示，二分类即把物体分为两类，在计算机中用0或1来表示。接下来用判断图片里是否有猫为例（Cat vs not-cat）进行阐述，有猫代表1，无猫代表0。
计算机是如何“看”一张图片，或者读取图片中的信息？计算机利用Red、Green、Blue三个相同大小的矩阵来存储一张图片的（RGB是图片的三个色彩通道），并且将三个矩阵中的值重新排列成一个n1的列向量x。
如果原矩阵的维度是6464，那么n=64643=12288。

逻辑回归（Logistic Regression）

异或问题没法用线性回归网络解决，因为其不是简单的二分类，逻辑回归则加入了非线性环节，解决了线性回归不能解决的问题，实现更多的分类。接下来以Cat vs not-cat为例讨论逻辑回归问题，当逻辑回归解决二分类问题时，其相当于实现回归。
输出y^ = σ(ωT*x+b) = σ(z) = 1/(1+e-z)
z越大，y^= 1;
z = 0 , y^ = 0.5;
z越小，y^= 0;
这样便实现了0-1分类。

损失函数（Loss function），代表单个样本真实值与预测值之间的误差，与平方误差类似，越小越好。
如下图所示：L = -（ylog(y^) + (1-y)log(1-y^)）
如果y=1，L = -y*log(y∧) ，想要L尽可能的小，那么y∧要尽可能的大，即y∧=1；
同理，如果y=0，L = -log(1-y^)，那么y∧要尽可能的小，接近于0。
成本函数（Cost function），即所有样本损失函数的和。

梯度下降（Gradient Descent）：


向量化带梯度下降的逻辑回归：向量化可以大幅提高程序的运算速度。
下图左边是向量化之前的程序，右边是向量化后的程序，可以看到，减少了for循环的次数，但是for循环也是必不可少的。

浅层神经网络

神经网络的输出：
下图左边是逻辑回归的形式，神经元的前边表示计算z，后边表示通过激活函数输出，进而得到y^。
下图右边表示含有一层隐藏层的浅层神经网络的计算过程，与逻辑回归类似。

下图为多种激活函数。

前向传播与反向传播：
下图左边表示前向传播，右边表示反向传播的求解过程。

随机初始化：
在神经网络中随机初始化很重要，因为如果每个神经元参数都初始化为0，那么他们就会永远计算着相同的函数，w和b随机初始化程序如下图所示，为什么要乘以0.01这个参数呢？因为要乘以一个相对较小的参数，如果乘了一个大的参数，w就大，z就大，激活函数就处于一个平缓的部分，意味着梯度下降就会很缓慢，对于深层神经网络来说，这个参数可能会变化，但是也很小。

深层神经网络

为什么深度神经网络效果会好：以人脸识别的例子概略说明，可以从下图中看到随着隐藏层的增加即深度的增加，识别出的图片由线条变成脸部器官再变成整个面部。直观的感受到深度产生的效果。

计算的过程如右边所示，第L层，首先是正向传播输入a[L-1]，通过权重W[L]及b[L]计算得到a[L]，然后反向传播求da[L]，利用已经求出的W[L]及b[L]，求出dz[L]，再求出da[L]。

对w和b的更新过程如绿色的公式。

超参数：
学习率、迭代次数、隐藏层数、隐藏单元数、激活函数、正则化参数、最小批次等，他们决定了最终的W和b的值，并且这些超参数的值都需要调整以达到当前最好的状态。