sheng的学习笔记-神经网络

基础知识

基础知识-什么是分类问题

分类问题是根据已有数据，判断结果是正的还是负的（1或者0）,比如：

• 根据肿瘤大小，判断肿瘤是良性的还是恶性的

• 根据客户交易行为，判断是否是恶意用户

• 根据邮件情况，判断是否垃圾邮件

下图：横坐标是肿瘤大小，纵坐标：是肿瘤的可能性，可能性大于 50% ，结果是 1 （恶性），小于 50% 结果是 0 （良性），下图中最右边的那个，体积很大，是恶性的可能性非常大

肿瘤有70%可能性是恶性，30%可能性是良性，两者加和为1

基础知识-逻辑回归算法（logsitic regression）

逻辑回归算法是解决分类问题的一种，下面是逻辑回归模型，x是肿瘤大小（已知数据）,theta是需要训练的参数，一个肿瘤根据两个数据可以知道h（是肿瘤的概率），下图z>0认为是恶性肿瘤

线性决策边界：线右边的是恶性，左边是良性

非线性决策边界：圈外面的是恶性，圈里面是良性

基础知识-多分类（multi-class classification）

多分类：上述讲的是二分类，结果只有1和0，以此扩展为多分类，预测结果有很多可能。

比如预测天气可能是：晴天？阴天？雨天？雪天？分别预测每种情况的可能性，比如是晴天的可能性70%，阴天可能性60%。。。找可能性最大的那个，作为本次数据的结果

基础知识-什么是神经网络

神经网络模拟人类大脑，将大量的输入信息，经过多个节点（每个节点处理一部分）处理（输入层），将结果作为输入传给下个节点（隐藏层，每个隐藏层含多个节点，可以有多个隐藏层），隐藏层的输出传给最后一个节点，并得到结果

适用于数据量大，特征个数多，计算复杂的场景，在语音识别，图像识别等场景应用很广

基础知识-神经网络应用：识别手写数字，智能驾驶

识别手写数字：通过图片转化成数字输入，经过神经网络算法，输出结果数字

智能驾驶：通过观察人类的行驶学习转向，根据摄像头采集的画面画质（车上装传感器），转化成数据，预测出接下来应该是向左，向右，直向行驶（采用神经网络算法，多分类问题应用）

下图左上角第一个横线是驾驶员实际操作，第二个横线是系统预测的操作

计算方法

计算方法-总体方法

实现方法：正向传播计算结果，反向传播更新theta(这里的w和b就是theta)，直到损失函数最小

1 正向传播

2 计算导数推演

3 逻辑回归计算导数推演

计算实现

计算方法-代价函数（ cost function ）  

肿瘤举例：有了很多肿瘤的数据，训练theta，让预测的结果跟实际结果最相近，当有一个新的肿瘤案例，根据theta就知道新的病例是恶性的可能性有多大，所以我们要做的是找到最佳的theta

过程是：随机初始化参数=>算出预测值=>算出差异（损失函数J）=>更新参数=>算出预测值。。重复第二步，直到损失函数足够小

预测值与实际值的差距（叫做代价函数J）越小，代表预测的越准确

参数每次减去J的导数和学习速率乘积，更新自己

计算方法-导数

导数：变量x偏移一个小的单位，结果y变化的倍数，是斜率

直线的斜率是恒定值，曲线的斜率在不同的点不一样

计算方法-正向传播

计算方法-反向传播

反向传播可以让损失函数朝着最小值前进

计算方法-反向传播-梯度检测（选看）

当反向传播和其他算法（梯度下降等）一起工作时，可能会产生一些BUG，导致看起来都正常（比如代价函数在每次梯度都在减小），但其结果的误差很大，这时候需要用梯度检测，注意：在使用梯度检测验证反向传播是正确之后，应该关闭梯度检测，因为这个检测很耗费时间

计算方法-反向传播-随机初始化（选看）

如果初始化的theta都是0，对于x2产生的a1和a2是一样的，在反向传播会导致theta1和theta2一样，也就是说红色的两个线参数一样，绿色的2个线参数一样（蓝色也一样），虽然它们的值都不是0

参考

吴恩达深度学习和机器学习，关于神经网络部分