2018-02-16 神经网络基础（一）

二分分类(Binary Classfication)

• 用途：结果是离散值，如0和1
• 例子：输入图像（x），判断是否为猫
  • 图像是如何储存在计算机里的？
    - RGB(red,green,blue)分别对应三个矩阵，矩阵大小同像素
    - 色彩亮度值组成特征向量，如图
    
    屏幕快照 2018-02-16 下午8.34.47.png
    
    
    屏幕快照 2018-02-16 下午8.34.56.png
• 标记(Notation）
  • (x,y),x是n维列向量，y为0或1
  • m->训练集

  • X,Y矩阵，按列分块，分块矩阵的列矩阵分别为x和y。如图：

    
    
    屏幕快照 2018-02-16 下午8.38.20.png

logistic回归

• 定义：当输出为0或1时，一种监督学习算法

• 例子：
  屏幕快照 2018-02-16 下午8.40.00.png

图像介于0到1之间

• 参数解释
  • x:输入特征向量
  • y:训练标记
  • w:参数，相当于斜率之类，权重
  • b:参数，相当于起始值

logistic 回归损失函数

• 损失函数（Loss function)
  衡量单个训练中预测的y值与实际值的差值
  - 说明
  - MSE(mean square error)均方差损失函数
  
  屏幕快照 2018-02-16 下午8.45.33.png

但为非凸性，有很多个局部最优解，故舍弃
- 另一种损失函数

屏幕快照 2018-02-16 下午8.45.33.png

该函数只有一个全局最优解，并且在图中两种特殊情况下，当y趋近于0或1时，可以使函数值趋近0.

• 成本函数(Cost function)
  整个训练集损失函数的平均值
  
  屏幕快照 2018-02-16 下午8.48.30.png

梯度下降法（Gradient Descent)

• 迭代如下更新参数的方程，直到使斜率接近0
  

  屏幕快照 2018-02-16 下午8.53.14.png

• 参数,符号解释：

  • := 更新值
  • a ->学习率
  • dw,db ->导数或偏导

导数

正在学微积分的自己就飘过～