吴恩达 深度学习系列--神经网络基础（Logistic Regression）-01

吴恩达 深度学习系列–神经网络基础

LOGISTIC REGRESSION

• logistic回归的因变量可以是二分非线性差分方程类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最为常用的就是二分类的logistic回归。

激活函数(activation function)

• Logistic Regression采用的激活函数是sigmoid，sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid作为激活函数有以下优缺点：
  优点：平滑、易于求导。
  缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。其公式如下：
  
  
  其导数公式是：

损失函数（loss function）与代价函数（cost function）

• 损失函数（loss function）是定义在单个训练样本上的，也就是一个样本的误差。 代价函数（cost
  function）是定义在整个训练集上的，也就是所有样本的误差总和的平均。
  注：logisitc regression的损失函数选择2式，1式是分非凹函数，在梯度下降求解过程中，容易陷入局部最佳解。

向量化（VECTORIZATION）

• 因深度学习涉及大量的多批次的计算，若采用for循环会损耗大量时间，故采用数据向量化的并行计算方式，可大大加快计算速度。如一个三通道的彩色图像，可以转化为一个列向量加速计算：

  assignment2_1

• assignment2_1（Python Basics with Numpy (optional assignment)）

  assignment2_2

  assignment2_2（Logistic Regression with a Neural Network mindset）

• Logistic Regression with a Neural Network mindset for recognizing cat：
  

  • Initializing parameters
  • Calculating the cost function and its gradient
  • Using an optimization algorithm (gradient descent)
  • Gather all three functions above into a main model function, in the right order.