机器学习-吴恩达

P6-2 logistic(sigmoid) function

logistic(sigmoid) function 是一种分类函数,函数的取值永远在0-1之间
函数如下:
$h_{\theta }(x)=g({\theta }^{T}x)$
$g(z)=\frac{1}{1+e^{-z}}$
最终得到:
$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$
这个函数的解释是:给定输入x和参数$\theta$时,y=1的估计概率(当输入一个x时,输出y=1的概率)。
即:$h_{\theta }(x)=P(y=1|x;\theta )$

P6-3 决策边界(decision boundary)

1. 将整个区域分为两部分,一部分假设函数预测y=1,另一部分假设函数预测y=0。
2. 决策边界是假设函数的属性,决定于其参数,并不是数据集的属性。

P6-4 代价函数

P6-5 简化代价函数与梯度下降

Logistic regression cost function
$J(\theta )=\frac{1}{m}{\sum }_{i=0}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$
$Cost(h_{\theta }(x),y)=\{\begin{array}{rlr}-log(h_{\theta }(x))& & ify=1\\ -log(1-h_{\theta }(x))& & ify=0\end{array}$
Note: y = 0 or 1 always

简化后的形式是：
$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$

Gradient Descent
$J(\theta )=-\frac{1}{m}[{\sum }_{i=0}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$
Want $mi{n}_{\theta }J(\theta ):$
    Repeat{
        ${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$
     }
(simultaneously update all ${\theta }_j$)

其中
$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

则
Gradient Descent
$J(\theta )=-\frac{1}{m}[{\sum }_{i=0}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$
Want $mi{n}_{\theta }J(\theta ):$
    Repeat{
        ${\theta }_j:={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$
     }
(simultaneously update all ${\theta }_j$)
注意使用和之前线性回归中梯度下降法同样的方法确保该梯度下降法是收敛的

可以用for循环同时更新$\theta$中的所有参数,或者使用向量化的方法同时更新

还要用上之前说的特征缩放以提高提高梯度下降的收敛速度

P6-6 高级优化

P6-7 多元分类：一对多

P7-1 过拟合问题

不同的学习算法：
线性回归(linear regression)和逻辑回归(logistic regression)

欠拟合(underfitting) 过拟合（overfitting）

线性回归中过拟合的样例

逻辑回归中过拟合的样例

过拟合：如果我们拟合一个高阶多项式，那么这个假设函数能拟合几乎所有的数据，这就面临可能的函数太过庞大变量太多的问题，我们没有足够的数据约束它来获得一个好的假设函数。（无法泛化到新的样本中）

应对过拟合的方法措施有：

1. 减少特征变量的数量
2. 正则化
   

P7-2 代价函数

$J(\theta )=\frac{1}{2m}[{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda {\sum }_{j=1}^n{\theta }_j^2]$
$mi{n}_{\theta }J(\theta )$
$\lambda$是正则化参数，作用是控制这两个目标之间的平衡关系，即更好的去拟合训练集的目标和将参数控制得更小得目标，从而保证假设模型的相对简单，避免出现过拟合的情况。

正则化的作用如下图所示：