吴恩达机器学习笔记2

Logistic回归：

判定边界：

logistics回归代价函数：

高级优化：利用一些高级算法，来更快计算出结果。

通常这些算法：能够自主选择α，速度大大快于梯度下降，但比梯度下降更为复杂。

正则化：

过拟合解决方法：

1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA）

2.正则化。 保留所有的特征，但是减少参数的大小。

正则化线性回归：

正则化logistic回归：

神经网络：

模型表示1：

模型表示2：

逻辑运算：

1.逻辑与AND函数：

 

2.逻辑或OR函数

3.逻辑非NOT函数

4.XNOR

代价函数:

神经网络的代价函数：

反向传播算法：

先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层（第一层是输入变量，不存在误差）。

反向传播算法直观理解：

前向传播算法：

反向传播算法：

梯度检验：

随机初始化：

之前都是初始所有参数为 0，这样的初始方法对于逻辑回归来说是可行的，但是对于神经网络来说是不可行的。如果我们令所有的初始参数都为 0，这将意味着我们第二层的所有激活单元都会有相同的值。同理，如果我们初始所有的参数都为一个非 0 的数，结果也是一样的。通常初始参数为正负ɛ之间的随机值，

综合使用：