线性回归、逻辑回归、正则化小结

小结（一）

学了两周，整理一下笔记。

课程笔记总览传送门：https://blog.csdn.net/weixin_42900928/article/details/86523192

---

目录

小结（一）

1.线性回归

1.1 无正则化

1.2 正则化

2.逻辑回归

2.1 无正则化

2.2 正则化

---

1.线性回归

1.1 无正则化

（1）假设函数

一般形式：

为了方便实现，转换为矩阵形式：

（2）代价函数

（3）梯度下降

 和其它  分别考虑。

 ;

注：——学习率  后看似毫无道理的数学公式其实是   的结果；

——同时迭代。

——每个  内部都是一个loop。

（4）正规方程

  （X 又称设计矩阵）

注：再次提醒，这里的  是 (n+1) x 1 的矩阵；X 是 m x (n+1) 的矩阵（包含x0=1）；y 是 m x 1的矩阵。（都是矩阵！！！）

 

1.2 正则化

（1）假设函数

不变

（2）代价函数

（3）梯度下降

 

（4）正规方程

---

2.逻辑回归

2.1 无正则化

（1）假设函数

（2）代价函数

（3）梯度下降

 和其它  分别考虑。

 ;

（4）高级算法

BFGS、L-BFGS

 

2.2 正则化

（1）假设函数

（2）代价函数

（3）梯度下降

（4）高级算法

正则化的高级算法