浅谈LR

背景

套路：
- 学习过程：Input -> Model
- 新数据，应用模型，得到结果。
- 例子：分类
  - 输入：feature，label
  - 学习：找到feature和label之间的关系，即模型。
  - 预测：当有feature无label的数据输入时，就可以计算出label。
监督学习supervised和无监督学习unsupervised
- 分类依据：输入数据是否有标签
- 监督学习：输入数据带标签，我们教计算机如何去学习。例子：分类。
- 无监督学习：输入数据不带标签，计算机自己学习。一个聚类算法通常只需要知道如何计算相似度就可以。例子：聚类。

分类：预测的变量是离散型的，如决策树，支持向量机等。逻辑回归：是一个分类方法，原始输出是每个特征向量出现的概率，通过设置阈值，得到分类结果。之所以叫回归，是有一些历史原因。
回归：预测的变量是连续性的，如线性回归等。

线性回归房价销售记录.png

线性回归房价拟合.png

对于n个特征$$$x_1,x_2...,x_n$$$，给出一个估计函数
$h_\theta(x) = \theta^TX$
损失函数：
- 评价估计函数的好坏：对$$$x(i)$$$的估计值与真实值$$$y(i)$$$差的平方和作为损失函数。
- $$$J(\theta) = \frac{1}{2}\sum_{i = 1}^m (h_\theta(x^{(i)} - y^{(i)})2$$$
- $min \theta J\theta$

随意选初始$$$\theta$$$，比如$$$\theta = 0 $$$，然后不断的以梯度的方向修正$$$\theta$$$，最终使$$$J(\theta)$$$收敛到最小。可能找到的是局部最优。
每次修正的公式：$$$\theta_j := \theta_j - \alpha\frac{\delta}{\delta{\theta_j}}J(\theta)$$$
假设训练集只有一个样本点，那么梯度推导：
$\frac{\delta}{\delta{\theta_j}}J(\theta) = \frac{\delta}{\delta{\theta_j}}\frac{1}{2}(h_\theta(x) - y)^2 = 2 \cdot \frac{1}{2}(h_\theta(x) - y)\cdot\frac{\delta}{\delta{\theta_j}}(h_\theta(x) - y)
= (h_\theta(x) - y)\cdot\frac{\delta}{\delta{\theta_j}}(\sum_{i = 0}^n\theta_ix_i - y)
= (h_\theta(x) - y)x_j$
实际训练集会有m个样本点，所以最终的公式为：
Repeat until covergence {
$\theta_j :=\theta_j + \alpha\sum_{i = 1}^m(y{(i)}- h_\theta(x^{(i)}))x_j{(i)} $
}
上述是批梯度下降（batch gradient descent）
- 每次迭代对于每个参数都需要进行梯度下降，直到$$$J(\theta)$$$收敛到最小值。
- 每次遍历所有的样本点，当样本点很大时，基本就没法算了。
随机梯度下降（stochastic gradient descent）
- 每次只考虑一个样本点，而不是所有的样本点。
- 公式：
- Loop
  { for i = 1 to m ,$$${
  \theta_j :=\theta_j + \alpha(y^{(i)}- h_\theta(x^{(i)}))x_j{(i)}
  }$$$ , for every j}