Logistic 回归浅析（）

不忘初心，方得始终

学习Logistic回归，看了许多讲解一直不知所云，或者看不下去。

第一部分

目的：根据 y 的特征值 $x_1...x_n$，判断 y 属于class1 还是class0
方法：给每一个特征值分配一个权重，根据得分来判断 y 是属于 0，1类，即
$$z={\theta }_0\ast x_0+{\theta }_1\ast x_1+...+{\theta }_n\ast x_n={\theta }^T\ast X$$
可以自己划定一个值 N，N取决于 ${\theta }_0...{\theta }_n$
当 y > N 时，y $\in$ class1
当 y < N 时，y $\in$ class0

也就是说，当我们有了 ${\theta }_0...{\theta }_n$ 之后，当每次来一个$y_i$ 根据它的$x_0...x_n$ 带入公式，即可求得 $y_i$ 的类别。

其中有两个问题
1、$z=\sum {\theta }_i\ast x_i$ 取值$[-\infty ,+\infty ]$，我们希望 z 的取值在 [ 0 , 1 ]，并且这个函数有较好的阶跃的性质，即在短距离内从 0 跳转到1。这样在代入公式的时候得到的值就在0-1之间，并且大部分情况下都远离0.5。（原则上，我认为这不是一个问题）

2、如何得到 $[{\theta }_0...{\theta }_n]$。

---

第二部分

关于第一个问题
Sigmoid函数：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
现在我们将问题转换为：根据已知的训练集 Y = {$y_0...y_m$}，求一组 $[{\theta }_0...{\theta }_n]$ 使得求出的 z 代入上式后，对于
$y_i\in class0$，$\sigma (z_i)<0.5$，
$y_i\in class1$，$\sigma (z_i)>0.5$。其中$z_i={\theta }^T\ast X_i$

举例来说：
$$y_i=[x_0^i,x_1^i,x_2^i,...,x_n^i]\in class1\Leftarrow \Rightarrow \sigma ({\theta }^T\ast X_i)=\frac{1}{1+e^{-({\theta }_0\ast x_0^i+{\theta }_1\ast x_1^i+...+{\theta }_n\ast x_n^i)}}=\frac{1}{1+e^{-({\theta }^T\ast X_i)}}>0.5$$

第二个问题
使用极大似然估计：
现有已知结果的集合 $Y=\{y_0...y_m\}$
将$\sigma ({\theta }^T\ast X_i)$ 记为 $h(X_i)$

$p(y_i=1|X_i;\theta )=1-h(X_i)$
$p(y_i=0|X_i;\theta )=h(X_i)$

$\therefore p(y_i|X_i;\theta )=(1-h(X_i){)}^{1-y_i}\ast (h(X_i){)}^{y_i}$

现在再次重述一遍问题：
已知集合 $Y=\{y_0...y_m\}$ 中任意的 $y_i=[x_0^i,x_1^i,x_2^i,...,x_n^i]=X_i$ 的类别，其中 $p(y_i|X_i;\theta )=(1-h(X_i){)}^{1-y_i}\ast (h(X_i){)}^{y_i}$，求 $\theta$ 的极大似然分布。

$$L(\theta )=\prod _{i=0}^m(p(y_i|X_i;\theta )=\prod _{i=0}^m(1-h(X_i){)}^{1-y_i}\ast (h(X_i){)}^{y_i})$$

$$l(\theta )=log(\theta )=\sum _{i=0}^m(y_{i}log(h(X_i))+(1-y_i)\ast log(1-h(X_i)))$$

第三部分

求解 $l(\theta )$
梯度上升算法：其实就是求导，不过是多次求导而已（也许是这样吧）
##未完（不一定续）。。。