机器学习训练营逻辑回归分类预测学习笔记

# 1.学习知识点概要

1.1 逻辑回归

1.2 python的逻辑回归实现

# 2.学习内容
主要学习了逻辑回归的基本公式和概念，然后实践了逻辑回归的简单应用（以iris数据库为例子）。内容比较简单之前都有接触过。

### 逻辑回归（LR）
Logistic回归是一种分类方法，主要用于两分类问题（binary problem），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为：
$$ 
logi(z)=\frac{1}{1+e^{-z}} 
$$

Logistic 函数是单调递增函数，并且在z=0的时候取值为0.5，并且$logi(\cdot)$函数的取值范围为$$(0,1)$$。

而回归的基本方程为$$z=w_0+\sum_i^N w_ix_i$$，

将回归方程写入其中为：
$$
p = p(y=1|x,\theta) = h_\theta(x,\theta)=\frac{1}{1+e^{-(w_0+\sum_i^N w_ix_i)}}
$$

所以,

$$p(y=1|x,\theta) = h_\theta(x,\theta)$$，$$p(y=0|x,\theta) = 1-h_\theta(x,\theta)$$

逻辑回归从其原理上来说，逻辑回归其实是实现了一个决策边界：对于函数 $$y=\frac{1}{1+e^{-z}}$$,当 $$z=>0$$时,$$y=>0.5$$,分类为1，当 $$z<0$$时,$$y<0.5$$,分类为0，其对应的$y$值我们可以视为类别1的概率预测值.

对于模型的训练而言：实质上来说就是利用数据求解出对应的模型的特定的$$w$$。从而得到一个针对于当前数据的特征逻辑回归模型。

而对于多分类而言，将多个二分类的逻辑回归组合，即可实现多分类。

### python的逻辑回归实现

教程使用了sklearn库来实现逻辑回归。

可以看到，还使用了pandas对数组进行转化（array to DataFrame)。 

组合标签值得借鉴参考。

还讲解了如何进行二分类和三分类，三分类就是将三个逻辑回归的结果进行组合。
# 3.学习问题与解答

逻辑回归和GBDT算法结合？不是很明白，是GBDT去找特征重要性然后再用这些特征去做逻辑回归么？

# 4.学习思考与总结
1.逻辑回归可以和GBDT合用，值得去了解。
2.逻辑回归解释性强，可以了解特征的影响，适合解释，解释性对工业应用有一定帮助。
3.逻辑回归特征太多应该也容易过拟合。
4.有概率意义这个也很有意思。
5.三分类之前没想到过。