逻辑回归(Logistic Regression)原理及过程

目录

一：逻辑回归简介

二：逻辑回归原理

三：逻辑回归 损失函数

四：逻辑回归 梯度下降算法

五：逻辑回归 过程 

---

一：逻辑回归简介

Logistic模型是1938年Verhulst-Pearl在修正非密度方程时提出来的，是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测，是一个分类算法，常用于二类分类

做二分类问题解决方案：

分类算法、(预测)回归算法

 原理，类似于一个函数，如下图所示

二：逻辑回归原理

下面举个例子

一门考试之前学生的复习时间与这个学生最后是否Pass这门考试的数据如下

hours	1	1.25	1.5	1.75	1.75	2	2.25	2.5	3	3.25	3.5	4	4.25	4.5	4.75	5	5.5
pass概率	0.09	0.2	0.25	0.27	0.5	0.4	0.43	0.46	0.48	0.49	0.498	0.6	0.65	0.7	0.75	0.8	0.9

x:hours表示学生复习时常

z:pass概率

z=ax+b 复习时长与通过概率可以是线性关系

 找到最小损失值：

1 抽取两条数据计算出a和b的值

2 带入所有的数据，计算出y值

3 带入损失函数求出损失值

4 重复 1 2 3

5 直到找到最小损失

若函数原型如下

有y = 1/1+e^-z & z=ax+b

得出下式

b+ax表示问题里的数据只有一个特征，同理如果有多个特征那么z的表达式为(a1x1+b1)+(a2x2+b2)+(...) 

三：逻辑回归 损失函数

损失函数(loss function)或代价函数(cost function)是将随机事件或者有关随机变量的取值映射为非负实数以表示该随机事件的“风险” 或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题和联系，即通过最小化损失函数求解和评估模型

y = 10+3x；a=3；b=10

X	计算出Y	实际Y1	差值
1	13	13	0
2	16	14	2
3	19	20	1
4	22	21	1
5	25	25	0

求解最优解的a b

损失函数：|y-y1|  或  (y-y1)^2

绝对损失函数求和：4

平方损失函数求和：6 

在比如：Y=8+4X；a=4；b=8

X	计算出Y	实际Y1	差值
1	12	13	-1
2	16	14	2
3	20	20	0
4	24	21	3
5	28	25	3

绝对损失函数求和：9

平方损失函数求和：23 

四：逻辑回归 梯度下降算法

梯度下降是求解损失函数的一种最优化算法，通过梯度下降可以快速的计算出最小的损失值(它是基于搜索的最优方法)

梯度下降法(Gradient descent)是一个一阶最优化算法，通常为称为最速下降法；要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索 

学习率：步幅

学习率越小，学习次数越多，计算量越大；

learing_rate也是一个超参

梯度下降算法步骤

1 用随机值初始化权重和偏差

2 把输入传入算法，得出输出值

3 计算预测值和真实值之间的误差

4 对每一个产生误差的特征，调整相应的(权重)值以减小误差

5 重复迭代，直至得到权重的最佳值，使损失值达到最小 

五：逻辑回归 过程 

逻辑回归 训练过程

损失函数：用来描述预测值和实际值的差别

梯度下降：用来将预测值与实际值的差别降低到最小 

逻辑回归 分类过程