逻辑回归(logistic regression)part1统计学相关,最大似然估计法(Maximum Likelihood Estimate,MLE)与逻辑回归的计算原理

相比于线性回归,逻辑回归从概率层面建模,那么因为概率的多少可以用于判断他属不属于某种情况,比如害虫报告的发现次数判断它有没有被消灭的概率,故一般用于二分类(已消灭或尚未消灭)

那么问题来了,如何看逻辑回归是更好地对数据进行拟合呢?
由此引入一个概念,最大似然法(Maximum likelihood method)
极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计,是求估计的另一种方法
原理:
它是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如有若干个可能的结果A,B,C,… ,若在一次试验中,结果A出现了,那么可以认为实验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球.99个黑球。现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这时我们自然更多地相信这个黑球是取自乙箱的。一般说来,事件A发生的概率与某一未知参数
有关,
取值不同,则事件A发生的概率
也不同,当我们在一次试验中事件A发生了,则认为此时的
值应是t的一切可能取值中使
达到最大的那一个,极大似然估计法就是要选取这样的t值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大。
极大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。极大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。

接下来就是对数据是什么分布进行可能性判断
比如是正态分布/高斯分布的概率
是γ分布的概率
自然就是最可能性最大数据分布情况是拟合度最好的
比如数据符合正态分布那么就要一次一次试,mean,std分别试,试到最好的为止

简单来说,该方法用于寻找最优的分布的最优情况从而锁定最符合的参数(比如正态分布对应的均值与标准差)

然后得出数据的概率,从而达到分类的目的

你可能感兴趣的:(统计学,机器学习笔记,逻辑回归,机器学习,算法,python,人工智能,统计学)