逻辑回归

1.1      算法简介

逻辑回归是概率型非线性模型，它的目的在于找出变量取得指定值的的概率与其他变量之间的定量关系。例如，要研究冠心病发生（y=1）的概率P和是否吸烟（x1）、血压（x2）、是否饮酒（x3）、胆固醇（x4）等各因素的定量关系。可以建立如下模型：

概率P是关于Z = b0 + b1*x1 + b2*x2 + b3*x3 +…+bk*xk的逻辑斯蒂回归函数，图像呈S型（如上图），上下界分别是1和0，单调递增，增长速度先逐渐加快当概率值为0.5时增长最快，后面逐渐减慢。这种假设是合理的，在自然界和人类社会中存在大量的S型变化的现象，例如人口增长，商品的销售量增长，信息的传播范围等，逻辑斯蒂回归模型几乎是描述S型增长的唯一数学模型。

       每个样本都服从二点分布b（1，p），此处p就是上面带有待求参数b0，b1，…，bk的P，可以求得n个样本的联合分布，进而求得这已知的n个样本的联合概率（带有待求参数b0，b1，…，bk），根据最大似然原理，令上述联合概率最大，可以求得参数b0，b1，…，bk，于是模型得解。

1.2      算法应用

建模前提：某件事情发生的概率随着其影响因素的线性组合呈S增长，例如客户“买”还是“不买”、客户选择上网方式为“宽带”还是“拨号”、疾病发生还是不发生等。