机器学习：逻辑回归

Logistic回归是概率型非线性回归模型, 是研究二值型输出分类的一种多变量分析方法。

一、梯度上升法

1、Sigmoid函数

对于二分类问题，通过sigmoid函数接受输入，预测出两种类别概率，从而输出0或者1；

代码：

import warnings
warnings.filterwarnings("ignore")
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline
x = np.linspace(-10,10)
y_sigmoid = 1/(1+np.exp(-x))
plt.figure()
plt.plot(x,y_sigmoid)
plt.grid()
plt.title('Sigmoid')

2、逻辑回归

3、最小二乘法求参数

样本概率：

取对数，求联合概率：