机器学习实战笔记-Logistic回归

1、Logistics回归优缺点
优点：计算简单
缺点：容易欠拟合，分类精度不高
用于数值型和标称型数据

2、梯度上升法：求最大值
梯度下降法：求最小值

3、list转化为matrix更易于计算
datamatrix=mat(datalist)
m,n=shape(datamatrix)
weights=ones((n,1))
h = sigmoid(dataMatrixweights)# (100,1)
error = (labelMat - h)
weights = weights + alpha * dataMatrix.transpose() error
逻辑回归计算出来的梯度为 (y-sigmoid(x) )xi

4、缺失值处理
某个特征值缺失时，因sigmoid(0)=0，可把缺失值设为0，此时，利用随机梯度上升法时，权重不更新，梯度为0.
某个标签值缺失时，利用逻辑回归可把该条记录删掉，利用KNN时不可删掉。

５、模型
输入：
dataset : (100,3) 样本数*特征
label : (100,1) 样本数
输出：
weights：（3,1）每个特征对应的系数
然后画出直线图即可