机器学习实战笔记-Logistic回归

1、Logistics回归优缺点
优点:计算简单
缺点:容易欠拟合,分类精度不高
用于数值型和标称型数据

2、梯度上升法:求最大值
梯度下降法:求最小值

3、list转化为matrix更易于计算
datamatrix=mat(datalist)
m,n=shape(datamatrix)
weights=ones((n,1))
h = sigmoid(dataMatrixweights)# (100,1)
error = (labelMat - h)
weights = weights + alpha * dataMatrix.transpose()
error
逻辑回归计算出来的梯度为 (y-sigmoid(x) )xi

4、缺失值处理
某个特征值缺失时,因sigmoid(0)=0,可把缺失值设为0,此时,利用随机梯度上升法时,权重不更新,梯度为0.
某个标签值缺失时,利用逻辑回归可把该条记录删掉,利用KNN时不可删掉。

5、模型
输入:
dataset : (100,3) 样本数*特征
label : (100,1) 样本数
输出:
weights:(3,1)每个特征对应的系数
然后画出直线图即可

你可能感兴趣的:(机器学习)