KNN,逻辑回归。

K近邻算法:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。


特征工程:

更大的特征空间中进行训练,可以使正确率提高不少

增加更多的数据

考虑模型复杂度

修改特征空间

改变模型

偏差-方差折中,既要低偏差,又要低方差。


逻辑回归

逻辑分布(Logistic distribution)
P(Y=1│X=x)=exp(x'β)/(1+exp(x'β))
其中参数β常用极大似然估值

逻辑回归的应用广泛性的原因主要是因为其概率表达式的显性特点,模型的求解速度快,应用方便。当模型选择集没有发生变化,而仅仅是当各变量的水平发生变化时(如出行时间发生变化),可以方便的求解各选择枝在新环境下的各选择枝的被选概率。根据Logit模型的IIA特性,选择枝的减少或者增加不影响其他各选择之间被选概率比值的大小,因此,可以直接将需要去掉的选择枝从模型中去掉,也可将新加入的选择枝添加到模型中直接用于预测。


准确率和召回率

准确率=TP/(TP+FP)

召回率=TP/(TP+FN)


你可能感兴趣的:(机器学习)