第四章 分类模型

分类的概述

分类是有监督学习问题。

具体应用例子有——信用风险评估，预测用户未来是否违约；医学诊断，根据肿瘤细胞的特征，进行良性和恶性的分类；市场营销，预测对用户对新产品的喜好；电子邮箱，划分正常邮件和垃圾邮件。

分类的过程：分类器训练和预测，训练集被用来训练分类器，测试集用来评估分类器的效果。

常见的分类有逻辑回归、K近邻、决策树、朴素贝叶斯、支持向量机

评估分类的指标：正确率、F值、精度、召回率

逻辑回归

从线性回归到逻辑回归

线性回归

y的取值范围为{1，-1}，不能直接解决问题，因此引入一个逻辑斯特函数

Logistic    

则样本为正类的概率：

为负类的概率

整合成公式

参数估计：极大似然法

训练集的似然函数：

取对数：

求目标函数最小值的方法：梯度下降法

代码实现：

from sklearn linear_model import LogisticRegression

clf = LogisticRegression(random_state=10)#模型构建

clf.fit(train_x,train_y)#模型训练

---

决策树模型

如何选择节点特征和节点分裂点？

不纯度：表示落在当前节点的样本的类别分布的均衡程度。决策树分裂节点的目标是使得节点分裂前后，样本的类别分布更加不均衡，即不纯度需要降低。

度量不纯度的方法：Gini指数（Gini index）、信息熵（entropy）、误分率（misclassification error）

Gini指数（Gini index）

以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题。使用信息增益比可以对这一问题进行校正。这是特征选择的另一准则。

信息熵（entropy）

信息增益

分裂信息（ 惩罚项 ）

信息增益率

信息增益率通过分裂信息对信息增益进行调整，可以避免过度拟合。

决策树算法

输入：训练数据集D，目标特征Y，特征集F

输出：决策树T 

代码

from sklearn import tree

from sklearn.treeimport DecisionTreeClassifier

credit_model = DecisionTreeClassifier(min_samples_leaf =6)

credit_model.fit(X_train, y_train)

from sklearn.externals.siximport StringIO

from IPython.displayimport Image

import pydot

dot_data = StringIO()

tree.export_graphviz(credit_model,out_file = dot_data,

feature_names = X_train.columns,

class_names=['no default','default'],

filled =True,rounded =True,

special_characters =True)

graph = pydot.graph_from_dot_data(dot_data.getvalue())

#Image(graph.create_png())#在实现时这里报错，原因是因为sklearn升级后已没有该功能

#graph.write_jpg("myfile.jpg")#这是在网上找的解决方法，但是仍然报错了，还未解决