sklearn库的优势：相对比较成熟，代码简单封装好。可以直接实现算法,进行调参.
sklearn库的通用流程：
- 通过实例评估模型对象
- 通过训练接口训练模型
- 通过模型接口提取信息
决策树
sklearn中的决策树的类在tree这个模块之下.
| class | Usage |
|---|---|
| tree.DecisionTreeClassifier | 分类树 |
| tree.DecisionTreeRegressor | 回归树 |
| tree.export_graphviz | 生成决策树的可视化 |
| tree.ExtraTreeClassifier | 高随机版本分类树 |
| tree.ExtraTreeClassifier | 高随机版本回归树 |
Decision Tree Classifier类
class sklearn.tree.DecisionTreeClassifier(criterion='gini', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort='deprecated', ccp_alpha=0.0)
一般参量
criterion{"gini", "entropy"}, default="gini"
衡量分支质量(基尼/信息熵增益)
random_state:int or RandomState, default=None
可以设定成随机状态的种子或者随机数生成器
splitter{"best", "random"}, default="best"
选取策略:(最佳分支/最佳随机分支)
- best:优先选择更重要的特征
- random:分支的时候更随机,更深,适度降低拟合以防止过拟合
sklearn.tree.DecisionTreeClassifier建树的机理是:既然不能够保证根结点的划分最好,整棵树的划分就最好(不具有贪心算法/不具有局部最优推出总体最优的性质).那么,每次都选取若干个特征,取最好生成,然后对一个数据集重复很多很多遍,在生成树中取最好的一棵返回.这也是为什么多跑几遍score也会不一样
- 所以说指定seed也可以得到相同的数.
- 注意到这个随机算法对不随机在高维上优势更明显.注意到低维度的数据基本上随机性不会显现.
剪枝参量
max_depth:int, default=None
最大深度(默认为不设最大深度)
max_depth是最常被用的剪枝参量之一,esp在高维度低样本量的时候
min_samples_split:int or float, default=2
一个非叶子节点需要的最小样本数量
- 整数:样本的个数
- 浮点:占输入模型数据的比重
min_samples_leaf:int or float, default=1
一个叶子节点需要的最小样本数量
- 整数:样本的个数
- 浮点:占输入模型数据的比重
以上几个参数经常在回归树中搭配使用
max_features:int, float or {“auto”, “sqrt”, “log2”}, default=None
最佳分支时考虑的特征个数
计参数为mf,总特征为nf个
- 整数:分支时考虑 mf 个特征
- 浮点:考虑为比例,nf*mf个
- auto或者sqrt 个
- log2 个
- none nf个
max_leaf_nodes:int, default=None
最大叶节点数
min_impurity_decrease:float, default=0.0
只考虑生成节点带来的混乱度下降的值大于参数的结点
min_impurity_split:float, default=1e-7
结点的最小乱度
ccp_alpha:non-negative float, default=0.0
在树剪枝过程中minimize cost function中的参数
权重参量
class_weight:dict, list of dict or “balanced”, default=None
字典型给出各特征权重分配方式
对于多输出（包括多标签），应该在其自己的dict中为每个列的每个类定义权重,在输出时,y的每列权重会相乘。
min_weight_fraction_leaf:float, default=0.0
叶子节点要存在需要的权重占输入模型数据总权重中的比例
重要属性和接口
暂不完全收录,以后要用可以跳转官网可以查询
apply(self, X[, check_input])
apply(Xtrain,Ytrain)返回训练样本所在的叶子结点的索引
predict(self, X[, check_input])
pridict(Xtrain,Ytrain)用来输出对Xtrain跑这个算法的预测值也就是分类/回归结果
fit(self, X, y[, sample_weight, …])
fit(Xtrain,Ytrain)用来训练算法
score(self, X, y[, sample_weight])
score(Xtrain,Ytrain)表示算法在训练集的accuracy
注意以上四个接口一定要传入(,)
红酒数据集
机器学习最经典的数据集之一,通过红酒的若干个特征对其进行分类.本节除了对这个特定的数据集进行介绍,也会介绍一些sklearn里面自带的数据集的使用
引入头文件
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
数据集的属性
wine = load_wine()#本质上是个字典类型
wine.data#取出数据$X$作为运算的核心
wine.target#取出属性$Y$作为预测的目标
wine.data.shape#数据结构
wine.feature_names#特征的名字(表头的东西)
wine.target_names#属性的名字
wine#这行代码可以查看这个数据集的全貌
可以康到,这个数据集有178个数据,数据有13个特征,被分为{0,1,2}三类.
我们可以用pandas库里的函数DataFrame将参数格式化,然后把两列用concat揉到一起并且对其进行可视化
import pandas as pd
pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)
划分train set 和 test set
Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size=0.3)#随即划分训练集和测试集
建模
- 对生成器进行实例化
- 用训练集进行训练
- 用测试集进行测试
对应三行代码
clf = tree.DecisionTreeClassifier(criterion='entropy')
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest,Ytest)
score给出的是其准确率
画出决策树
主要使用graphviz库
feature_name = wine.feature_names
import graphviz
dot_data = tree.export_graphviz
(clf
,feature_names = feature_name
,class_names = ["0","1","2"]
,filled = True #填充颜色
,rounded = True
)
graph = graphviz.Source(dot_data)
graph
特征的重要性
clf.feature_importances_
[*zip(feature_name,clf.feature_importances_)]#特征的名字和重要性连起来的元组
拟合程度
score_train = clf.score(Xtrain,Ytrain)
score_train
获得其对训练集的accuracy
特征的重要性
clf.feature_importances_
[*zip(feature_name,clf.feature_importances_)]#特征的名字和重要性连起来的元组
超参数学习曲线
对于一个训练好的决策树clf,超参数的学习曲线,就是一条以超参数取值为横轴,模型的度量指标(这里是为纵坐标的线,常用来衡量不同朝参属下模型的表现.
比如说我们测一下max_depth对score的影响
import matplotlib.pyplot as plt
test=[]
for i in range(10):
clf = tree.DecisionTreeClassifier(criterion='entropy',random_state=30,splitter='random',max_depth = i+1)
clf = clf.fit(Xtrain,Ytrain)
score = clf.score(Xtest,Ytest)
test.append(score)
plt.plot(range(1,11),test,color="red",label="max_depth")
plt.legend()
plt.show()
参考资料：
scikit-learn官网
相关资料如有侵权请联系删除