scilit-learn数据集、K-邻近算法、朴素贝叶斯、随机森林算法笔记

scikit-learn数据集API

sklearn.datasets

• 加载获取流行数据集
• datasets.load_*()
  获取小规模数据集，数据包含在datasets里
• datasets.fetch_*(data_home=None)
  获取大规模数据及，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载目录，默认是~/scikit_learn_data/

获取数据集返回的类型

load和fetch返回的数据类型datasets.base.Bunch(字典格式)

• data：特征数据数组，是 [n_samples * n_features] 的二维numpy.ndarray 数组
• target：标签数组，是 n_samples 的一维 numpy.ndarray 数组
• DESCR：数据描述
• feature_names：特征名,新闻数据，手写数字、回归数据集没有
• target_names：标签名,回归数据集没有

数据集分割

sklearn.model_selection.train_test_split(*arrays, **options)

• x – 数据集的特征值
• y – 数据集的标签值
• test_size 测试集的大小，一般为float
• random_state 随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果同。
• return 训练集特征值，测试集特征值，训练标签，测试标签(默认随机取)

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

li = load_iris()
x_train, x_test, y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)

转换器 fit_transform():

fit：求得数据集的均值、方差、最值等数据的固有属性；
transform：在fit的基础上，进行标准化、降维、归一化等操作；
fit_transform()将二者结合，训练阶段使用fit_transform，在测试阶段使用transform就行了。

估计器

在sklearn中，分类器和回归器都属于估计器（estimator），是一类实现了算法的API。

1、用于分类的估计器（离散数据）

• sklearn.neighbors k-近邻算法
• sklearn.naive_bayes 贝叶斯算法
• sklearn.linear_model.LogisticRegression 逻辑回归

2、用于回归的估计器（连续数据）

• sklearn.linear_model.LinearRegression 线性回归
• sklearn.linear_model.Ridge 岭回归

k-近邻算法

寻找离自己最近的类型来判断自己的类型。如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

求距离公式

欧氏距离
比如有：a(a1,a2,a3) , b(b1,b2,b3)

k-近邻算法:需要做标准化

k-近邻算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)

• n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数
• algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

缩小数据集范围 DataFrame.query()

k-近邻算法优缺点

• 优点：简单，易于理解，易于实现，无需估计参数，无需训练
• 缺点：懒惰算法，对测试样本分类时的计算量大，内存开销大，必须指定K值，K值选择不当则分类精度不能保证

使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试。

朴素贝叶斯算法

联合概率和条件概率

• 联合概率：包含多个条件，且所有条件同时成立的概率，记作：(,)
  (,)=P(A)P(B)
• 条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率，记作：(|)
• 特性：P(A1,A2|B) = P(A1|B)P(A2|B)，注意：此条件概率的成立，是由于A1,A2相互独立的结果

朴素贝叶斯常用在条件独立的场景下。

贝叶斯公式

w为给定文档的特征值(频数统计,预测文档提供)，c为文档类别。
公式可以理解为：

c可以是不同类别。

公式解析

公式分为三个部分：

• ()：每个文档类别的概率(某文档类别词数／总文档词数)
• (│)：给定类别下特征（被预测文档中出现的词）的概率
  计算方法：(1│)=/ （训练文档中去计算），为该1词在C类别所有文档中出现的次数，N为所属类别C下的文档所有词出现的次数和。
• (1,2,…) 预测文档中每个词的概率

拉普拉斯平滑

为避免概率计算结果为0，利用拉普拉斯平滑系数解决。

为指定的系数一般为1，m为训练文档中统计出的特征词个数。

sklearn朴素贝叶斯实现API

sklearn.naive_bayes.MultinomialNB(alpha = 1.0) ，朴素贝叶斯分类
alpha：拉普拉斯平滑系数

朴素贝叶斯优缺点

优点：

• 朴素贝叶斯模型具有稳定的分类效率。
• 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
• 分类准确度高，速度快

缺点：

• 需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳

混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

精确率Precision（考虑较少）

预测结果为正例样本中真实为正例的比例（查得准）

召回率Recall（考虑较多）

真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）

F1-score

反映了模型的稳健性，F1越高，模型越稳健。

分类模型评估API

sklearn.metrics.classification_report(y_true, y_pred, target_names=None)

• y_true：真实目标值
• y_pred：估计器预测目标值
• target_names：目标类别名称
• return：每个类别精确率与召回率

模型的选择与调优

交叉验证

为了让被评估的模型更加准确可信，将拿到的数据，分为训练和验证集。所有数据分成n等份，其中一份作为验证集，其余部分作为训练集，得出一个准确率；再更换验证集继续得出一个准确率，最后将n个准确率取平均值。
称为n折交叉验证

超参数搜索-网格搜索

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数，但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估，最后选出最优参数组合建立模型。

超参数搜索-网格搜索API

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)

• 对估计器的指定参数值进行详尽搜索
• estimator：估计器对象
• param_grid：估计器参数(dict) eg:{“n_neighbors”：[1,3,5]}
• cv：指定几折交叉验证
• fit：输入训练数据
• score：准确率

结果分析：

• best_score_:在交叉验证中测试的最好结果
• best_estimator_：最好的参数模型
• cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

决策树

信息熵

H = -(p1logp1 + p2logp2 + … + p32logp32)

• H的专业术语称之为信息熵，单位为比特。
• 公式：
  
  信息和消除不确定性是相联系的

信息增益

当得知一个特征条件后，减少的信息熵的大小。
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

sklearn决策树API

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

• 决策树分类器
• criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
• max_depth:树的深度大小
• random_state:随机数种子
• method:
• decision_path:返回决策树的路径

决策树的优缺点

优点：

• 简单的理解和解释，树木可视化。
• 需要很少的数据准备，其他技术通常需要数据归一化。

缺点：

• 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
• 决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成。

改进：

• 减枝cart算法
• 随机森林

随机森林

集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

随机森林算法

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
用N来表示训练用例（样本）的个数，M表示特征数目。输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。

集成学习API

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None,bootstrap=True,random_state=None)

• 随机森林分类器
• n_estimators：integer，optional（default = 10） 森林里的树木数量
• criteria：string，可选（default =“gini”）分割特征的测量方法
• max_depth：integer或None，可选（默认=无）树的最大深度
• bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

随机森林优点

• 在当前所有算法中，具有极好的准确率
• 能够有效地运行在大数据集上
• 能够处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性
• 对于缺省值问题也能够获得很好得结果