一些机器学习的基础知识
-
欠拟合与过拟合概念
欠拟合：模型没有很好的捕捉到数据特征、特征集过小导致模型不能很好的拟合数据。欠拟合本质上是对数据特征学习的不够（通俗讲就是，学的特征太少，我想要的特征并没有取到，）
过拟合：把训练数据学习的太彻底，以至于把噪声数据的特征也学习到了，特征集过大，这样就会导致在后期测试的时候不能够很好的识别数据，不能正确的分类，模型泛化能力太差。（通俗讲就是，x学习到的特征过于多，把不需要的东西学到，我不想要的样品特征也取到了）
-
欠拟合与过拟合的处理方式
过拟合处理方法：增加训练数据：更多的样本能够让模型学习到更多更有效的特征，减小噪声的影响。 2. 降维：即丢弃一些不能帮助我们正确预测的特征。 3. 正则化(regularization)的技术，保留所有的特征，但是减少参数的大小（magnitude），它可以改善或者减少过拟合问题。 4. 集成学习方法：集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。
欠拟合的处理方法：添加新特征，当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。 2. 增加模型复杂度：简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能力。 3. 减小正则化系数：正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对性地减小正则化系数
-
模型评估
TP（真正例)----将正类预测为正类数 FP(假正例)----将反类预测为正类数
TN(真反例)----将反类预测为反类数 FN(真反例)----将正类预测为反类数
计算查全率P和查准率R :P=TP/TP+FP R=TP/TP+FN
查准率：想要查找的更准确，就会忽略数量，提高准确率
查全率：想要查找的全面，就会忽略准确值，数量上去了，但是准确度较低。
-
KNN:K近邻算法
K近邻算法(KNN,k-Nearest Neighbor),每个样本都可以用它的最接近的K个邻近值来代表。
算法说明： ①输入没有标签的新数据，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。
②一般来说，只选择样本数据集中k个最相似的数据。k一般不大于20，最后选择k个数据中出现次数最多的分类，作为新数据的分类。
图例说明：就i是每个样本，用他最邻近的k值来代表。
二维空间里的欧氏距离公式： 
· 三维空间里的欧氏距离公式： 
· n 维空间里的欧氏距离公式：
分类的标签 iris.target 特征 iris.feature_names 类别 iris.target_names
划分训练集和测试集 x_train x_test y_train y_test = train_test_split(iris.data,iris.target,test_size=0.3)
训练集得分 train_score = knn.score(x_train,y_train)
测试集得分 test_score = knn.score(x_test,y_test)
预测y的值 y_pred = knn.predict(x_test)
-
决策树
决策树概念：从根节点开始一步步走到叶子的节点，并且所有的数据最终都会落到叶子的节点，既可以做分类也可以做回归。
根节点：就是第一个选择点非叶子节点与分支：中间过程叶子节点：最终的决策结果。
熵公式：H(X)=- ∑ pi * logpi, i=1,2, ... , n
熵：熵值越大，那么也就代表着不确定性也就越大。若当p=0或p=1时，那么他的随机变量完全没有不确定性。若当p=1或者0.5的时候熵值就是最大，那么他的不确定性就最大。
如何决策一个节点的选择呢？ 信息增益：表示特征X使得类Y的不确定性减少的程度。 （分类后的专一性，希望分类后的结果是同类在一起）
两个信息熵相减哪个差值越大，说明哪个就是根节点。
-
函数
isnull()函数：判断数据集中缺失的，判断单元格是否为空
import pandas as pd
#
df = pd.read_csv(r'D:\pythonProject15\5week\lianxiti\taitanic_data.csv')
print(df['Age'])
print(df['Age'].isnull)dropna():删除包含空字段的行，语法格式：DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
| axis |
how |
thresh |
subset |
inplace |
| 默认为 0，表示逢空值剔除整行。 |
'any' ：有一个数据为空就去掉整行。 'all' ：所有数据都为空才去掉这整行。 |
设置需要多少非空值的数据才可以保留下来的。 |
设置想要检查的列。如果是多个列，可以使用列名的 list 作为参数。 |
如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据。 |
missing_values = ["n/a","na","--"]
df = pd.read_csv(r'D:\pythonProject15\5week\lianxiti\taitanic_data.csv',na_values= missing_values)
new_df= df.dropna()
print(new_df)
fillna：用指定内容来替换一些空字段
mean：计算列的均值替换空单元格
median:计算列的中位数替换空单元格
-
数据标准化
preprocessing.MinMaxScaler():最大最小值标准化
用法：
from sklearn.preprocessing import MinMaxScaler
data=[[1,2],[3,4],[5,6]]
scaler = MinMaxScaler()##调用接口
scaler = scaler.fit(data) ###对data数组生成最大最小值
result=scaler.transform(data)###导出最终的结果
print（result）算法过程就是:X-min/man-min
运行结果：
preprocessing.StandardScaler( ) Z值的数据标准化
用法：就是创建一个数组，算出均值和方差
就是均值和方差。