Scikit-learn(sklearn)机器学习必备库

Scikit-learn(sklearn)机器学习必备库

sklearn官网
Scikit-learn(sklearn)机器学习必备库_第1张图片

除了sklearn。需要学的基本库还有numpy,scipy,pandas,matplotlib.都是非常重要的包。

sklearn建模流程:(掌握常见机器学习模型)

  1. 数据预处理
  2. 特征工程,特征编码
  3. 模型选择
  4. 模型训练与测试
  5. 模型评价,误差分析

数据预处理常用手段:

  1. Standardization,or mea removal and variance scaling (标准化或均值去除和方差缩放)
  2. Non-linear transformation(非线性变换)
  3. Normalization(归一化)
  4. Encoding categorical features(编码分类特征)
  5. Discretization(离散化)
  6. Imputation of missing values(缺失值插补)
  7. Generaing polynomial features(生成多项式特征)
  8. Custom transformers(自定义处理方式)
    每一种手段都有多种方式方法!

特征工程,特征编码
常用方式有:
preprocessing.LableEncoder
preprocessing.OneHotEncoder
preprocessing.OrdinalEncoder

模型训练与测试
sklearn提供了所有模型的训练、预测、打分方法:

  1. fit :模型训练
  2. predict :模型预测
  3. predict_prob: 模型预测结果对应的概率值
  4. score :模型打分

常见的机器学习模型有:

  1. 线性模型(线性回归、岭回归、逻辑回归等)
  2. 树模型 (决策树)
  3. 神经网络 (DNN)
  4. 无监督模型 (Kmeans聚类)
    注:sklearn中不包含XGBoost、LightGBM、CatBoost的实现,sklearn中的神经网络不支持GPU运算。

模型评价与误差分析
回归任务:

  1. MAPE
  2. MSE
  3. MAE
  4. R 2 R^2 R2

分类任务:

  1. Precision-Recall
  2. ROC-AUC
  3. Accuracy
  4. Log-Loss

无监督任务:

  1. Rand Index
  2. Mutual Information

其他任务:

  1. CV Error
  2. BLEU Score(NLP)
  3. Heuristic methpds to find K

数据划分方法(模型评价):

  1. 留出法(Hold-out)
  2. K折交叉验证(K-fold CV)
  3. 自助采样(Bootstrap)

深入了解请查看sklearn官网或博主其他文章。

你可能感兴趣的:(机器学习(sklearn),数据分析,电商数据分析实战,机器学习,scikit-learn,sklearn)