数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM

2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开
测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库
这oracle比sql安全,强大多了,所以你需要学习,最重要的,你要是考网络警察公务员,这玩意你不会就别去报名了,耽误时间!
与此同时,既然要考网警之数据分析应用岗,那必然要考数据挖掘基础知识,今天开始咱们就对数据挖掘方面的东西好生讲讲
数据挖掘知识系列文章
【1】数据挖掘与分析应用:理解业务和数据,准备数据,数据清洗,标准化,缺失值处理,构建数据集
【2】数据挖掘与分析应用:算法模型选择与训练、评估模型、上线部署,回到准备数据阶段


文章目录

  • 数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM
    • @[TOC](文章目录)
  • 数据挖掘:KNN算法
  • 决策树
  • 朴素贝叶斯
  • 支持向量机SVM
  • 数据挖掘深度学习ANN
  • XGBoost
  • 总结

数据挖掘:KNN算法

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第1张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第2张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第3张图片
k个分类,相邻的分类
特征相似的同一类人

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第4张图片
住别墅的往往是有钱人

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第5张图片
样本多,指,距离跟他们近的大多数

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第6张图片
富人之间的房子距离很近,它就是富人
那个房子跟穷人的距离很远,它不可能是穷人

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第7张图片
适合小数据,数据太多,每一个遍历运算,那耗费时间空间
gg
有的类别太多,太少也没法算距离

d要标准化,量纲不同就不行
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第8张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第9张图片
k太小不可以——过拟合
k太大,也不行——欠拟合
1++++
选取一个准确率最好的
错误率最低的那个手肘法
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第10张图片

决策树

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第11张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第12张图片
一堆男人决定追女神
女神怎么说
男生发简历
先看颜值
再看薪资
再看学历
身高
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第13张图片
在这里插入图片描述
第一个人
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第14张图片
第二个
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第15张图片
第三个

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第16张图片
还可以
特征到底好不好呢?
根节点是谁?
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第17张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第18张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第19张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第20张图片
CART最牛逼
后来的GBDT很牛逼的模型
就是CART搞的
很强

可解释性强
预测速度快,只需要一条路,if通
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第21张图片
当然,容易过拟合
非走不可
特征差距大,泛化不合适
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第22张图片
剪枝可以解决问题
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第23张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第24张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第25张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第26张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第27张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第28张图片
大杀器

朴素贝叶斯

在这里插入图片描述
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第29张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第30张图片
这貌似被判赔偿了吧

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第31张图片
现在呢
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第32张图片

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第33张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第34张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第35张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第36张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第37张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第38张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第39张图片
分母+小数
避免为0
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第40张图片

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第41张图片
有相关性,就不好搞
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第42张图片
依赖一个
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第43张图片

支持向量机SVM

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第44张图片
1995年出生
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第45张图片

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第46张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第47张图片

那几个距离直线最近的点,就是支持向量
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第48张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第49张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第50张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第51张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第52张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第53张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第54张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第55张图片

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第56张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第57张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第58张图片
公式推导很复杂
理论丰富
全局最优解
局部还是决策树
鲁棒性取决于支持向量

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第59张图片
但运算量不小
SVM二分类
类别多了就gg
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第60张图片

数据挖掘深度学习ANN

在这里插入图片描述
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第61张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第62张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第63张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第64张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第65张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第66张图片
ANN模型
就是一个线性回归模型
但是后续
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第67张图片
重点还是后面的激活函数,非线性映射,这是重点

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第68张图片
电信号累加到一定的水平
激活
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第69张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第70张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第71张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第72张图片
深度学习
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第73张图片

XGBoost

在这里插入图片描述
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第74张图片
xgboost是决策树

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第75张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第76张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第77张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第78张图片
想要这种效果
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第79张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第80张图片
特征
在这里插入图片描述
语言不通,数字不通
描述不通,标签或者文段
在这里插入图片描述
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第81张图片
地址要谨慎,千万别整错
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第82张图片

汉语数字转阿拉伯数字
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第83张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第84张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第85张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第86张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第87张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第88张图片
数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第89张图片
二次需要人力的

数据挖掘与分析应用:分类算法:k近邻KNN,决策树CART,贝叶斯,支持向量机SVM,深度学习DNN,xgboost分类_第90张图片
分类算法暂时告一段落


总结

提示:重要经验:

1)
2)学好oracle,即使经济寒冬,整个测开offer绝对不是问题!同时也是你考公网络警察的必经之路。
3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。

你可能感兴趣的:(数据挖掘,数据挖掘,分类,决策树,支持向量机SVM,贝叶斯和KNN)