数据挖掘实战

数据挖掘实战--二手车交易价格预测（三）模型训练和预测

异常值分析与处理test_df=pd.read_csv('D:/DataMining/TestData/used_car_testA_20200313.csv',sep='')#将price变换为正态分布train_df['price']=np.log1p(train_df['price'])#删除部分异常值train_df.drop(train_df[train_df['price']600el
CannonJia·2020-09-12 19:14

数据挖掘与R语言完整思维导图

以五本书为例子，介绍R数据挖掘与数据分析的思维导图《数据挖掘与R语言》《R语言实战》《R数据科学》《R语言分析及数据挖掘实战》《多元统计分析及R语言使用》《数据挖掘与R语言》《R语言实战》《R数据科学》
执念斩长河·2020-09-12 01:47

sas 数据挖掘实战

最近学习了SAS数据挖掘，在这里算是做个总结。实验配置：WIN10SAS9.2企业数据挖掘数据：百度云链接：https://pan.baidu.com/s/16RCAljc2I1fGOg3bIrkURg提取码：j4tn第一步：在sas中，新建一个库，将数据导入其中导入数据后，如图所示，我新建的库名为DATA第二步：新建一个项目sas-企业数据挖掘-项目-新建出现如图所示界面，给项目取一个名字，指定
元平·2020-09-10 20:35

数据挖掘实战（二）—特征选择

本文参考木东居士公众号文章《特征工程系列：特征筛选的原理与实现》数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。特征工程又包含了FeatureSelection（特征选择）、FeatureExtraction（特征提取）和Featureconstruction（特征构造）等子问题
happy1yao·2020-08-25 09:21

大数据-实时推荐系统最主流推荐系统itemCF和userCF视频教程下载

套大数据，云计算，架构，数据分析师，Hadoop，Spark，Storm，Kafka，人工智能，机器学习，深度学习，项目实战视频教程视频课程包含：38套大数据和人工智能高级课包含：大数据，云计算，架构，数据挖掘实战
weixin_34235371·2020-08-24 17:41

数据挖掘实战（3）：挖掘建模

内容分为一个部分：第一部分：《Python数据分析与挖掘实战》第五章：挖掘建模的内容；课件PDF和源码移步到Github：https://github.com/Stormzudi/Python-Data-Mining邮箱：442395572@qq.com目录第一部分第5章挖掘建模5.1分类与预测5.1.1实现过程5.1.2常用的分类与预测算法5.1.3回归分析5.1.4决策树5.1.5人工神经网络
三个半_Z·2020-08-24 02:25

数据挖掘实战（2）：数据预处理

内容分为一个部分：《Python数据分析与挖掘实战》第四章的内容；课件PDF和源码移步到Github：https://github.com/Stormzudi/Python-Data-Mining邮箱：442395572@qq.com目录第一部分：第4章数据预处理4.1数据清洗4.1.1缺失值处理4.1.2异常值处理4.2数据集成4.2.1实体识别4.2.2冗余属性识别4.3数据变换4.3.1简单
三个半_Z·2020-08-24 02:25

数据挖掘实战--二手车交易价格预测（一）

数据挖掘实战–二手车交易价格预测（一）疫情影响，约好的实习去不成了。在家充电势在必行，有在DataWhale内部的同学推荐参加这个数据挖掘的训练营。
CannonJia·2020-08-24 01:09

数据挖掘实战：二手车交易价格预测之模型调参

本文接零基础入门数据挖掘的特征工程篇，讲述各种模型以及模型的评价和调参策略线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；嵌入式特征选择：Lasso回归；Ridge回归；决策树；模型对比：常用线性模型；常用非线性模型；模型调参：贪心调参方法；网格调参方法；贝叶斯
空腹熊猫·2020-08-24 00:01

数据分析与数据挖掘实战视频——学习笔记（八）(数据清洗(缺失值和异常值处理)、数据分布探索、数据集成)

网址：【数据挖掘】2019年最新python3数据分析与数据爬虫实战_哔哩哔哩(゜-゜)つロ干杯~-bilibilihttps://www.bilibili.com/video/av22571713/?p=51数据探索与数据清洗概述数据探索与数据与清洗概述：数据探索的目的是急躁发现数据的一些简单规律或特征，数据清洗的目的是留下可靠数据，避免脏数据的干扰。这两者没有严格的先后顺序，经常在一个阶段进行
fanhl111·2020-08-14 23:02

原理+代码｜Python基于主成分分析的客户信贷评级实战

文章来源：早起Python作者：萝卜本文是Python商业数据挖掘实战的第5篇1-基于不平衡数据的反欺诈模型实战2-Apriori算法实现智能推荐3-随机森林预测宽带客户离网4-多元线性回归模型实战5-
CDA·数据分析师·2020-08-12 00:21

《Python数据分析与数据挖掘实战》学习笔记1（数据挖掘基础）

《Python数据分析与数据挖掘实战》学习笔记（数据挖掘基础）前言1、获取数据（获取【爬虫采集或从一些统计网站下载】--->取样）2、数据探索2.1、缺失、异常值分析2.2、统计量分析3、数据预处理（清洗
Yuya_lee·2020-08-11 04:13

原理 + 代码 | Python 实现随机森林并预测宽带客户离网（附源数据）

ManyHeadsAreBetterThanOne:MakingTheCaseForEnsembleLearning多智胜一智：为集成学习提供了理由——JayBudzik美国西北大学教授本文是Python商业数据挖掘实战的第
萝 卜·2020-08-10 08:08

数据挖掘实战一：输入预测分类

#导入第三方包importpandasaspdimportnumpyasnpimportseabornassns#数据读取income=pd.read_excel(r'./income.xlsx')income.head()#了解数据的大体结构。输出前几行ageworkclassfnlwgteducationeducation-nummarital-statusoccupationrelation
circle_yy·2020-08-06 12:16

Python数据挖掘实战-唐宇迪-专题视频课程

Python数据挖掘实战—1691人已学习课程介绍Python数据挖掘系列课程基于真实数据集进行案例实战，使用Python数据科学库从数据预处理开始一步步进行数据建模。
迪哥有点愁了·2020-07-29 11:18

数据挖掘实战（二）：特征工程

文章目录一、特征衍生二、特征选择1.利用随机森林做特征选择2.利用IV值做特征选择2.1WOE2.2IV2.3代码实现3.利用相关系数做特征选择一、特征衍生特征衍生是现有的特征进行某种组合，生成新的具有含义的特征。举例：下面有份数据集，这份数据表示的是用户在电商平台上的购物行为（购物行为0表示点击但未购买，1表示购买）通过这份数据（1〜9月的购物数据），需要解决的场景是预测接下来3个月（10〜12
Smilhe_·2020-07-28 22:10

数据挖掘实战（一）：Kaggle竞赛经典案例剖析

LoadLib在这边提一下为什么要加importwarningswarnings.filterwarnings('ignore')主要就是为了美观，如果不加的话，warning一堆堆的，不甚整洁。Loaddata和正常的套路一样，Id的没有什么卵用但是每个数据集都喜欢加的东西，因此我们弄死它就好了。DataStatisticsDataStatistics是不能省略的部分，这部分能够首先让你对Dat
weixin_33766805·2020-07-28 17:35

原理+代码|Python实现随机森林并预测宽带客户离网（附源数据）

image.png本文是Python商业数据挖掘实战的第3篇1-基于不平衡数据的反欺诈模型实战2-Apriori算法实现智能推荐3-随机森林预测宽带客户离网前言组合算法也叫集成学习，在金融行业或非图像识别领域
Raiders_心理学·2020-07-26 22:14

数据挖掘实战（1）：数据探索

内容分为两个部分：第一部分：《Python数据分析与挖掘实战》第三章的内容；第二部分：自己编码过程中这部分的学习总结。课件PDF和源码移步到Github：https://github.com/Stormzudi/Python-Data-Mining邮箱：442395572@qq.com目录第一部分：第3章数据探索3.1数据质量分析3.1.1缺失值分析3.1.2异常值分析3.1.3一致性分析3.2数
Stormzudi·2020-07-20 17:56

python数据挖掘实战 -数据预处理篇(数据可视化-空值填充-哑变量编码）

数据预处理包含：数据盘点-数据可视化分析-空值填充-数据编码importmatplotlib.pyplotaspltimportseabornassnsfromsklearn.neighborsimportKNeighborsClassifierfromsklearn.linear_modelimportLogisticRegressionfromsklearn.treeimportDecisio
AI深度学习算法实战代码解读·2020-07-15 16:03

数据挖掘实战系列 之 Kaggle 泰坦尼克号灾难（下）

更多原创文章请访问：https://blog.csdn.net/xudailong_blog如果没有看到上册的话：可以点击这里:[数据挖掘实战系列]Kaggle之泰坦尼克号灾难（上）https://www.jianshu.com
xudailong_blog·2020-07-15 10:05

R语言数据挖掘实战系列（4）

R语言数据挖掘实战系列（4）——数据预处理数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。
weixin_33720078·2020-07-15 04:47

数据挖掘实战系列 之 Kaggle 泰坦尼克号灾难（上）

（一）步骤流程：#（一）目标确定：根据已有数据预测未知旅客生死#（二）数据准备：1数据获取，载入训练集csv，测试集csv#（三）数据清洗：补齐或抛弃缺失值，数据类型变化（字符串转数字）#（四）数据重构：根据需要重新构造数据（重组数据，构建新特性）#（五）数据分析：1描述性分析，画图，直观分析2探索性分析，机器学习模型#（六）成果输出：csv文件上传得到正确率和排名学习数据挖掘（分析）的步骤差不多
xudailong_blog·2020-07-14 03:16

数据挖掘实战之天池精准医疗大赛（4）——数据分析与数据预处理

Part3:数据分析与数据预处理在介绍了sklearn包之后，我们正式开始大赛的流程，但是这部分不太用得到sklearn包，而是接着part1中我们对数据的分析和认识应用pandas等工具对数据进行分析和预处理。这一部分我们直接贴上我实际的代码（略作修改），展示出在这一部分应该做的工作：importpandasaspdprint("_____________________________预处理_
xutiantian1412·2020-07-09 02:26

python数据挖掘实战笔记——文本挖掘（10）：自动摘要

概念：摘要：全面准确地反映某一文献中心内容的简单连贯的短文。自动摘要：利用计算机自动地从原始文件中提取摘要。算法原理：余弦相似定理算法步骤：获取需要摘要的文章对该文章进行词频统计对该文章进行分句，一般采用“,"、"."、?"进行分句。计算分句与文章之间的余弦相似度。取相似度最高的分句，作为文章的摘要。下面是具体代码实现：首先导入包：#导入需要的包importreimportosimportjieb
小柴~·2020-07-08 20:17

python数据挖掘实战笔记——文本挖掘（9）：相似文章推荐

概念：相似文本推荐：在用户阅读某篇文章的时候，为用户推荐更多与在读文章内容类似的文章。**推荐：**指介绍好的人或事物，希望被任用或接受。数据挖掘领域，推荐包括相似推荐及协同过滤推荐。**相似推荐：**指当用户表现出对某人或某物的兴趣时，为他推荐与之类似的人，或者物。核心定理：物以类聚，人以群分。**协同过滤推荐：**是指利用已有用户群过去的行为或意见，预测当前用户最有可能喜欢哪些东西或对哪些东西
小柴~·2020-07-08 20:47

python数据挖掘实战笔记——文本挖掘（8）：用sklearn包进行关键字提取

概念：sklearn:全名Scikit-Learn，是基于python的机器学习模块，网址：http://scikit-learn.org/stable/index.html，里面对一些常用的机器学习方法进行了封装，在进行机器学习任务时，并不需要每个人都实现所有的算法，只需要简单的调用sklearn里的模块就可以实现大多数机器学习任务。机器学习任务通常包括分类（Classification）和回归
小柴~·2020-07-06 19:22

数据挖掘实战之天池精准医疗大赛（2）——算法思路

Part1-2算法思路：下面我们根据前文对数据集的认识，分析问题和解题思路。其实讲述算法思路是一件十分复杂和困难的事儿，按照自上向下的顺序结合一位大佬的文章，谈一谈：一，说到思路，其实就是数据、特征、模型三个部分，数据预处理服务于特征工程，特征服务于模型，又决定了模型的上限。这三部分密不可分，而且在后续的流程中还会返回来完善、改进前面的工作；二，开始我们仍未对特征作用于模型的效果有所尝试，故首先建
xutiantian1412·2020-07-06 09:22

菜鸟的数据挖掘实战（二）-数据的探索性分析EDA

学习框架：零基础入门数据挖掘-菜鸟的学习路径这是一个菜鸟的数据挖掘实战记录，目的是快速入门数据挖掘，少走弯路。
阿叶_·2020-07-06 05:12

菜鸟的数据挖掘实战-学习路径

这是一个菜鸟的数据挖掘实战记录，目的是快速门数据挖掘，少走弯路。内容上，由于自己的确是菜得不行，所以在跟随入门级比赛：二手车价格预测进行实战中，会重点叙述学习方法和思路，并补充其他学习资料。
阿叶_·2020-07-06 05:12

数据挖掘实战项目——北京二手房房价分析

本次实战项目的主要目的是分析北京二手房房价，项目源自博文：入门Python数据分析最好的实战项目（一）和入门Python数据分析最好的实战项目（二）。本篇文章仅记录博主在学习过程中的思路。数据分析首先我们要对数据进行分析，可分为以下几个主要步骤：导入数据检查缺失值情况并对表格进行简单处理数据可视化分析这里我们重点要讲的是数据可视化分析，即对一些重要对特征逐个画图观察。打开表格：我们看到上述数据有1
weixin_34124939·2020-07-06 00:38

数据挖掘实战，实时推荐系统实战视频教程下载

数据挖掘实战，实时推荐系统实战视频教程下载大数据，云计算，架构，数据分析师，Hadoop，Spark，Storm，Kafka，人工智能，机器学习，深度学习，项目实战视频教程视频课程包含：38套大数据和人工智能高级课包含
weixin_33949359·2020-07-05 23:22

分类算法----逻辑回归特征选择

备注：以下均参考Python数据分析和数据挖掘实战在利用Scikit-Learn对数据进行逻辑回归之前。首先进行特征筛选。
千语_肉丸子·2020-07-05 17:22

#Python3组数据挖掘实战总结8、9、X章#

关联概念关联：两个或多个关联规则AssociationRules,AR协同过滤CollaborativeFiltering,CF关联规则支持度support(x->y)=集合x与集合y中的项在一条记录中同时出现的次数/数据记录的个数相当于P(x,y)自信度confidence(置信度？)confidence(x->y)=集合X和集合Y中的项在一条记录中同事出现的次数/集合x出现的个数相当于P(x,
DrBear_smile·2020-07-04 22:07

数据挖掘实战：员工离职预测（训练赛）

赛题来自：datacastle任务从给定的影响员工离职的因素和员工是否离职的记录，建立一个逻辑回归模型预测有可能离职的员工数据数据主要包括影响员工离职的各种因素（工资、出差、工作环境满意度、工作投入度、是否加班、是否升职、工资提升比例等）以及员工是否已经离职的对应记录。主要字段说明Age：员工年龄Attrition：员工是否已经离职，1表示已经离职，2表示未离职，这是目标预测值；BusinessT
空腹熊猫·2020-07-04 16:59

数据挖掘实战--二手车交易价格预测（四）建模调参

建模调参的过程中，尝试了两种不同的调参方式——贪心调参和贝叶斯调参。最近事情太多，就划个水给自己记录一下即可。贪心调参把求解的问题分成若干个子问题；对每个子问题求解，得到子问题的局部最优解；把子问题的解局部最优解合成原来问题的一个解。objective=['regression','regression_l1','mape','huber','fair']num_leaves=[3,5,10,15
CannonJia·2020-07-02 13:32

数据挖掘实战案例——客户细分

我们首先来看看原始数据具体代码与原始数据可以在我的GitHub中gitclone一下学习代码与数据github地址共26663条数据此次分析是想对根据客户的购买情况对客户进行细分分析用户的购买消费行为首先读取csvimportpandasaspd#importnumpyasnptrad_flow=pd.read_csv('./购买情况.csv',encoding='gbk')trad_flow.h
Code进阶狼人·2020-07-02 09:23

Python数据挖掘实战——KNN算法（K最近邻节点算法，k-NearestNeighbor）

一、分类分类是用来预测类别数据的一种方法，可以用来预测未来一段时间内用户是否会流失，预测用户是否会响应你的促销活动，能够评估用户的信用度是好还是差的一系列分类预测问题。二、概念2.1监督学习（SupervisedLearning）从给定标注的训练数据集中学习出一个函数，根据这个函数为新数据进行标注。（有因变量y）回归分类、分类、时间序列等。2.2无监督学习（UnsupervisedLearning
zhuoyue65·2020-06-30 17:00

Python数据挖掘实战——贝叶斯分类算法

一、概念1.1贝叶斯定理（BayesTheorem）eg.判断一个人品质的好坏是根据一个人过往的行为进行判断的，但是对于陌生人一开始初始化为50%好人、50%坏人，如果之后他做了一件好事，这个事会增加我们判断他为好人的根据。如果发现他做了一件坏事，会增加他是坏人的概率。1.2朴素贝叶斯分类（NaiveBayesClassifier）贝叶斯分类算法，是统计学的一种分类方法，它是利用贝叶斯定理的概率统
zhuoyue65·2020-06-30 17:00

Python数据挖掘实战——回归

一、回归分析（RegressionAnalysis）研究自变量与因变量之间关系形式的分析方法，它主要是通过建立因变量y与影响它的自变量Xi（i=1，2,3....）之间的回归模型，来预测因变量y的发展趋势。二、回归分析的分类2.1线性回归分析：简单线性回归、多重线性回归2.2非线性回归分析：逻辑回归、神经网络三、简单线性回归模型y=a+bx+e（一元一次方程）1）y——因变量2）x——自变量3）a
zhuoyue65·2020-06-30 17:59

Python数据挖掘实战——相关分析

继续补以前拉下的债~~~一、相关性指标的研究意义1.1相关系数（Correlationcoefficient）：相关系数是变量间关联程度的最基本测度之一1.2相关分析（Correlationanalysis）是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。二、相关系数的基本特征2.1方向：正相关（positivec
zhuoyue65·2020-06-30 17:59

数据挖掘实战之天池精准医疗大赛（5）——特征工程1

Part4-1:特征工程现在开始数据挖掘中最玄妙也是最重要的部分：特征工程（FeatureEngineering）。初学机器学习，一般只是对此概念及相关内涵有所了解，此处试图以实践性的角度，详细阐述特征工程。引用一句老掉牙的话，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。好特征即使使用一般的模型，也能得到很好的效果！好特征的灵活性在于它允许你可以选择不复杂的模型，同时，运行速
xutiantian1412·2020-06-30 04:56

数据挖掘实战之天池精准医疗大赛（1）——赛题与数据

首先介绍题目与数据：特别提供一下数据，供后来看到的盆友下载研究（现在官网上剩下的数据是复赛的了），测试数据分AB榜，不了解的去看天池平台的介绍：链接：https://pan.baidu.com/s/1SGZi_o1UVobHfy275onoOw密码：rf6s竞赛题目中国是世界上糖尿病患者最多的国家，病人达到1.1亿，每年有130万人死于糖尿病及其相关疾病。每年用于糖尿病的医疗费用占中国公共医疗卫生
xutiantian1412·2020-06-30 04:56

数据挖掘实战系列 之 Kaggle 练习项目快速入门

更多精彩原创文章请访问：https://blog.csdn.net/xudailong_blog（一）关于Kaggle作为小白只能这样子解释Kaggle了，不敢高声语。（二）电影数据分析（一）电影数据下载：tmdb_5000_movies这里我们要下载两个文件：-（二）kaggle的注册：可能一开始你没有注册kaggle，首先说一下，kaggle用163邮箱是可以注册的，然后校验的时候，你可能需要
xudailong_blog·2020-06-30 03:58

【Python数据挖掘实战案例】K-Means广告效果聚类分析

作者：杨啊小强来源：Python数据科学修炼之路本案例的业务场景：假如你们公司投放广告的渠道很多，每个渠道的客户性质也可能不同，比如在优酷视频投广告和今日头条投放广告，效果可能会有差异。现在需要对广告效果分析实现有针对性的广告效果测量和优化工作。本案例，通过各类广告渠道90天内额日均UV，平均注册率、平均搜索率、访问深度、平均停留时长、订单转化率、投放时间、素材类型、广告类型、合作方式、广告尺寸和
IT农民工1·2020-06-29 08:57

python数据挖掘实战笔记——文本分析（6）：关键词提取

紧接上篇的文档，这节学习关键字的提取，关键词——keyword，是人们快速了解文档内容，把握主题的重要内容。#导入需要的模块importosimportcodecsimportpandasimportjiebaimportjieba.analyse#搭建语料库forroot,dirs,filesinos.walk(r"C:\Users\www12\Desktop\data\2.6\SogouC.m
小柴~·2020-06-29 06:13

python数据挖掘实战笔记——文本挖掘（5）：词云美化之绘制《红楼梦》词云图

词云图的美化就是把词云图的背景和颜色进行美化，以《红楼梦》词云图为例，如下所示：首先绘制词云，跟之前的代码操作一样：importjiebaimportnumpyimportcodecsimportpandas#读取红楼梦文本file=codecs.open(r"C:\Users\www12\Desktop\data\2.5\红楼梦.txt",'r','utf-8')content=file.rea
小柴~·2020-06-29 06:13

python数据挖掘实战笔记——文本挖掘（7）：TF-IDF原理

概念：词频（TermFrequency）：指的是某一指定的词在该文档中出现的次数。逆文档频率（InverseDocumentFrequency）：IDF就是每个词的权重，它的大小与一个词的常见程度成反比。TF-IDF：衡量某个词是否关键词的指标，该值越大，是关键词的可能性就越大。计算公式：TF=该词在文档中出现的频率。IDF=log(文档总数/包含该词的文档数+1）TF-IDF=TF*IDF上代码
小柴~·2020-06-29 06:13

python数据挖掘实战笔记——文本挖掘（1）：语料库构建

什么是文本挖掘？文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。一、搭建语料库语料库：要进行文本分析的所有文档的集合。需要用到的模块：os、os.path、codecs、pandas代码如下：importosimportos.pathimportcodecsimportpandasfilePaths=[]forroot,dirs,fil
小柴~·2020-06-29 06:13

数据预处理包括哪几步？

.本文是Python数据挖掘实战的读书笔记。因为数据预处理这部分比较枯燥无趣，所以先手抄一遍主要内容。
浮点型队友·2020-06-29 03:03
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他