E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
pythonexcel数据清洗
Hadoop的第二个核心组件:MapReduce框架第四节
Hadoop的第二个核心组件:MapReduce框架十、MapReduce的特殊应用场景1、使用MapReduce进行join操作2、使用MapReduce的计数器3、MapReduce做
数据清洗
十一、
Augenstern K
·
2023-09-07 03:55
Hadoop
hadoop
mapreduce
前端
用python进行数据分析举例说明_利用Python进行数据分析实例练习
数据分析基本步骤:1、提出问题2、理解数据3、
数据清洗
4、构建模型5、数据可视化一、提出问题要分析解决业务数据问题,首先要与业务部门进行沟通。
weixin_39688750
·
2023-09-07 00:51
机器学习:完整机器学习项目流程,
数据清洗
一、完整机器学习项目流程数学抽象--任务目标明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的。这里的抽象成数学问题,指的是根据数据明确任务目标,是分类、还是回归,或者是聚类。数据获取--数据集数据决定了机器学习结果的上限,而算法只是尽可能逼近这个上限。数据要有代表性,否则必然会过拟合。对于分类问题,数据偏斜不能过于严重(平衡),不同类别的数据
生活的探路者
·
2023-09-06 19:22
大数据知识合集之预处理方法
数据预处理方法主要有:
数据清洗
、数据集成、数据规约和数据变换。1、
数据清洗
数据清洗
(datacleaning):是通过填补缺失值、光滑噪声数据,平滑或删除离群点,纠正数据的不一致来达到清洗的目的。
学掌门
·
2023-09-06 18:24
数据分析
程序员
IT
大数据
【大数据实训】基于Hive的北京市天气系统分析报告(二)
、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系目录1.引言1.1项目背景11.2项目意义12.需求分析22.1
数据清洗
需求分析
Maynor996
·
2023-09-06 15:40
#
大数据课设&毕设
大数据
hive
hadoop
2019-02-24
本周主要在做项目Project:FindingDonorsforCharityML一个完整的数据分析项目包括
数据清洗
,探索和分析,但是由于主要侧重点在于机器学习sklearn方法的掌握,所以只关注在选择
_mora
·
2023-09-06 00:52
【数学建模竞赛】数据预处理知识总结1——
数据清洗
数据预处理是什么在数学建模赛题中,官方给所有参赛选手的数据可能受到主观或客观条件的影响有一定的问题,如果不进行数据的处理而直接使用的话可能对最终的结果造成一定的影响,因此为了保证数据的真实性和建模结果的可靠性,需要在建模之前对数据进行相关的预处理工作!数据预处理是指在进行数据分析和建模之前对原始数据进行清洗、转换和整理的过程。数据预处理的目的是消除数据中的噪声、错误和不完整性,以提高数据质量和分析
CaojunjiaOnly
·
2023-09-06 00:38
数学建模
数学建模
数据分析
大数据
数据仓库
数据挖掘学习笔记1-相关拓展学习资料
ICDMICMEICMLPCKDDACKDD三、期刊:TKDE(数据工程上的技术和知识)NNLS(神经网络和学习系统)四、公共数据集:UCI五、数据挖掘软件:weka(开源)数据挖掘前:数据预处理——
数据清洗
irony_202
·
2023-09-05 19:51
数据挖掘
数据仓库
人工智能
数据分析之面试题目汇总
1、解释
数据清洗
的过程及常见的清洗方法。
YouShouldKnowMe
·
2023-09-05 17:23
数据分析
数据挖掘
python都有哪些好用的库?
Pandas:用于数据处理和分析的库,包括
数据清洗
、数据转换、时间序列分析等功能。Matplotlib:用于数据可视化的库,可以创建各种类型的图表和图形,包括散点图、柱状图、饼图等。
软件架构师-叶秋
·
2023-09-05 06:29
Python
python
Hadoop的概述与安装
内部的三个核心组件1、HDFS:分布式文件存储系统2、YARN:分布式资源调度系统3、MapReduce:分布式离线计算框架4、HadoopCommon(了解即可)二、Hadoop技术诞生的一个生态圈数据采集存储
数据清洗
预处理数据统计分析数据迁移数据可视化
Augenstern K
·
2023-09-05 06:49
Hadoop
hadoop
大数据
分布式
MySQL 8
数据清洗
总结
MySQL8
数据清洗
三要素:库表拷贝和数据备份
数据清洗
SQL
数据清洗
必杀技-存储过程前提:数据库关联库表初始化和基础数据初始化:--usc.t_projectdefinitionCREATETABLE`
在奋斗的大道
·
2023-09-04 22:11
Java架构专栏
深蓝计划
MySQL
mysql
android
数据库
【小沐学NLP】Python使用NLTK库的入门教程
3、测试3.1分句分词3.2停用词过滤3.3词干提取3.4词形/词干还原3.5同义词与反义词3.6语义相关性3.7词性标注3.8命名实体识别3.9Text对象3.10文本分类3.11其他分类器3.12
数据清洗
结语
爱看书的小沐
·
2023-09-04 18:15
Python
NLP
自然语言处理
python
人工智能
nlp
nltk
分词
数据清洗
机器学习与数据分析
【
数据清洗
】异常检测孤立森林(IsolationForest)从原理到实践效果评估:F-score【1】保护隐私的时间序列异常检测架构概率后缀树PST–(异常检测)【1】UEBA架构设计之路5:概率后缀树模型
£Cauchy
·
2023-09-04 17:10
机器学习
数据分析
人工智能
或许是人生转折的一天
作图很简单,也就是
数据清洗
后调用函数再加几个标签而已"虽然我也很想有本事这么说,但事实往往不会这么简单,更何况我R学稀烂,就把别人的脚本改改配色换换文本还算熟练。"
无话_
·
2023-09-04 09:14
第二章-第一节(
数据清洗
)
刚开始先补充一下上一节课拉下的东西完成的仅有第一章的第一节剩下的第二节与第三节赶紧补上后续的两节主要的是理解pandas的两种数据格式DataFrame与Series这里的一个简单的认知D是表格S是键值对都是一个二维的数据简单的学习了对于表格的查询操作主要的还是要多练练手多完成几个有意义的项目整体信息(直观).png对于缺失值的处理两种方法dropna与fillna主要的都是针对np.nan这个值
QuietRG
·
2023-09-04 07:14
【100天精通Python】Day51:Python 数据分析_数据分析入门基础与Anaconda 环境搭建
目录1科学计算和数据分析概述2.数据收集和准备2.1数据收集2.1.1文件导入:2.1.2数据库连接:2.1.3API请求:2.1.4网络爬虫:2.2
数据清洗
2.2.1处理缺失值:2.2.2去除重复值:
LeapMay
·
2023-09-04 06:18
100天精通Python
python
数据分析
信息可视化
学习大数据应该掌握哪些基础语言
大数据技术的体系庞大且复杂,每年都会涌现出大量新的技术,目前大数据行业所涉及到的核心技术主要就是:数据采集、数据存储、
数据清洗
、数据查询分析和数据可视化。学习大数据需要掌握什么语言基础?
我想去吃ya
·
2023-09-02 16:36
学习
大数据
python
人工智能
开发语言
Python 实践之Pandas 时间数据处理方法详解
无论是金融领域的股票交易数据,还是企业注册、吊销的微观数据,时间数据都包含了宝贵的信息,掌握时间数据的处理方法可以帮助我们进行
数据清洗
、筛选、排序、分析等任务。
Rocky006
·
2023-09-01 13:27
python
pandas
开发语言
Python小知识 - 使用Python进行数据分析
数据分析的基本方法数据分析一般包括以下几个基本步骤:
数据清洗
:
数据清洗
是数据分析过程中的第一步,也是最重要的步骤。
数据清洗
的目的是去除数据中的冗余、缺失、错误、重复等异常数据
不吃西红柿丶
·
2023-09-01 12:20
800个Python小知识
Python
YYDS
实训笔记8.31
实训笔记8.318.31笔记一、项目开发流程一共分为七个阶段1.1数据产生阶段1.2数据采集存储阶段1.3
数据清洗
预处理阶段1.4数据统计分析阶段1.5数据迁移导出阶段1.6数据可视化阶段二、项目
数据清洗
预处理的实现
cai-4
·
2023-09-01 02:25
实训
笔记
大数据
hive
数据清洗
大致流程
–创建hivemock_data管理表createtablemock_data(uuidSTRING,nameSTRING,englishNameSTRING,genderSTRING,birthSTRING,identityNumSTRING,nationalitySTRING,eductionSTRING,occupationSTRING,titleSTRING,phoneNumberSTRI
JasonZ_1
·
2023-08-31 15:24
数据清洗
数据去重
数据治理
sql
hive
时间序列分析-Python-纯新手教程
2.数据采集和处理:收集相应时间序列数据,并进行必要的
数据清洗
和预处理,例如去除异常值、缺失值等。3.时序图观察:绘制时序图,对数据的基本特征和趋势
lmyuuuu
·
2023-08-31 14:31
python
机器学习
python---
数据清洗
数据科学家们会花费大量的时间来清理数据集,毫不夸张地说,
数据清洗
会占据他们80%的工作时间,而真正用来分析数据的时间只占到20%左右。所以,
数据清洗
到底是在清洗些什么?
CodingAndCoCoding
·
2023-08-31 14:00
数据分析
Python 教学 | Pandas 妙不可言的条件数据筛选
(1)比较数据值(2)是否为空值(3)文本内容筛选(4)数据值长度(5)日期筛选(6)其他2、复合条件筛选Part4总结Part5Python教程Part1前言在Python中,第三方库Pandas是
数据清洗
企研数据
·
2023-08-31 13:23
Python教学
python
pandas
开发语言
python数据分析基础—Pandas数据类型转换
方法强制转换数据的类型2.自定义函数进行数据类型转换3.使用Pandas提供的函数to_numeric()三、实际业务应用一、Pandas、Numpy、Python各自支持的数据类型利用Pandas进行
数据清洗
sodaloveer
·
2023-08-31 13:24
python数据分析基础知识
python
pandas
应用软件机器人自动录入数据,提升乡村振兴工作效率
手动录入数据、常态开展
数据清洗
等问题层出不穷,严重影响了基层乡村振兴工作的成效。针对这一问题,引入博为小帮软件机器人将流程自动化成为了新的解决方案。
weixin_43623368
·
2023-08-31 11:06
机器人
rpa
人工智能
gpt
自动化
数学建模:数据的预处理
文章首发于我的个人博客:欢迎大佬们来逛逛文章目录数据预处理数据变换
数据清洗
缺失值处理异常值处理数据预处理数据变换常见的数据变换的方式:通过某些简单的函数进行数据变换。
HugeYLH
·
2023-08-31 08:11
数学建模
MATLAB
数学建模
mysql存储过程之遍历设置表中某些字段值
那么后面是做了一个
数据清洗
,给300张表is_turnout字段设置成null值。若要一个一个表update,工作量也确实有点大了。可以用mysql的存储过程来实现。
鸢尾の
·
2023-08-30 14:55
mysql
mysql
“泰迪杯” 挑战赛 - 利用协同过滤与卷积神经网络为电视产品制订智能化营销推荐
目录问题重述模型假设数据预处理3.1
数据清洗
3.1.1数据缺失的分析和处理3.1.2数据异常的分析和处理3.2数据规约数据分析4.1电视产品体系图4.2收视用户体系图4.3用户收视信息分析4.3.1用户收视信息
爱学习的数据喵
·
2023-08-30 14:22
泰迪杯论文
大数据项目案例
Text-CNN
大数据
爬虫
产品营销
如何使用Python爬虫清洗和处理摘要的数据
数据清理的重要性:解释为什么
数据清洗
是数据分析的重要步骤。强调数据质量对于准确分析结果的影响。
数据清洗
的常见问题:提取数据中常见的问题,如提取值、重复值、格式问题等。分析这些问题对
小白学大数据
·
2023-08-30 02:35
python
爬虫
python
爬虫
开发语言
数据分析
实训笔记8.28
实训笔记8.288.28笔记一、大数据计算场景主要分为两种1.1离线计算场景1.2实时计算场景二、一般情况下大数据项目的开发流程2.1数据采集存储阶段2.2
数据清洗
预处理阶段2.3数据统计分析阶段2.4
cai-4
·
2023-08-29 22:31
实训
笔记
大数据
Python
数据清洗
80%的工作量,看这篇就够了
数据科学家们会花费大量的时间来清理数据集,毫不夸张地说,
数据清洗
会占据他们80%的工作时间,而真正用来分析数据的时间只占到20%左右。所以,
数据清洗
到底是在清洗些什么?
Python编程社区
·
2023-08-29 18:49
文件夹中内容太杂乱,别慌,用Excel给文件夹做个带链接的目录吧
PowerQuery是Excel
数据清洗
的神器,如果你用的版本是2010及以上,可以尝试了解一下它的强大之处。数据处理好之后,只需一键刷新就可以一劳永逸啊。
查查老师讲Excel
·
2023-08-29 18:37
一图胜千言,想让数据产生影响力,必须拥有好上手的BI数据分析工具
当杂乱无章的数据,经过
数据清洗
后,得到了想用的数据,但是查看这些数据通过数据库只能看到数据本身,无法看到其中的规律,可以通过BI数据分析工具,图形化展示数据,使数据更形象化的展现在用户面前,更容易看出规律
明月说数据
·
2023-08-28 18:26
3w+字,Python办公自动化之Excel报表自动化,看这一篇就够了!
0.
PythonExcel
库对比我们先来看一下python中能操作Excel的库对比(一共九个库):1.Pythonxlrd读取操作Excel1.1x
lyc2016012170
·
2023-08-28 14:46
列表
python
webgl
数据分析
脚本语言
强烈推荐收藏!3W 字Python 操作 Excel 报表自动化指南
0.
PythonExcel
库对比我们先来看一下python中能操作Excel的库对比(一共九个库):1.Pythonxlrd读取操作Excel1.1xlrd模块介绍(1)什么是xlrd模块?
Sim1480
·
2023-08-28 14:15
列表
python
webgl
数据分析
脚本语言
Python案例|Pandas正则表达式
字符串的处理在
数据清洗
中占比很大。也就是说,很多不规则的数据处理都是在对字符串进行处理。Excel提供了拆分、提取、查找和替换等对字符串处理的技术。
TiAmo zhang
·
2023-08-28 13:21
Python
python
开发语言
正则表达式
数据清洗
Pandas
pandas由入门到精通-
数据清洗
-分类数据
pandas-02-
数据清洗
&预处理E.分类数据1.适用情况2.Categorical扩展数据类型2.1通过astype将一个Series转化为Categorical类2.2通过pd.Categorical
Wumbuk
·
2023-08-28 05:11
pandas由入门到精通
pandas
数据分析
分类
Pandas学习
Pandas介绍Pandas基于Numpy的一个第三方的工具库,Pandas主要是,用于做
数据清洗
方面的工作,如果是数据量比较大,而且清洗工作不是那么复杂的话,通常几步代码就能搞定Pandas和Numpy
Wangthirteen
·
2023-08-28 05:20
股票爬虫
看不懂代码的同学可以去找第一篇看一看第一篇点击此链接文章目录股票爬虫(第二篇:代码实现)看不懂代码的同学可以去找第一篇看一看前言准备1、新建Maven项目2、需要的依赖、包代码编写1、获取网页返给我们的json2、太乱了,看的眼疼(那就
数据清洗
一下
李南想做条咸鱼
·
2023-08-27 16:17
爬虫与数据分析
爬虫
json
java
模糊匹配——stata matchit 函数
一、引言
数据清洗
过程中常见的数据处理方式之一是:数据匹配,其中包括精确匹配与模糊匹配。
优秀的华华
·
2023-08-27 15:33
stata
大数据
Kaggle分类问题Titanic——Machine Learning from Disaster
目录前言1题目介绍2
数据清洗
3数据可视化分析4模型训练5源码前言这是我在大三选修课的课程设计,内容参考了Kaggle上高赞的代码,有详细批注,整体比较基础,结构相对完整,便于初学者学习。
Fishermen_sail
·
2023-08-27 11:55
机器学习
机器学习
分类
数据挖掘
python
scikit-learn
几个nlp的小任务(抽取式问答)
安装库抽取式问答介绍、SQuAD数据集初始化参数加载、导入数据集查看数据集示例加载tokenizer对长文本处理的演示对答案的位置进行验证整合刚才的步骤对数据集中的数据进行预处理加载微调模型设置args参数使用
数据清洗
设置训练函数
码manba
·
2023-08-27 08:52
人工智能学习
自然语言处理
人工智能
Pandas数据分析教程-
数据清洗
-扩展数据类型
pandas-02-
数据清洗
&预处理扩展数据类型1.传统数据类型缺点2.扩展的数据类型3.如何转换类型文中用S代指Series,用Df代指DataFrame
数据清洗
是处理大型复杂情况数据必不可少的步骤,
Wumbuk
·
2023-08-26 21:19
pandas
pandas
数据分析
数据挖掘
pandas数据分析教程-
数据清洗
-缺失值处理
pandas-02-
数据清洗
&预处理A.缺失值处理1.Pandas缺失值判断2.缺失值过滤2.1Series.dropna()2.2DataFrame.dropna()3.缺失值填充3.1值填充3.2向前
Wumbuk
·
2023-08-26 21:48
pandas
pandas
数据清洗
Pandas数据分析教程-数据处理
pandas-02-
数据清洗
&预处理B.数据处理1.重复值处理2.map逐元素转换3.值替换4.改变索引值5.离散化与分箱6.检测过滤异常值7.排列与随机采样8.根据类别生成one-hot向量,向量化文中用
Wumbuk
·
2023-08-26 21:17
pandas
pandas
数据分析
数据挖掘
python
数据清洗
—利用pandas筛选数据
利用pandas筛选数据直接筛选函数筛选直接筛选比较运算符(==、、>=、=15的数据data_pos[data_pos['cdr_duration']>=15]##用比较运算符“>=”直接筛选筛选cdr_duration60的数据data_pos[(data_pos['cdr_duration']60)]函数筛选比较函数(eq,ne,le,lt,ge,gt)筛选出frand_flag为0的数据d
sodaloveer
·
2023-08-26 17:32
python数据分析基础知识
python
pandas
数据库
时间序列分析—缺失值处理
时间序列分析—缺失值处理本文依据知乎大佬的文章清洗数据
数据清洗
是数据分析的一个重要环节,对于时间序列数据也不例外,本节将详细介绍针对时间序列数据的
数据清洗
方法。
懒惰的coder
·
2023-08-26 15:05
机器学习
时间序列
数据挖掘
数据分析
人工智能
【Chapter 7.1 】处理缺失数据
【Chapter7】
数据清洗
和准备其实数据分析中80%的时间都是在数据清理部分,loading,clearning,transforming,rearranging。
蜘蛛的梦呓
·
2023-08-26 04:15
上一页
14
15
16
17
18
19
20
21
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他