E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
PowerBI:数据清洗
企业Spark案例--酒店数据分析实战提交
第1关:
数据清洗
--过滤字段长度不足的且将出生日期转:packagecom.yyimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.
cz学java
·
2024-02-08 10:30
spark
数据分析
大数据
机器学习:特征工程笔记
目录主要内容1.
数据清洗
1.1缺失值处理1.2异常值处理1.3去除重复项1.4数据一致性和格式规范化2.特征选择2.1过滤法(FilterMethods)2.2包裹法(Wrapp
Ningbo_JiaYT
·
2024-02-08 07:09
机器学习
机器学习
算法
笔记
数据分析之数据预处理、分析建模、可视化
以下是一些常见的数据预处理方法:a.
数据清洗
:去除重复、缺失或错误的数据,修正数据的格式和结构等,以提高数据的准确性。b.数据转换:对数据进行归一化、标准化、离散化等处理,使得数据更
诗雅颂
·
2024-02-07 12:35
数据分析
ai
爬虫
数据采集
分析
建模
可视化
因子分析1——python因子的异常值处理、标准化、市值/行业中性化
文章目录基本
数据清洗
流程1.异常值处理(绝对中位差)2.数据标准化3.市值中性化4.行业中性化完整示例程序基本
数据清洗
流程下面都是对截面数据的一些基本处理流程,方便后续的分析与建模。
呆萌的代Ma
·
2024-02-07 08:33
【量化策略】系列文章
量化
【AutoML】AutoKeras
数据清洗
与简单提纯
从上一章节可知,数据已经从4个数据源获取过来并已全部入库。目前数据库共分出11张表,如下图:mysql>usephw2_industry_bot;ReadingtableinformationforcompletionoftableandcolumnnamesYoucanturnoffthisfeaturetogetaquickerstartupwith-ADatabasechangedmysql
kida_yuan
·
2024-02-07 07:04
Python
python
数据处理
automl
spark sql上线前的调试工作实现
sparksql的上线不经过测试,所以可能会影响到生产的数据,这种情况下大数据平台提供一个上线前的调试功能也就非常好了sparksql上线前的调试工作我们写sparksql主要是用来查询其他hive表的数据,经过
数据清洗
等操作后写入自己的
lixia0417mul2
·
2024-02-07 05:22
spark
spark
sql
大数据
坚持去做那些底层逻辑没问题大方向正确的事
今天突然顿悟,数据产品大抵就两个方向,一是通用化的工具,这个方向走,Tableau和
PowerBI
已经站在了行业的制高点,那么试问国内市场上是否还有公司能打磨出产品超越它们。
老麦的砖头
·
2024-02-07 03:09
基于python大数据机器学习旅游数据分析可视化推荐系统(完整系统+开发文档+部署教程等资料)
基于python大数据机器学习旅游数据分析可视化推荐系统一、项目概述基于机器学习TF-IDF算法SnowNLP大数据的智慧旅游数据分析可视化推荐系统通过数据采集、
数据清洗
、数据分析、数据可视化的技术,对景区数据进行爬取和收集
谁不学习揍谁!
·
2024-02-06 12:01
大数据
自然语言处理
可视化
python
大数据
机器学习
SPSSAU上线文本分析啦|“尔滨”旅游攻略文本分析
二、文本分析常见研究步骤文本分析的常见步骤有五步,包括数据搜集、分词、
数据清洗
、特征提取以及建模和
spssau
·
2024-02-06 06:55
人工智能
大数据
机器学习
分享一个600块钱的Python私活单,金融Excel
数据清洗
分享一个今年一月份接的一个价值600元的Python
数据清洗
的金融数据私单,细节确实是接单以来最为复杂的一个案例。废话不多说,给大家分享下整个案例的需求和实现过程。
程序猿赵高
·
2024-02-06 02:54
Python
副业
数据分析
python
excel
python金融:从tushare金融数据的获取到运用pandas
数据清洗
、处理、加工与金融波动率、年化收益率、最大回撤、夏普比率等指标计算与数据可视化
python在处理金融数据时,具有很多优点:一是语法简单,可以轻松上手;二是免费与开源,使用python不像使用matlab需要购买软件授权,节约成本开支;三是具有强大的第三方模块支持,从numpy到pandas、再到人工智能,都有成熟开源模块提供支撑;最后一个是与金融进行了深度的结合,从行情获取到投资策略开发再到风控,都有广泛的应用场景。这篇文章演示了从数据获取到处理的一个简单的、完整的业务流程
吃饭的家伙事儿
·
2024-02-06 02:53
python量化金融
数据可视化
信息可视化
python
金融
DataFrame Series重置索引reset_index()
当我们在
数据清洗
去除空值的行或者切分的时候,此时DataFrame或Series类型的数据索引不在是从0开始的索引,这样我们就需要用到reset_index()重置索引。
一只上班爱摸鱼的小菜鸡
·
2024-02-05 17:55
pandas
计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
流程1.爬取17k的小说数据约5-10万,存入mysql数据库;2.使用mapreduce对mysql中的小说数据集进行
数据清洗
,转为.csv文件上传至hdfs文件系统;3.根据.csv文件结构,使用hive
计算机毕业设计大神
·
2024-02-05 14:48
Python爬虫技术也能做Excel表格,还不会的人就out啦
很多人不知道,其实我们最常用的表格,在某些情况下也是可以用来做爬虫的,而且爬下来的数据规整,不需要花太多时间进行
数据清洗
,来看看是怎么实现的。
网安福宝
·
2024-02-05 09:02
python
编程
Python入门
python
爬虫
excel
Python爬虫
Python入门
编程学习
Power BI-关系函数RELATED,RELATEDTABLE,LOOKUPVALUE
还记得在EXCEL中最强大的函数vlookup吗,可谓是在EXCEL函数中称王称霸了,在
PowerBI
中也有与vlookup功能相似的函数,而且不止一个,今天介绍下这三个函数:1.RELATED功能:把维度表中的数据匹配到事实表中
Sugargl
·
2024-02-04 22:52
(2019-04-24)初识pandas
想说的是
数据清洗
部分:例如这个数据,他的others中包含两个数据,一个是性别,一个是婚姻状况。目的是将这两个数据分
spiderzzZ
·
2024-02-04 20:19
Power BI中带筛选条件的查询功能如何实现
一、问题描述在数据分析,有时我们需要查找销售金额最大客户的姓名,或者最早的销售订单的编号,或者销售金额最大的10名客户的总金额等,类似这种带有筛选条件的查询功能,在
PowerBI
中该如何实现呢?
小崔2022
·
2024-02-04 14:07
Power
BI
Power
BI
筛选查询
数据分析
【C题完整论文】2024美赛完整论文+代码参考(无偿分享)
C题:网球运动中的动力一、问题分析1.1问题一分析针对该问题,经过
数据清洗
和特征工程处理之后,即考虑对动量指标的定义,通过数据分析和相关性计算,选取是否发球、是否取得压制性得分、跑动差和失误率这四项指标作为基本的影响指标
RS_数模加油站
·
2024-02-04 11:33
机器学习
人工智能
Python数据分析,如何掌握常用的数据分析包,看这篇就够了
这里将其总结如下,比如在
数据清洗
时使用到numpy和pandas包,数据可视化时使用matplotlib库,matplotlib库上手容易,更高级的学习seaborn库,seaborn库是改良matplotlib
程序员小猴紫
·
2024-02-04 11:00
python
python
数据分析
开发语言
一些概念
3.
数据清洗
提取对要处理数据无用或影响效果的数据。包括去停用词常见的
数据清洗
方式有:人工去重、对齐、删除和标注等,或者规则提取内容、正则表达式匹配、根据词性和命名实体提取、编写脚本或者代码批处理等。
半大人
·
2024-02-04 11:01
“互联网+水务”——智慧水务2.0推动水务行业产业结构变革
通过
数据清洗
工作,识别并改善数据重复、数据缺失、数据异常等问题,提升数据质量。
郭靖守襄阳【软芯民用】
·
2024-02-04 09:14
智慧水务
数据大屏可视化
物联网
大数据
信息可视化
Power BI学习-计算累计至今,同比,环比
工作中只要涉及到数据分析的,相信累计至今,同比,环比是必会出现的,今天给大家介绍下在
powerbi
中是怎么计算的,有两种方式:一是函数法,二是点击法,介绍先难后易第一种:函数法时间智能函数:一般要搭配calculate
Sugargl
·
2024-02-04 00:45
计算机毕业设计Python新冠疫情数据分析可视化平台
开发技术前端开发:VUE、ElementUI、ECharts、Maptalks、D3js后端web开发:Flask、Mysql爬虫开发:request数据分析:pandas、numpy创新点数据可视化、爬虫、
数据清洗
计算机毕业设计大神
·
2024-02-04 00:20
【和鲸社区活动】医疗问诊平台会员续费分析实战项目
【和鲸社区活动】医疗问诊平台会员续费分析实战项目文章目录【和鲸社区活动】医疗问诊平台会员续费分析实战项目1背景2分析步骤3
数据清洗
与预处理4探索性数据分析(EDA)4.1用户的基本统计信息展示4.2订单数据的基本统计信息
-北天-
·
2024-02-03 22:28
和鲸社区数据分析每周挑战
数据分析
数据挖掘
python
【和鲸社区活动】医疗问诊平台会员续费分析
【和鲸社区活动】医疗问诊平台会员续费分析文章目录【和鲸社区活动】医疗问诊平台会员续费分析1背景2分析步骤3
数据清洗
与预处理4探索性数据分析(EDA)4.1用户的基本统计信息展示4.2订单数据的基本统计信息
-北天-
·
2024-02-03 22:27
Python大数据分析与挖掘
和鲸社区数据分析每周挑战
数据分析
数据挖掘
数据可视化
探究Steam爆款游戏”幻兽帕鲁“:玩家评价揭秘
探究Steam爆款游戏”幻兽帕鲁“:玩家评价揭秘文章目录探究Steam爆款游戏”幻兽帕鲁“:玩家评价揭秘1背景描述2数据说明3数据来源4问题描述5数据探索与预处理5.1数据加载5.2
数据清洗
6数据分析6.1
-北天-
·
2024-02-03 22:25
和鲸社区数据分析每周挑战
数据分析
数据挖掘
数据可视化
机器学习系列——(五)
数据清洗
因此,
数据清洗
作为机器学习流程中至关重要的一步,可以帮助我们处理这些问题,提高模型的准确性和鲁棒性。本文将详细介绍机器学习中的
数据清洗
过程,以及常见的
数据清洗
方法和技术。
飞影铠甲
·
2024-02-03 17:11
机器学习
机器学习
人工智能
机器学习算法加强——
数据清洗
3.
数据清洗
Pandas—FuzzywuzzyFuzzuwuzzy—Levenshteindistance(模糊查询与替换)考虑降维后的样本方差PCA——寻找样本的主方向u:将m和样本值投射到某直线L上
Grateful_Dead424
·
2024-02-03 17:11
算法
Power BI 不重复计数函数
在
PowerBI
中,我们经常需要对数据进行计数。但是,有些情况下我们需要对数据进行去重计数,即不重复计算某个数据出现的次数。这时就需要用到不重复计数函数。
独木人生
·
2024-02-03 16:45
PowerBi
powerbi
《Pandas 简易速速上手小册》第8章:Pandas 高级数据分析技巧(2024 最新版)
文章目录8.1使用apply和map函数8.1.1基础知识8.1.2重点案例:客户
数据清洗
和转换8.1.3拓展案例一:产品评分调整8.1.4拓展案例二:地址格式化8.2性能优化技巧8.2.1基础知识8.2.2
江帅帅
·
2024-02-03 13:13
《Pandas
简易速速上手小册》
pandas
数据分析
数据挖掘
python
人工智能
机器学习
深度学习
Power BI 和 Fine BI 分析的几个概念
PowerBI
和FineBI分析的几个概念1.钻取概述钻取可以让用户在查看仪表板时动态改变维度的层次,它包括向上钻取和向下钻取。比如可实现:查看省份数据时,可下钻查看到下方具体城市的数据。
kalvin_y_liu
·
2024-02-03 13:03
数据科学
数据仓库
Power BI中如何按自定义序列进行排序
在默认状态下,
PowerBI
只能通过数值或是按轴进行排序,比如下图,在学历中,大学本科、大学专科、研究生、中专。
gxchai
·
2024-02-03 11:54
Power
BI
Power BI中如何设置可视化效果控件之间联动关系
在
PowerBI
中,同一报表中,如果选中一个可视化效果控件中的某一个数据,其他控件中的数值会相应修改。但是,如果有一些必须固定的值,比如总人数、总收入之类,要怎么保持不变呢?
gxchai
·
2024-02-03 11:54
Power
BI
信息茧房研究-sql
数据清洗
实战语句记录
id去重保存到表“t”需求2.发博id有属于表“t”的用户id去重保存到“t1”需求3.转博的根微博用户uid属于“t1”的用户id去重保存到“t2”需求4.有效用户uid需求5.根据有效用户uid进行
数据清洗
需求
Sky-JT
·
2024-02-03 10:07
SQL学习
SQL实战记录
数据分析实战
sql
数据分析之数据预处理、分析建模、可视化
数据预处理的具体步骤包括:
数据清洗
:去除重复、缺失或异常的数据,以确保数据的质量和准确性。数据转换:将数据转换成适合分析的格式或类型,例如将分类数据转换成数值型数据。数据整合:将
黑夜照亮前行的路
·
2024-02-03 08:55
数据分析
Power BI之power query多条件排序
原文地址:
PowerBI
之powerquery多条件排序博主首页:莫里_Katie业务场景三种排序要求:①按照销售额,员工销售额排序;——优先级:销售额②根据销售额,员工在部门中的排序;——优先级:部门
诡途
·
2024-02-03 08:21
Excel
power
query
Power
BI
多条件排序
分组排名
Excel
时间序列预测——ARIMA
本文会对如何使用ARIMA模型进行完整的展示,实现数据获取、
数据清洗
、平稳性检验、定阶、建立ARIMA模型、预测、误差评估等完整的时间序列预测流程。
行者无疆_ty
·
2024-02-03 06:27
人工智能
机器学习
tensorflow
BI数据分析工具哪家强,我选Smartbi!
只要对大数据BI行业有所了解的人群,想必这两个数据分析工具Tableau和
PowerBI
都已经耳熟能详了吧。
数据小达人
·
2024-02-03 02:54
如何通过ETL实现快速同步美团订单信息
比如,不同渠道的数据格式不一致,需要进行
数据清洗
和格式转换;数据量大,需要高效的处理方式来保证实时性;同时,数据的准确性和可靠性对业务运营至关重要。这就需要使用优秀的ETL工具来实现这些需求。二、
RestCloud
·
2024-02-02 12:50
etl
数据仓库
数据集成
美团
新书速览|Python数据科学应用从入门到精通
数据清洗
、特征工程、数据可视化、数据挖掘与建模等已成为高校师生和职场人士迎接数字化浪潮、与时俱进提升专业技能的必修课程。
全栈开发圈
·
2024-02-02 12:47
python
算法
《Pandas 简易速速上手小册》第3章:Pandas
数据清洗
基础(2024 最新版)
3.2.1基础知识3.2.2重点案例:商品销售数据分析3.2.3拓展案例一:员工信息处理3.2.4拓展案例二:天气数据格式调整3.3清理重复和异常数据3.3.1基础知识3.3.2重点案例:在线零售订单
数据清洗
江帅帅
·
2024-02-01 19:50
《Pandas
简易速速上手小册》
pandas
python
django
人工智能
数据挖掘
json
database
Power BI 用Direct Query显示无法加载模型,用导入就没问题就是怎么回事
PowerBI
中的DirectQuery模式和导入模式在处理数据和数据加载方面存在一些差异。
独木人生
·
2024-02-01 10:51
PowerBi
powerbi
Power BI无法加载模型无法加载与此报表关联的模型架构。请确保已连接服务器,然后重试。这是可能遇到什么问题了
在
PowerBI
中遇到“无法加载与此报表关联的模型架构。请确保已连接服务器,然后重试。”这样的错误信息,通常意味着模型的数据源有问题,或者模型与报表之间的连接存在问题。
独木人生
·
2024-02-01 10:14
PowerBi
powerbi
服务器
运维
《Pandas 简易速速上手小册》第2章:Pandas 数据导入与导出(2024 最新版)
数据准备步骤2:数据导入步骤3:销量分析2.1.3拓展案例一:金融市场数据分析步骤1:数据准备步骤2:数据导入步骤3:趋势分析2.1.4拓展案例二:医疗健康数据处理步骤1:数据准备步骤2:数据导入步骤2:
数据清洗
江帅帅
·
2024-02-01 02:23
《Pandas
简易速速上手小册》
pandas
python
numpy
人工智能
机器学习
数据挖掘
数据分析
五星:必须推荐的一个连接data.table 与 dplyr的
数据清洗
小操作
链接至上:https://atrebas.github.io/post/2019-03-03-datatable-dplyr/看到一份特别精彩的关于对data.table和dplyr对我们平时常用的
数据清洗
的命令的总结
热衷组培的二货潜
·
2024-02-01 00:23
数据可视化工具选择指南:六款主流工具的综合评测
本文将为您介绍市面上六款主流数据可视化工具,包括山海鲸可视化、Echarts、D3.js、Tableau、
PowerBI
和Funnel.io,帮助您更好地了解并选择适合您的工具。
枝上棉蛮
·
2024-01-31 21:46
数字孪生
数据可视化
信息可视化
数据分析
数据挖掘
大数据
3d
数据可视化市场概览:五款主流工具的优缺点解析
本文将为您介绍五款主流数据可视化工具,包括山海鲸可视化、Echarts、D3.js、Tableau和
PowerBI
,并进行详细比较,帮助您做出明智的选择。
枝上棉蛮
·
2024-01-31 21:15
数据可视化
数字孪生
信息可视化
数据分析
数据挖掘
大数据
科技
flashtext,一个超酷的 Python 库!
Github地址:https://github.com/vi3k6i5/flashtext文本搜索和替换是文本处理中常见的任务,无论是在文本分析、
数据清洗
还是信息提取方面,都需要有效的工具来处理文本数据
程序媛了了
·
2024-01-31 15:05
python
爬虫
开发语言
Python
数据清洗
-——(1)选择子集,列名重命名;(2)缺失值处理;(3)数据转换(重复值等);(4)异常值的处理
注:我在这里用的工具是jupyternotebook,代码里面的注释有些挺重要的,大家要仔细看1、选择子集,列名重命名在数据分析的过程中,有可能数据量会非常大,但并不是每一列都有分析的价值,这时候就要从这些数据中选择有用的子集进行分析,或重命名列,这样才能提高分析的价值和效率。此时,我们应该用到列索引In[1]:importnumpyasnpIn[2]:importpandasaspdIn[3]:
林丑丑@
·
2024-01-31 14:45
python
pandas
numpy
数据分析入门指南:用 Python 开启数据之旅
准备工作数据分析基础1.数据加载2.数据探索3.
数据清洗
4.数据可视化探索更多可能性好书推荐总结前言为了巩固所学的知识,作者尝试着开始发布一些学习笔记类的博客,方便日后回顾。
东离与糖宝
·
2024-01-31 14:42
合作推广
数据分析
python
数据挖掘
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他