pythonexcel数据清洗

数据分析 -- Pandas③

目录表格合并纵向合并横向合并数据清洗删除缺失数据行数据填充统一数据格式去除重复数据pandas中很实用的方法——apply()方法附：匿名函数表格合并纵向合并在日常工作中，表格合并是个较为常见的需求。
十八岁讨厌编程·2022-05-08 07:42

机器学习之特征工程（数据清洗）

为数据挖掘与机器学习过程中提供干净、准确、简洁的数据，提高数据挖掘的准确性和效率，数据预处理是特别重要的一部分，它在数据挖掘整个流程中可以占到70%的处理时间。文章目录1、缺失值的处理2、重复值的处理3、异常值的处理4、噪声的处理5、标准化6、离散化与二值化7、python实战1、缺失值的处理直接删除若某特征存在缺失值，且在数据挖掘过程中用不上它的话，可以直接删除该特征。如果缺失的数据条数较少，不
小磊要努力哟·2022-05-07 07:17

【Python】安利一个超好用的Pandas数据挖掘分析神器

大家可以将其理解为是Pandas的GUI扩展工具，所具备的功能有查看DataFrame数据集与Series数据集过滤数据数据的统计分析绘制交互式图表文本数据的操作数据清洗与类型转换合并数据集安装模块在使用之前
风度78·2022-05-07 07:40

安利一个超好用的 Pandas 数据挖掘分析神器

大家可以将其理解为是Pandas的GUI扩展工具，所具备的功能有查看DataFrame数据集与Series数据集过滤数据数据的统计分析绘制交互式图表文本数据的操作数据清洗与类型转换合并数据集安装模块在使
AI科技大本营·2022-05-07 07:38

web安全问题：SQL注入 、XSS 、CSRF

注入攻击目标：数据库发生前提：如果你的程序中出现了动态拼接sql语句进行数据操作，（但是可能觉得es6的模板字符串是真的好用，但问题也很多）如果对于用户手动输入的内容你只是单纯获取然后拿到后端请求数据（数据清洗问题
愤怒的小火柴人·2022-05-05 11:46

利用python分析微信聊天记录

文章目录前言一、任务分析二、工具三、步骤1.数据获取获取DB计算密码导出数据库2.数据清洗（具体方法以后补充）3.数据分析前言昨天跟女朋友讨论谁给对方发的消息比较多，两人各执一词，事实证明是我输了^一、
Kevinxgl·2022-05-05 10:51

机器学习(一)——基于决策树算法建立用户流失预测模型

目录一、项目背景1.1流失用户定义1.2探究用户流失目的1.3项目描述1.3.1项目简介1.3.2分析工具二、数据预处理2.1数据采集与预览2.2数据清洗2.2.1数据类型转换2.2.2缺失值处理2.2.3
Nick-洪仔·2022-05-05 07:32

Python机器学习入门到高级：数据清洗（含详细代码）

个人主页：JoJo的数据分析历险记个人介绍：小编大四统计在读，目前保研到统计学top3高校继续攻读统计研究生如果文章对你有帮助，欢迎关注、点赞、收藏、订阅专栏文章目录1.总览数据2.筛选数据3.替换数据4.更改列名5.查找唯一值6.查找缺失值7.删除列或行8.groupby分组9.按照时间段来进行分组10.遍历一个列的数据11.对一列的所有元素应用某个函数12.pandas高级函数13.连接多个D
JoJo的数据分析历险记·2022-05-05 07:30

python机器学习——决策树（分类）及“泰坦尼克号沉船事故”数据集案例操作

及具体案例操作一、决策树（分类）算法（1）算法原理（类似于“分段函数”）（2）决策树的变量类型（3）量化纯度（4）基本步骤（5）决策树的优缺点二、决策树（分类）具体案例操作（1）导入数据（2）特征选择（3）数据清洗
曹文杰1519030112·2022-05-05 07:44

spark(61) -- SparkMllib -- 基于SparkMllib的数据清洗项目实践

1.获取数据 MoviesLens100K数据集包含了10万条评级数据，也包含了电影元数据用户属性信息。项目实战以该公开数据集处理方式来讲解。URL：movielens/ml-100k下载后解压数据：创建文件夹后，查看各数据的基本情况：文件u.item文件则包含电影id、title、版本以及若干与IMDB-link电影分类有关数据。
erainm·2022-05-05 07:37

Python机器学习从入门到高级：带你玩转特征转换（含详细代码）

高校继续攻读统计研究生如果文章对你有帮助，欢迎关注、点赞、收藏、订阅专栏文章目录1.min-max缩放2.标准化缩放3.归一化4.生成多项式和交互特征5.使用函数进行特征转换6.处理异常值☘️7.将特征离散化上一章我们介绍了如何进行基本的数据清洗工作
JoJo的数据分析历险记·2022-05-03 07:46

AWK基础教程

首先是数据清洗和统计了，这块我并没有用诸如Python之类的脚本语言，虽然Python提供了很多强大的数据分析库如Pandas、Numpy等，但是毕竟要麻烦一些，还要写个脚本，装一堆库(PS：其实就是懒
·2022-04-28 10:16

用AkShare库获取A股股票数据—获取实时A股数据

AKShare是基于Python的财经数据接口库,目的是实现对股票、期货、期权、基金、外汇、债券、指数、加密货币等金融产品的基本面数据、实时和历史行情数据、衍生数据从数据采集、数据清洗到数据落地的一套工具
码力十足学量化·2022-04-28 07:49

Python计算生态概览---Python语言程序设计笔记9（北理工mooc）

Numpy、Pandas、SciPy数据清洗：数据归一化、数据转换、异常值处理。数据统计：数据的概要理解，数量、分布、中位数等。数据可视化：直观展示数据内涵的方式。
白金燐燐·2022-04-28 07:45

AWK基础教程

首先是数据清洗和统计了，这块我并没有用诸如Python之类的脚本语言，虽然Python提供了很多强大的数据分析库如Pandas、Numpy等，但是毕竟要麻烦一些，还要写个脚本，装一堆库(PS：其实就是懒
奇迹狗狗·2022-04-27 23:49

日志服务之数据清洗与入湖

简介本场景将提供日志服务SLSProject和对象存储OSS。通过本教程的操作，您可以使用日志服务接入NGINX模拟数据，通过数据加工对数据进行清洗并归档至OSS中进行存储。云起实验室日志服务体验（活动期完成有机会参与100%中奖）：https://developer.aliyun.com/...背景知识本场景主要涉及以下云产品和服务：●日志服务（SLS）日志服务SLS是云原生观测与分析平台，为L
·2022-04-27 11:42

python数据分析项目--飞猪出行用户行为分析

python数据分析项目--飞猪出行用户行为分析1.项目背景2.分析思路2.1分析流程2.2分析指标3.数据分析3.1查看数据3.2数据清洗3.3用户维度3.3.1统计用户数，行为总数，人均行为数3.3.2
ZhX_DA·2022-04-27 07:29

飞猪平台用户行为分析—python

文章目录一、项目背景1.1数据来源1.2数据介绍二、分析目的三、分析思路四、数据分析3.1数据清洗3.2用户分析3.2.1用户维度3.2.1.1浏览量pv、访客量uv、成交量分析3.2.1.2留存分析3.2.1.3
rubyw·2022-04-27 07:42

CNN-LSTM预测北京雾霾浓度完整代码

包括最高温度、最低温度、风速、风向、天气）等数据数据的获取参见请跳转（1）污染物浓度相关数据获取（2）部分气象要素相关数据获取将获取的数据整合到自己的电脑中，由于数据量不是很大，可以直接存放到Excel中2、数据清洗由于数据中存在中文字符
Jancy、·2022-04-26 14:24

dataframe两个表合并_Pandas常用数据结构DataFrame详细教程

pandas是python的数据分析库，提供快速、灵活和富有表现力的数据结构，用于数据挖掘和数据分析，同时也提供数据清洗功能，与numpy、matplotlib并称，成为数据分析必学的三个库。
weixin_39633171·2022-04-26 07:48

电子产品销售数据分析及RFM用户价值分析

目录项目背景实战案例1读取数据1.1字段解析1.2数据基础信息查看1.3数据存储最小格式2数据清洗2.1查看缺失值比例2.2查看重复值比例合成新列：buy_count合成新列：购买总金额（GMV）2.3
miracle2me·2022-04-26 07:08

机器学习从入门到出家

年入坑的后台如何转向做算法和机器学习的历程和感悟，附录一个书单写在前面：本文主要介绍的是自己的一些经历，以及读过的一些书，实际应用的经验并没有介绍，包括现在很多机器学习的书一般也是侧重于理论，结合实践的时候会发现和模型比起来，数据清洗
Qcloud_KID·2022-04-26 07:29

R语言数据分析从入门到高级：（十）数据清洗之日期型数据处理

R语言数据分析个人主页：JoJo的数据分析历险记个人介绍：小编大四统计在读，目前保研到统计学top3高校继续攻读统计研究生如果文章对你有帮助，欢迎关注、点赞、收藏、订阅专栏本系列主要介绍R语言在数据分析领域的应用包括：R语言编程基础、R语言可视化、R语言进行数据操作、R语言建模、R语言机器学习算法实现、R语言统计理论方法实现。本系列会完成下去，请大家多多关注点赞支持，一起学习~参考资料:DataA
JoJo的数据分析历险记·2022-04-25 07:16

melt reshape decast 长数据短数据 长短转化 数据清洗 行列转化

meltreshapedecast长数据短数据长短转化数据清洗行列转化#examplesfrom'tidyr'packagelibrary(tidyr)library(reshape2)stocks=data.frame
qq_52813185·2022-04-25 07:32

MySQL spark离线计算_Spark SQL实现日志离线批处理

一、基本的离线数据处理架构：数据采集Flume：Web日志写入到HDFS数据清洗脏数据Spark、Hive、MR等计算框架来完成。清洗完之后再放回HDFS数据处理按照需要，进行业务的统计和分析。
weixin_39804059·2022-04-24 15:44

Spark SQL实现日志离线批处理

一、基本的离线数据处理架构：数据采集Flume：Web日志写入到HDFS数据清洗脏数据Spark、Hive、MR等计算框架来完成。清洗完之后再放回HDFS数据处理按照需要，进行业务的统计和分析。
weixin_30778805·2022-04-24 15:42

大数据-离线数据处理

文章目录Hive离线分析回顾业务流程准备搭建环境1.启动Hadoop2.修改flume配置文件3.启动flume4.启动jt-logserver5.测试准备数据离线数据处理Hive管理数据数据清洗数据处理
DayDayUp-Panda·2022-04-24 14:33

阿里云日志服务sls的典型应用场景

日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/StreamProcessing）、数据仓库对接（DataWarehouse）、日志实时查询与分析。
·2022-04-22 17:30

r语言中mpg数据_零基础生信入门第一课——R语言数据清洗，超详细讲解，建议收藏！...

今天我要用一篇推文精要概括数据清洗中的最基本最关键的步骤，对于零基础的学员一定会有很大收获！
weixin_39680609·2022-04-22 07:23

数据分析入门系列教程-数据清洗

首先先来进行一个数据清洗的实战，使用比较经典的数据集，泰坦尼克号生存预测数据。
IT农民工1·2022-04-22 07:52

python数据分析05--pandas数据清洗、DataFrame级联及合并操作、pandas高级操作

1Pandas数据清洗importnumpyasnpimportpandasaspdfrompandasimportDataFrame,Series1.1处理丢失数据#2个丢失数据的种类：None、np.nan
干就真完了·2022-04-22 07:14

机器学习实战(入门级) ------ Kaggle 泰坦尼克号幸存者预测 (随机森林，KNN，SVM)

文章目录前言数据集介绍gender_submision.csv:train.csv：test.csv数据清洗数据预处理缺失值填充数据优化训练过程SVM完整代码KNNK-MeansRF特征工程小总结学习参考前言本篇将注重于机器学习预测模型的过程
qq_932016561·2022-04-22 07:43

python数据清洗入门教程（完整版）

数据清洗是整个数据分析过程的第一步，也是整个数据分析项目中最耗费时间的一步。数据清洗的过程决定了数据分析的准确性。
幸福的小猴子qiqi·2022-04-22 07:06

数据分析小课-python数据清洗实战入门-第五章-数据清洗之数据转换-日期格式数据处理-字符串数据处理-高阶函数数据处理

日期格式数据处理•Pandas中使用to_datetime()方法将文本格式转换为日期格式•dataframe数据类型如果为datetime64,可以使用dt方法取出年月日等•对于时间差数据,可以使用timedelta函数将其转换为指定时间单位的数值•时间差数据,可以使用dt方法访问其常用属性示例importnumpyasnpimportpandasaspdimportosos.chdir(r'C
妮酱也爱敲代码·2022-04-22 07:05

一文看懂数据清洗：缺失值、异常值和重复值的处理

导读：在数据清洗过程中，主要处理的是缺失值、异常值和重复值。所谓清洗，是对数据集通过丢弃、填充、替换、去重等操作，达到去除异常、纠正错误、补足缺失的目的。
hzbooks·2022-04-22 07:03

图解数据分析 | 数据清洗与预处理

作者：韩信子@ShowMeAI教程地址：http://www.showmeai.tech/tutorials/33本文地址：http://www.showmeai.tech/article-detail/138声明：版权所有，转载请联系平台与作者并注明出处数据分析分核心步骤分为：业务认知与数据探索、数据预处理、业务认知与数据探索等三个核心步骤。本文介绍第二个步骤——数据预处理。不能想当然地认为数据
ShowMeAI·2022-04-22 07:58

R语言数据分析从入门到高级：（八）数据清洗技巧之数据格式转换（包含宽数据与长数据之间的转换）

R语言数据分析从入门到高级个人主页：JoJo的数据分析历险记个人介绍：小编大四统计在读，目前保研到统计学top3高校继续攻读统计研究生如果文章对你有帮助，欢迎关注、点赞、收藏、订阅专栏本系列主要介绍R语言在数据分析领域的应用包括：R语言编程基础、R语言可视化、R语言进行数据操作、R语言建模、R语言机器学习算法实现、R语言统计理论方法实现。本系列会完成下去，请大家多多关注点赞支持，一起学习~参考资料
JoJo的数据分析历险记·2022-04-22 07:51

干货，值得收藏！Python 操作 Excel 报表自动化指南！

今天给大家分享一篇Python自动化办公干货，内容很干，可以码住细细品味0.PythonExcel库对比我们先来看一下python中能操作Excel的库对比（一共九个库）：1.Pythonxlrd读取操作
菜鸟学Python·2022-04-20 07:58

Python常用的数据清洗方法

Python常用的数据清洗方法在数据处理的过程中，一般都需要进行数据的清洗工作，如数据集是否存在重复、是否存在缺失、数据是否具有完整性和一致性、数据中是否存在异常值等。
CooL截击·2022-04-18 07:42

2020年数学建模国赛C题思路及代码

问题一二的重点在于是否贷款贷多少款数据清洗我的思路主要是使用随机森林进行违约概率的预测，第一步就是需要将原始数据清洗处理，提取所需的特征。
Veilhry·2022-04-18 07:12

2020年研究生数学建模竞赛总结复盘

文章目录一、前言二、赛题选择三、做题思路问题一、数据清洗问题二、数据降维问题三、建模预测问题四、分析模型预测结果与实际值问题五、可视化四、总结五、结果（三等奖）一、前言今天是2020年研究生数学建模竞赛的最后一天
长安过客君·2022-04-18 07:39

机器学习入门（开发环境搭建）

Pandas：是⼀个强⼤的基于NumPy的分析结构化数据的⼯具集，是为了解决数据分析任务而创建的，⽤于数据挖掘和数据分析，同时也提供数据清洗功能。Mat
lifeisaclimb·2022-04-18 07:17

Python数据清洗 | 常用的数据清洗方法

常用的数据清洗方法本文首发于微信公众号《Python希望社》，欢迎关注，完整详细的原文链接请点击这里在数据处理的过程中，一般都需要进行数据的清洗工作，如数据集是否存在重复、是否存在确实、数据是否具有完整性和一致性
春风惹人醉·2022-04-18 07:37

【数学建模】python建模专用数据清洗代码(本人实践)

刚入坑的小白可以看一下，大佬勿喷，我也是小白，白的不能再白的那种，所以吧，我把我入坑时候大量搜索的代码，没日没夜调试的代码，能用的以及自己写的代码，给各位汇总，会以每篇文章的形式进行更新，所以各位记得点赞，关注，收藏！(要不然就找不到我了！)问题一：什么是数据预处理？答：数据预处理就是将大量的数据进行整齐话，对数据进行清洗，把没用的，或者是异常的（就是坏的）剔除掉，剔除掉呢就是删掉他就行了，然后空
小白波612·2022-04-18 07:36

未穿戴安全帽反光衣的人脸识别

具体方法：用yolov5-6.0分别来训练出安全帽和反光衣的两个检测权重，然后通过模型融合的方法，将所需要的数据集当作检测的数据集，在检测时保存所检测图片的txt文件，最后进行人工数据清洗，
调参者·2022-04-14 07:16

详解Python如何利用Pandas与NumPy进行数据清洗

目录准备工作DataFrame列的删除DataFrame索引更改DataFrame数据字段整理str方法与NumPy结合清理列apply函数清理整个数据集DataFrame跳过行DataFrame重命名列许多数据科学家认为获取和清理数据的初始步骤占工作的80%，花费大量时间来清理数据集并将它们归结为可以使用的形式。因此如果你是刚刚踏入这个领域或计划踏入这个领域，重要的是能够处理杂乱的数据，无论数据
·2022-04-13 13:44

训练好的深度学习模型原来这样部署的！（干货满满，收藏慢慢看）

点击上方蓝字关注我们计算机视觉研究院专栏作者：Edison_G当我们辛苦收集数据、数据清洗、搭建环境、训练模型、模型评估测试后，终于可以应用到具体场景，但是，突然发现不知道怎么调用自己的模型，更不清楚怎么去部署模型
计算机视觉研究院·2022-04-11 07:06

【yolo5】目标检测数据集制作

2.1.2XML的操作2.1.3XML实例：country_data.xml2.2coco数据集形式及其数据结构JOSN特点2.2.1coco格式2.2.2json数据结构及操作3.针对目标检测yolo5的一份数据清洗过程
You_Lii·2022-04-10 08:21

自然语言处理之中文-jieba

正如在机器学习中，我们的基本功是数据预处理，数据清洗等工作一样，自然语言处理的基本功就是文本处理。
ddddb1993·2022-04-08 08:20

pandas打印某一列_Python数据分析：pandas玩转Excel （一）

Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。
weixin_39921504·2022-04-07 07:44
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他