数据清洗

学习小组Day6 学习R包--yu

fwx=1dplyr五个基础函数基础函数dplyr实用技能dplyr包主要用于数据清洗和整理https://blog.csdn.net/weixin_43213884/article/details/109480998
Iris09·2024-01-02 01:07

ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
Mr.靳靳477302280·2024-01-02 00:03

机器学习前的数据清洗（异常值检验，标准化处理，哑变量处理）

机器学习简介机器学习模型训练前，需要把原始数据进行预处理，并建立合适的特征工程。机器学习工作流程一般使用pandas库进行数据的清洗表堆叠importpandasaspdimportnumpyasnpdict1={'ID':[1,2,3,4,5,6,7,8,9],'System':['win10','win10',np.nan,'win10',np.nan,np.nan,'win7','win7'
开始King·2024-01-01 23:37

Python | 机器学习之数据清洗

机器学习前的数据清洗（异常值检验，标准化处理，哑变量处理）Python|机器学习之数据清洗机器学习-基础概念-scikit-learn-数据预处理数据的标准化（离差标准化、log函数转换、atan函数转换
kongfanyu·2024-01-01 23:05

Python 成都二手房价数据分析 报告

经过数据清洗，使用随机森林、决策树、K-Means算法,对所获取的2万余条数据(链家网成都各区前10
小夕Coding·2024-01-01 13:25

MDM主数据平台如何管理参考数据

MDM基础数据管理平台是进行清洗和治理企业的主数据，使企业的主数据具有唯一性、准确性、一致性、及时性，通过主数据数据清洗功能将错误数据和重复数据进行清洗，从而保证企业数据能够做到以上那几点，然后再分发至下游系统
数通畅联·2024-01-01 11:30

MDM如何配置数据审批功能

MDM基础数据平台是进行清洗和治理企业的主数据，使企业的主数据具有唯一性、准确性、一致性、及时性，通过主数据数据清洗功能将错误数据和重复数据进行清洗，从而保证企业数据能够做到以上那几点，然后再分发至下游系统
数通畅联·2024-01-01 11:28

详解python匹配问题

脏数据匹配一般数据建模步骤中，数据清洗耗时占比80%以上，因为现实中接触到的数据相当脏，无法直接简单的用pandas的merge函数解决。
Python_P叔·2024-01-01 11:30

（毕设1）爬虫+mysql+flask+echarts实现网站数据可视化(附源码)

2.数据爬取2.1分析url，网页源码2.2编写代码2.3数据清洗3.数据存储3.1?
m0_66557301·2024-01-01 09:47

智慧园区物联综合管理平台之感知数据管理能力简述

物联管理平台感知数据管理主要包含对物联设备运行所产生实时资源数据的数据清洗、实时存储、归档计算、解析分析等功能。
shawn_song1212·2024-01-01 08:04

计算机毕业设计hadoop+spark+hive知识图谱酒店推荐系统 酒店数据分析可视化大屏 酒店爬虫 高德地图API 酒店预测系统 大数据毕业设计

流程：1.Python爬取去哪儿网全站旅游数据约10万+，存入mysql;2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗，使用高德API计算地理信息
计算机毕业设计大神·2024-01-01 06:52

【机器学习】快速入门！关于 Pandas 库的简介和常用方法整理

PandasPandas简介1.数据加载和存储加载数据：存储数据：2.数据清洗3.数据统计和汇总4.数据选择和过滤5.数据合并和连接6.时间序列处理创建时间序列数据：索引和选择：时间序列分析：时间序列可视化
SuasyYi·2024-01-01 06:58

电商大数据商品采集:阿里巴巴1688电商网站货源产品信息采集

风险预测：高效信息采集和数据清洗，及时应对系统风险。助您
大数据girl·2023-12-31 11:48

ETL数据清洗

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。WebL
栈溢出了·2023-12-31 09:26

机器学习（二） -- 数据预处理（2）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）未完待续……目录系列文章目录前言三、【数据清洗】1、缺失数据的检测与处理1.1、检测与统计1.2、处理1.1.1、删除缺失值（慎用
₫从心·2023-12-31 06:18

k8s学习 — （运维）第十一章 ELK 日志管理

k8s学习—（运维）第十一章ELK日志管理※各章节重要知识点1ELK组成2集成ELK2.1部署es搜索服务2.2部署logstash数据清洗2.3部署filebeat数据采集2.4部署kibana可视化界面
西木Qi·2023-12-31 05:10

对采集到的温湿度数据，使用python进行数据清洗，并使用预测模型进行预测未来一段时间的温湿度数据。

使用Python对传感器采集到的数据进行数据清洗和预测未来一段时间的温湿度数据，您可以按照以下步骤进行操作：导入必要的库importpandasaspdimportnumpyasnpfromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLinearRegression
澂玙·2023-12-30 23:22

ChatGPT绘制全球植被类型分布图、生物量图、土壤概念图、处理遥感数据并绘图、病毒、植物、动物细胞结构图

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
思考的小猴子·2023-12-30 19:04

Python数据挖掘与机器学习实践技术应用

掌握Python编程的基础知识与技巧、特征工程（数据清洗、变量降维、特征选择、群优化算法
思考的小猴子·2023-12-30 19:34

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
思考的小猴子·2023-12-30 19:02

ChatGPT如何应用到地学、GIS、气象、农业、生态、环境等领域中

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
AIzmjl·2023-12-30 19:31

ChatGPT绘制全球植被类型分布图、生物量图、土壤概念图、处理遥感数据并绘图、病毒、植物、动物细胞结构图

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
梦想的初衷~·2023-12-30 16:31

1.2 金融数据处理

numpy  1.1.2投资-编程基础-pandas1.2金融数据处理文章目录1.股市数据获取1.1.使用qstock获取股票数据1.2.tushare1.3.python爬虫1.4.akshare2.数据清洗
Kelvin写代码·2023-12-30 10:49

驶入未来：网约车运营数据揭秘与可视化大屏展示

驶入未来：网约车运营数据揭秘与可视化大屏展示引言1.数据获取与准备1.1数据来源1.2数据结构2.数据处理模块2.1数据清洗2.2数据转换2.3数据整合3.数据可视化大屏4.创新性可视化展示5.应用与决策支持结语引言数字化时代下
爱欲无极·2023-12-30 09:05

大数据背后的绿色收割：基于Hadoop的农产品价格信息智能分析

大数据背后的绿色收割：基于Hadoop的农产品价格信息智能分析引言正文1.数据获取与准备2.数据清洗与处理3.Hadoop数据分析引擎的运用4.MySQL数据库的集成5.创新性的可视化6.结论与展望结语引言随着信息技术的不断发展
爱欲无极·2023-12-30 09:01

python测试工具: 实现数据源自动核对

测试业务需要：现有A系统作为下游数据系统，上游系统有A1,A2,A3...需要将A1,A2,A3...的数据达到某条件后（比如：A1系统销售单提交出库成功）自动触发MQ然后再经过数据清洗落到A系统，并将清洗后数据通过特定规则汇总在
海是倒过来的天~·2023-12-30 08:44

机器学习的一般步骤

对数据进行预处理，包括数据清洗、缺失值处理、特征选择、特征转换等。数据划分：将数据集划分为训练集、验证集和测试集。训练集用于模型的训练
北辰Charih·2023-12-30 07:04

【AI大语言模型】ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
PhyliciaFelicia·2023-12-30 06:58

头歌：电商精准营销—数据预处理概述

第1关数据预处理-数据清洗#coding:utf8importpandasaspd#导入pandas库importnumpyasnp#导入numpy库defchoose_data(data):#选择变量
爱吃肉的白熊·2023-12-29 22:06

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
梦想的初衷~·2023-12-29 10:42

ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
Teacher.chenchong·2023-12-29 08:52

AI大模型引领未来智慧科研暨丨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
asyxchenchong888·2023-12-29 08:43

机器学习 -- 数据预处理

数据清洗：有无缺失值，有无异常数据等。数据拆分：机器学习的数据集划分一般
₫从心·2023-12-29 08:42

数据清洗与融合期末考试(常见理论题)

题库来源未知，大家有的话，也可以发给我，继续补充，答案不一定全部得分，但有借鉴价值题库会不断扩充，答案会不断完善。近几年的新冠疫情中，大数据发挥了重要的作用，通过大数据进行数据分析后，采取相应措施精准控制疫情传播。请根据自己的理解论述大数据、数据分析和数据挖掘之间的联系。注意答，大数据，数据分析，数据挖掘的概念大数据是数据挖掘和数据分析的基础，数据分析和数据挖掘的区别和联系除Python外，你所知
@Yauo·2023-12-29 07:59

Python中Pandas详解之文件操作

读取文件DataFrame的常用属性DataFrame的常用方法DataFrame的条件过滤DataFrame的切片操作DataFrame的排序操作Pandas的聚合与分组运算聚合分组DataFrame中数据清洗方法
一只小松许️·2023-12-28 21:16

Pandas教程（三）—— 数据清洗与准备

1.处理缺失值1.1数据删除函数作用：删除Dataframe某行或某列的数据语法：df.drop（labels=[]）drop函数的几个参数：labels=：接收一个列表，内含删除行/列的索引编号或索引名axis=：删除的轴向0代表删除行；1代表删除列inplace=：是否改变原数组默认False即生成一个新数组1.2缺失值的查看方法描述df.isnull（）返回一个布尔数组，是缺失值就显示Tru
m0_61766362·2023-12-28 18:16

常用的数据清洗方法

一、数据常见的问题包括但不限于：数据的完整性----例如人的属性中缺少性别、籍贯、年龄等数据的唯一性----例如不同来源的数据出现重复的情况数据的权威性----例如同一个指标出现多个来源的数据，且数值不一样数据的合法性----例如获取的数据与常识不符，年龄大于150岁数据的一致性----例如不同来源的不同指标，实际内涵是一样的，或是同一指标内涵不一致二、缺失值处理判断方法：df.isnull()通
风一样的我1·2023-12-28 18:13

用 DolphinDB summary 函数优化你的数据清洗策略

通过观察统计信息，可以进一步决定数据清洗和数据转换的策略。例如，如果某个数值型列的最大值或最小值远离其平均值，则可能存在异常值或离群值
DolphinDB智臾科技·2023-12-28 15:09

ChatGPT如何在地学、GIS、气象、农业、生态、环境等领域中完美应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
zmjia111·2023-12-28 13:55

ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

目录专题一开启大模型专题二基于ChatGPT大模型提问框架专题三基于ChatGPT大模型的数据清洗专题四基于ChatGPT大模型的统计分析专题五基于ChatGPT大模型的机器学习专题六基于ChatGPT
WangYan2022·2023-12-28 13:51

SQL delete不走索引

由于业务变迁，合规要求，我们需要删除大量非本公司的数据，涉及到上百张表，几个T的数据清洗。我们的做法是先从基础数据出发，将要删除的数据id收集到一张表，然后再由上往下删除子表，多线程并发处理。
softshow1026·2023-12-28 11:25

数据仓库与数据集成架构：数据仓库与数据仓库规范与标准的制定与应用

数据集成架构包括数据清洗、数据转换、数据加载和数据质量检查等步骤。
一枚可爱的程序女孩·2023-12-28 05:45

数据中台架构原理与开发实战：从数据采集到数据清洗

1.背景介绍数据中台是一种架构模式，主要用于解决企业内部数据的采集、存储、清洗、分析和应用等问题。数据中台的核心是将数据源、数据处理、数据存储、数据分析和数据应用等各个环节进行集成和统一管理，以提高数据的可用性和质量。数据中台的发展背景主要有以下几点：数据化经济时代：随着数据的产生和收集量不断增加，企业需要更加高效地利用数据资源，提高数据的可用性和质量。数据分析和应用的复杂性：随着数据的规模和复杂
一枚可爱的程序女孩·2023-12-28 05:13

Pandas_Study02

pandas数据清洗1.去除NaN值在Pandas的各类数据Series和DataFrame里字段值为NaN的为缺失数据，不代表0而是说没有赋值数据，类似于python中的None值。
Echo_Wish·2023-12-27 15:29

ArcGIS高程点生成等高线

基本步骤：数据清洗→创建TIN→TIN转栅格→等值线→平滑线。1.（重要）数据清理：删除高程点中的高程异常值数据。
改不了昵称呀·2023-12-27 13:46

基于大数据技术的智慧城市交通流量预测与优化

相关技术介绍...52.1大数据技术和应用领域...52.2机器学习算法及其在城市交通中的应用...62.3智慧城市交通系统及其构成要素...63数据来源和处理...73.1数据来源和获取方式...73.2数据清洗和预处理
超级大钩子·2023-12-27 12:44

百度旋转验证码识别（最新）

2.2图像矫正接下来对采集的数据进行人工校正2.3数据清洗（1）对数据进行进行旋转，达到增加数据量的目的。（2）对数据进行灰度化处理，将三维图片降为二维。（
Dxy1239310216·2023-12-27 06:23

数据分析库pandas入门 5——数据清洗（删除数据、数据去重、缺失值处理）

Pandas库使用入门5——数据清洗删除数据数据去重缺失值处理在前几篇关于pandas的文章中，笔者分别介绍了：pandas的基本数据结构、数据对象的创建和查看pandas数据的数值运算、统计和排序对DataFrame
1379号程序员·2023-12-27 05:52

【pandas】模块——DataFrame数据处理（一）

DataFrame的两种方式1.3.导出csv文件二、数据检查2.1查考表头和表尾2.2查看列名2.3查看索引2.4查看行列数2.5查看数据类型2.6查看空值2.7查看数据表的信息2.8查看唯一值三、数据清洗
panbaoran913·2023-12-27 05:21

Power Query是啥

PowerQuery可以帮助用户从各种数据源中获取数据，并进行数据清洗、转换和整理，以便进一步分析和可视化。
chunmiao3032·2023-12-26 17:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他