数据清洗

几种Python 数据读写方式，面向Txt、csv文档及MongoDB、MySQL等数据库

Hello，大家好在日常与Python打交道过程中，不可避免会涉及到数据读写业务，例如做爬虫时，需要将爬取的数据首先存储到本地然后再做下一步处理；做数据可视化分析时，需要将数据从硬盘中读入内存上，再进行后续的数据清洗
滚滚_d10d·2024-01-15 13:07

基于机器学习的高考志愿高校及专业分析系统

通过精细的数据清洗过程，这些数据被存储于文件系统中，以便进行后续的分析和应用。本项目的主要目标是为高考生提供一个便捷的信息查询平台，帮助他们根据自己的高考分数选择最适合的高校和专业进行报考。
八块腹肌的小胖·2024-01-15 08:24

第7章 数据清洗和准备

7.1处理缺失数据pandas使用浮点值NaN（NotaNumber）表示缺失数据。我们称其为哨兵值，可以方便的检测出来：In[10]:string_data=pd.Series(['aardvark','artichoke',np.nan,'avocado'])In[11]:string_dataOut[11]:0aardvark1artichoke2NaN3avocadodtype:objec
ghostdogss·2024-01-15 00:53

面向工业的复合自动机器学习

这包括数据清洗、数据预处理、数据增强等一系列操作，以便为后续的特征工程和模型训练提供高质量的数据源。二、特征工程特征工程是机器学习中的关键环节，对于模型的性能具有决定性的影响。
道亦无名·2024-01-14 22:30

使用pandas按照商品和下单人统计下单数据

给到的表格数据如下：考虑用pandas实现，pandas提供了大量的数据处理函数，可以进行各种复杂的数据处理，包括数据清洗、数据转换、数据聚合等。
攻城狮的梦·2024-01-14 15:50

特征工程-特征清洗

数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性一.格式内容清洗原因数据通常由人工收集或用户填写而来，很有可能存在格式和内容上的一些问题。
alstonlou·2024-01-14 11:19

工业机器人学习规划

数据预处理：在进行学习之前，需要对收集到的数据进行预处理，包括数据清洗、特征提取、数据标准化等。这些预处
ISDF-工软未来·2024-01-14 07:51

Python有哪些经典的常用库？

这里将其总结如下，比如在数据清洗时使用到numpy和pandas包，数据可视化时使用matplotlib库，matplotlib库上手容易，更高级的学习seaborn库，seaborn库是改良matplotlib
大话数据分析·2024-01-13 21:24

Python综合数据分析_RFM用户分组模型

文章目录1.导入数据2.月度订单数据可视化3.数据清洗4.特征工程5.构建User用户表6.求R值7.求F值8.求M值9.显示R、F、M值的分布情况10.显示手肘图辅助确定K值11.创建和训练模型12.
you_are_my_sunshine*·2024-01-13 13:32

机器学习_实战框架

文章目录介绍机器学习的实战框架1.定义问题2.收集数据和预处理(1).收集数据(2).数据可视化(3).数据清洗(4).特征工程(5).构建特征集和标签集(6).拆分训练集、验证集和测试集。
you_are_my_sunshine*·2024-01-13 07:44

测开面经-1

3.项目中的数据清洗怎么清洗的？4.http请求有哪些？get和post分别是什么？谁更安全？5.http和https的区别，它俩的端口号分别是什么？6.ssl是什么？
哭泣的风·2024-01-13 03:36

python基础—正则表达式即re模块！

正则表达式（regularexpression），就是字符匹配模式，而这个匹配规则在我们写爬虫进行数据提取，或者进行数据可视化进行数据清洗时经常用到，多样化的匹配规则在复杂的字符的情况提取数据时助我们一臂之力
小张Python·2024-01-12 21:54

python数据分析0基础--学习掌握---附链接

数据分析通常包括数据清洗、数据整合、数据建模、数据可视化等步骤，旨在从大量数据中提取出可操作的信息，用于帮助企业或组织做出更明智的战略决策。数据分析在许多领域中
猿戴科·2024-01-12 09:47

【技术选型】Doris vs starRocks

目标诉求并发性不能太低——相比于clickhouse不到100的QPS支持大表关联——降低数据清洗的压力，因为oneId有可能实时变化集群化——需要有一定扩展能力，以针对不同量级客户可维护——C++底层代码背景说明
偏振万花筒·2024-01-12 08:41

通过大量生物、地球、农业、气象、生态、环境科学领域中案例，解锁大模型在科研、办公中的高级应用，可以一起探索如何优雅地使用大模型？

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
梦想的初衷~·2024-01-12 08:02

面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、论文检索、写作、翻译、润色、文献辅助阅读、文献信息提取、辅助论文审稿、新闻撰写、科技绘图、地学绘图（GIS地图绘制）

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
梦想的初衷~·2024-01-12 08:02

基于 Python 的数据分析与可视化

比如：可以使用Python读取Excel、CSV等格式的数据文件，进行数据清洗、转换、计算等操作，进行自动化数据处理。
百事没事阿·2024-01-12 06:06

Python数据分析入门到进阶：数据清洗（含详细代码）

在上一篇文章中，介绍了如何使用python导入数据，导入数据后的第二步往往就是数据清洗，下面我们来看看如何使用pandas进行数据清洗工作导入相关库importpandasaspddataframe=pd.read_csv
Python_魔力猿·2024-01-11 23:34

使用Python进行数据清洗，以及一些常见的数据清洗技巧和最佳实践

第一部分：数据清洗的重要性和基础知识为什么需要数据清洗？数据清洗是数据预处理的关键步骤之一。在进行数据分析、机器学习或其他数据驱动任务之前，必须确保数据是干净的。
m0_57781768·2024-01-11 23:31

【学习笔记】Python进行数据清洗

写在前面的话最近看了一个up主讲基本数据清洗操作，觉得非常好，链接如下：【Python数据清洗】用Python给数据洗澡澡~|数据分析|数据清洗|数据预处理|_哔哩哔哩_bilibili评论区也有原数据集和相关代码的链接
砂锅咸鱼·2024-01-11 23:00

数据分析框架：实现99%准确率

目录：一、引言：数据科学家如何打败赔率二、数据科学框架综述三、步骤1：明确问题、步骤2：准备数据四、步骤3：数据清洗五、数据清理的4C：纠正，完成，创建和转换六、步骤4：进行
weixin_30882895·2024-01-11 17:01

安卓简单的应用——天气预报

简单的事件逻辑：从网上拿去天气数据，展示然后做了一个数据清洗，然后还保存了一下最后的状态，以至于最后的时候可以打开所见即所得。至于背景啥的，拿到源码以后自己改。
忆林520·2024-01-11 11:10

数据挖掘实战1：泰坦尼克号数据

一、数据挖掘流程1.数据读取-读取数据-统计指标-数据规模2.数据探索（特征理解）-单特征的分析，诸个变量分析对结果y的影响（x,y的相关性）-多变量分析（x,y之间的相关性）-统计绘图3.数据清洗和预处理
bb8886·2024-01-11 09:43

Spark SQL基础

一.Pandas简介1、基本介绍Pandas是Python的一个第三方包，也是商业和工程领域最流行的结构化数据工具集，用于数据清洗、处理以及分析Pandas和SparkSQL中很多功能都类似，甚至使用方法都是相同的
MSJ3917·2024-01-11 07:29

Python金融风控模型案例实战大全

包括风控建模全流程知识介绍，信用评分卡，信用评分卡知识包含个人信用评分卡和企业信用评分卡知识；集成树算法xgboost，lightgbm，catboost，神经网络算法，多个异常值检测算法，多个变量筛选算法，数据清洗全流程等
python机器学习建模·2024-01-11 04:56

机器学习 -- 余弦相似度

（随便找的）：我的需求是拿到所有回答的链接，再或者我在找房子网上，爬到所有的房产信息，我们并不想做过多的处理，我只要告诉程序，请帮我爬一个类似xxx相似度为0.5的就可以了，然后我自会写一小段代码去给数据清洗
北堂飘霜·2024-01-10 20:19

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
思考的小猴子·2024-01-10 19:44

GPT大模型在生物、地球、农业、气象、生态、环境科学可以应用？

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
思考的小猴子·2024-01-10 19:12

Python数据分析：入门到实践

目录一、引言二、Python数据分析基础Python环境配置数据类型与处理数据导入与导出三、Python数据分析进阶数据清洗与预处理数据探索与可视化案例一：社交媒体用户行为分析案例二：电商销售数据分析案例三
Tech行者·2024-01-10 17:32

XGBoost建模调参-保险赔偿预测模型

基本建模流程：1）读取数据；2）特征理解；3）数据清洗、预处理；4）建立模型；5）模型评估。
Avasla·2024-01-10 10:53

2024 1.9 Spark_SQL , 数据清洗API , 写出操作

目录一.DataFrame详解1.数据清洗API1.去重:2.去除空:3.填充替换:2.SparkSQL的shuffle分区设置3.SparkSQL数据写出操作3.1写出到文件系统3.2写出到数据库一.
白白的wj·2024-01-10 08:53

2024.1.9 Spark SQL day06 homework

目录一.SparkSQL中数据清洗的API有哪些，各自作用是什么？二.设置SparkSQL的shuffle分区数的方式有哪几种三.数据写出到数据库需要注意什么?
白白的wj·2024-01-10 08:53

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
Mr.靳靳477302280·2024-01-10 08:04

AI大语言模型会带来了新一波人工智能浪潮？

ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗
梦想的初衷~·2024-01-10 08:31

Python数据类型转换

数据类型的不一致可能导致分析错误，因此在数据清洗中通常需要对数据类型进行转换。
你好，明天，，·2024-01-10 06:00

使用Pipeline和ColumnTransformer提升机器学习代码质量

机器学习项目中最冗长的步骤通常是数据清洗和预处理，Scikit-learn库中的Pipeline和andColumnTransformer通过一次封装替代逐步运行transformation步骤，从而减少冗余代码量
子诚之·2024-01-10 00:07

Python数据分析主要步骤及常用库介绍

实施过程数据分析遵循如下主要过程数据采集数据挖掘数据可视化1.数据采集数据采集可以基于公司积累的数据，也可以基于公开数据通常会采⽤两者结合⽅式，让数据类别更丰富见机器学习的之数据学习算法2.数据挖掘数据（业务逻辑）理解数据准备建⽴模型数据清洗数据存储模型评估见
carmen_山海·2024-01-09 21:41

百度旋转验证码识别研究

2.2图像矫正接下来对采集的数据进行人工校正2.3数据清洗（1）对数据进行进行旋转，达到增加数据量的目的。（2）对数据进行灰度化处理，将三维图片降为二维。（
Dxy1239310216·2024-01-09 19:54

python匹配问题

脏数据匹配一般数据建模步骤中，数据清洗耗时占比80%以上，因为现实中接触到的数据相当脏，无法直接简单的用pandas的merge函数解决。
会python的小孩·2024-01-09 18:37

【AI】AI和点云（2/2）

数据预处理包括数据清洗、坐标转换、数据分块等操作，目的是去除噪声、统一坐标系、减小
giszz·2024-01-09 17:49

工程监测中振弦采集仪的数据处理方法研究

以下是一种常见的数据处理方法：1.数据清洗:首先对采集到的原始数据进行清洗，包括去除噪声、异常值和无效数据，以提高数据质量。
河北稳控科技·2024-01-09 14:34

数据清洗 - 特殊符号

文章目录QQ起昵称专用特效字符箭头符号贴图字符大全图形符号本着洗文本的目的，去搜了几个想到的符号，搜到了所有的特殊符号，不得不说，这个家族很大。这里我选择了写我认为常见的，使用re将特殊符号替换为空，代码：defclear_special_char(sent):pat='[★☆◆◇▲△▼▽▶●○〇□■☉⊙◎︻︼︽︾〒↑↓¤▓◣◥◢◤↑↓→←↘↙⌒∮※ㄨ╬▂▃▄▅▆▇█]+'returnre.sub
小田_·2024-01-09 09:15

2024.1.8 Day04_SparkCore_homeWork

3.代码题浏览器Nginx案例先进行数据清洗,做后续需求用1、需求一：点击最多的前10个网站域名2、需求二：用户最喜欢点击的页面排序TOP103、需求三：统计每分钟用户搜索次数学生系统案例4.RDD依赖的分类
白白的wj·2024-01-09 07:37

excel数据清洗与身份证号码校验

老规矩，先说背景：收集上来的都是excel文件，包含了姓名、证件号码、金额、和日期，因为都是手工录入的，会出现千奇百怪的符号，可以用excel的替换、分列和函数来清洗与校验接下来介绍几个技巧，帮助快速清洗数据（均用wps表格来操作）1，替换功能去除文档内各种意外符号①把各列数据的格式先确定：根据内容来确定单元格格式，主要有三种：文本格式、数值格式、日期格式修改单元格格式后会发现并没有什么变化，做一
程政_2533·2024-01-09 07:13

用C语言采集游戏平台数据并做行业分析

目录一、数据采集方法日志采集API采集二、数据采集流程确定采集目标选择采集方法编写采集程序数据清洗和整理三、行业分析方法对比分析趋势分析分类分析四、案例分析：基于C语言的实时游戏平台数据采集与行业分析系统实现五
小小卡拉眯·2024-01-09 05:46

SQL必知必会(实战：数据清洗)

数据清洗的准则数据集或多或少地会存在数据质量问题。这里我们使用泰坦尼克号乘客生存预测数据集，你可以从GitHub上下载这个数据集。
羋学僧·2024-01-08 23:23

day5-机器翻译

内容包括：机器翻译难点数据预处理数据清洗3.encoder-decoder结构机器翻译难点：普通的rnn，输入n个x，那么输出n个y，但是机器翻译输入和输出长度往往并不相等数据预处理数据清洗将输入转换为
wamgz·2024-01-08 22:58

大数据毕设项目 基于大数据的抖音短视频数据分析与可视化 - python 大数据 可视化

文章目录0前言1课题背景2数据清洗3数据可视化地区-用户观看时间分界线每周观看观看路径发布地点视频时长整体点赞、完播4进阶分析相关性分析留存率5深度分析客户价值判断0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升
m0_76217654·2024-01-08 19:30

pandas应用和学习

开发快速的特点.尤其是Python的Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python的一个第三方包,也是商业和工程领域最流行的结构化数据工具集,用于数据清洗
MSJ3917·2024-01-08 16:33

落实这关键的四点，企业才能真正做到数据安全交换

增强数据质量：通过数据交换，企业可以确保数据的准确性和一致性，进行数据清洗和校验，去除重复、错误或不完整的数据，提高数据的质量。提升决策水平：获取到实时的、全面的业务数据，为决策提供有力支持。
Ftrans·2024-01-08 11:03
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他