数据清理

HDFS上磁盘数据清理

HDFS数据清理一些办法：datanode数据做reblance清理临时目录、日志目录文件全量分区表历史分区清理使用lzo，orc格式进行数据压缩清理或者归档历史冷数据增加datanode横向扩容附上自动清理目录下过期的文件
xubc·2020-08-01 01:51

关于Jupyter notebook的安装以及一些使用心得

用途包括:数据清理和转换，数值模拟，统计建模，机器学习等等。我们知道jupyternotebook对后期各种代码
凌川江雪·2020-07-31 20:17

数据清理，项目成功的秘诀所在

全文共2134字，预计学习时长6分钟图源：towardsdatascience数据清理占到数据科学家工作时间的很大一部分，原始数据必须经过处理才能使用，因而数据准备是数据科学中最重要也是首要的部分，它包括数据预处理和数据整理
读芯术·2020-07-31 17:49

APP数据模拟处理流程—[总结篇]

1.进行数据清理MapReduce#!
RobertDowneyLm·2020-07-31 14:33

Python连接mysql数据，一看就懂，一步步教你

自动化测试都有数据准备和数据清理的操作，如果因此用例产生了多余数据，就需要清理数据，可以用Pyhthon连接Mysql直接删除多余的数据就可以了。Python3如何连接Mysql呢？
骑着乌龟赶猪·2020-07-31 12:04

24个顶级Python库

文中提及了用于数据清理、数据操作、可视化、构建模型甚至模型部署(以及其他用途)的库。这是一个相当全面的列表，有助于你使用Pyth
Saropetry·2020-07-31 11:49

Python数据清理总结

一般来说，我们在拟合一个机器学习模型或是统计模型之前，总是要进行数据清理的工作。因为没有一个模型能用一些杂乱无章的数据来产生对项目有意义的结果。
飘若归客·2020-07-30 21:42

书仓介绍

2.DW层DWD层要做的就是将数据清理、整合、规范化、脏数据、垃圾数据、规范不一致的、状态定义不一致的、命名不规范的数据都会被处理。DWD层应该是覆盖所有系统的、完整的、干净的、具有一致性的数据层。
回忆美好·2020-07-30 20:24

Anaconda下的Jupyter NoteBook安装及使用

用途包括：数据清理和转换；数值模拟；数据可视化；统计建模；机器学习；......用户可以通过电子邮件，Dropbox，GitHub和JupyterNotebookViewer将JupyterNotebook
SanyiRouROU·2020-07-30 03:56

数据清理中，处理缺失值的方法是?

problem数据清理中，处理缺失值的方法是?A估算B整例删除C变量删除D成对删除答案为：ABCDanalysis由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理。
农民小飞侠·2020-07-30 02:10

房价租金预测竞赛总结2：数据清洗

在本篇博文就是基于上一篇的数据分析做数据清理工作。在一些场景中，数据分析和数据清洗合并起来会被称作EDA(ExploratoryDataAnalysis-探索性数据分析)。
右禺·2020-07-29 19:06

房价租金预测竞赛总结3：特征工程

在本篇博文就是基于上一篇数据清理工作基础上将对特征进行合并和选择。导入包和数据importwarningswa
右禺·2020-07-29 19:35

Jupyter Notebook安装和使用详情(你不懂我......)

用途包括：数据清理和转换，数值模拟，统计建模，数据可视化，机器学习等JupyterNotebook是一个交互式的笔记本，支持运行超过40种编程语言,JupyterNotebook可以通过网页的形式打
a9794666·2020-07-29 16:48

Jupiter notebook入门

用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等安装与运行1.使用Anaconda安装对于小白，强烈建议使用Anaconda发行
wendywang0620·2020-07-28 23:32

BAT机器学习特征工程工作经验总结(二)如何做数据清洗和预处理（附python代码）

这篇是展示平时工作中如何做数据清理和预处理。
weixin_bread2008·2020-07-28 21:25

ubantu18.04:jupyter 和 ipython有何区别

用途包括:数据清理和转换，数值模拟，统计建模，机器学习等等。注1：安装输入：sudoaptinstalljupyter注2：启
乐在其中2018·2020-07-28 21:20

python进行数据清理之pandas中的drop用法

从基本的数据清理学起吧讲一下drop函数的用法删除表中的某一行或者某一列更明智的方法是使用drop，它不改变原有的df中的数据，而是可选择性的返回另一个dataframe来存放删除后的数据。
weixin_34378045·2020-07-28 19:19

《深入理解Spark：核心思想与源码分析》——SparkContext的初始化（伯篇）——执行环境与元数据清理器...

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。本文展现第3章第一部分的内容：
放错位的天才·2020-07-28 17:38

spark高级数据分析系列之第二章用 Scala 和 Spark 进行数据分析

性能开销小减少不同环境下传递代码和数据的错误和性能开销2、能用上最新的版本和最好的功能Spark的新功能毫无疑问是首先适配scala语言，但使用spark的所有功能可不是那么容易3、有助于了解spark的原理2.2小试牛刀接下来是通过一个数据清理的例子来熟悉
sam_fly·2020-07-28 15:49

python 前程无忧岗位信息爬取（以数据清理为主）

一、信息爬取：网站代码的分析和信息的爬取和上一篇博客大致相同，但是两个网站的代码形式不一样，无忧的代码段是这样的，相对当当的要好提取一些，但是职位的详细信息在下一级链接中，所以需要两步提取，第一步先爬取岗位首页的信息和进入详情页的链接，然后转到详情页进一步爬取其他信息：item['t1']=result.xpath('//div[@class="el"]/p/span/a/text()')#岗位名
CCint_翔坨儿·2020-07-28 13:07

大数据应用前景——Big Data+X模式

在大数据应用广泛的现如今，除了数据清理工作占据时间长，具
陈以二·2020-07-28 11:33

kaggle比赛数据清洗方法

数据清洗的定义：对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性；数据清洗的难点：数据清洗一般针对具体应用，因而难以归纳统一的方法和步骤，但是根据数据不同可以给出相应的数据清理方法
努力努力努力努力·2020-07-28 07:40

python数据清理：将DataFrame中的某列数据类型转换为数值型，若个别数据不能转换替换为NaN

问题：将DataFrame中的某列数据类型转换为数值型，若个别数据不能转换替换为NaN寻常的解决思路：用python库函数中自带的函数转换，最好是形如下的函数：转数值型方法（传入原数据）{数据转换返回转换后数据}但苦苦百度、谷歌了一圈，没发现有这个功能的函数。只找到了.astype('int')或.astype('float')或.astype('float64')这种的只能转换原来就是数值型的，
hard_coding_wang·2020-07-28 05:00

kaggle实战之Titanic (1)-预处理

由数据挖掘的知识可知，数据预处理包括：(1)数据清理：填写缺失值，光滑噪声数据等等。(2)数据集成：将多个数据源合成一个数据源。此处只有1个csv文件，过(3)数据变换：平滑聚集，数据概化等。
锦堇年·2020-07-28 05:53

Android微信支付只能调起一次的问题

今天开发中遇到一个微信支付的问题：购买商品的时候第一次购买调用微信支付可以成功调起微信，也可以正常支付，但是第二次买商品调用微信支付的时候不能正常调起微信支付，在系统中把微信的数据清理之后还是第一次可以之后不行
hongcha36·2020-07-27 23:45

4-1 探索型数据分析：绘制统计图形展示数据分布（版本：py3）

数据分析三大类型探索型数据分析验证型数据分析预测型数据分析下图为数据科学的流程：探索型数据分析的作用与数据清理相辅相成支持验证型数据分析、预测型数据分析探索型数据分析的常用图表条形图、直方图饼图（饼图在探索型数据分析中使用较少
feng_jlin·2020-07-27 22:21

【Kaggle从入门到放弃】（04）：机器学习框架

步骤二：数据清理然后，清理数据，以避免许多常见的陷阱。更好的数据优于更高级的算法。步骤三：特征工程接下来，通过设计新特征，帮助你的算法“专注”重要事项。
MisterJiaJia·2020-07-27 16:48

四：SpringBoot-定时任务和异步任务的使用方式

使用场景数据分析数据清理系统服务监控2、同步和异步同步调用程序按照代码顺序依次执行，每一行程序都必须等待上一行程
爱是与世界平行·2020-07-27 14:38

SpringBoot2.0 基础案例(04)：定时任务和异步任务的使用方式

2、使用场景数据分析数据清理系统服务监控二、同步和异步1、基本概念同步调用程序按照代码顺序依次执行，每一行程序都必须等待上一行程序执行完成之后才能执行；异步调用顺序执行时，不等待异步调用的代码块返回结果就执行后面的程序
weixin_30920513·2020-07-27 13:15

SpringBoot2 综合案例(05):定时任务和JDBC多数据源配置

使用场景数据分析数据清理系统服务监控同步和异步基本概念同步调用程序按照代码顺序依次执行，每一行程序都
蔚1·2020-07-27 13:49

Kaggle-数据清理5天挑战

Day1:DataCleaningChallenge:Handlingmissingvalues|KaggleDay2:DataCleaningChallenge:ScaleandNormalizeData|KaggleDay3:DataCleaningChallenge:ParsingDates|KaggleDay4:DataCleaningChallenge:CharacterEncoding
呆萌程小王·2020-07-27 13:40

快速介绍Python数据分析库pandas的基础知识和代码示例

本附注的结构:导入数据导出数据创建测试对象查看/检查数据选择查询数据清理筛选、排序和分组统计数据首先，我们需要导入pa
deephub·2020-07-27 11:14

MYSQL索引-上

前言今天同事做数据清理的时候发现我这边有一张表没有主键，这个表有两个字段，ID和Name，ID作者唯一索引，在我印象里，一个数据表如果没有主键索引，它会内部创建主键索引，创建的标准就是唯一性，我觉得应该是使用
飞翔码农·2020-07-26 08:00

Python如何连接Mysql及基本操作

自动化测试都有数据准备和数据清理的操作，如果因此用例产生了多余数据，就需要清理数据，可以用Pyhthon连接Mysql直接删除多余的数据就可以了。Python3如何连接Mysql呢？
骑着乌龟赶猪·2020-07-24 19:00

Pytest+Allure+Jenkins接口自动化项目实战（一）

经过一周多时间，基于python+pytest+excel+allure框架的接口自动化测试初版已基本实现，包括基本配置读取、用例读取、用例执行、sql读取执行、前置数据准备、后置数据清理以及测试报告生成等
橙子全栈测试·2020-07-16 06:26

Hive 的性能调优总结

通过分区，查询的时候指定分区，会大大减少在无用数据上的扫描,同时也非常方便数据清理。合理的设置Buck
ywendeng·2020-07-15 00:58

独家 | 用于数据清理的顶级R包（附资源）

数据清理是数据科学家最重要和最耗时的任务之一。以下是用于数据清理的顶级R包。每天有数百万或数十亿的数据元素进入您的企业，其中不可避免的存在一些缺乏建立高效业务模型的必要质量的数据元素。
数据派THU·2020-07-14 23:32

kafka：过期数据清理

Kafka作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的日志实际上是以日志的方式默认保存在/kafka-logs文件夹中的。虽然默认有7天清楚的机制，但是在数据量大，而磁盘容量不足的情况下，经常出现无法写入的情况。如何调整Kafka的一些默认参数就显得比较关键了。这里笔者整理了一些常见的配置参数供大家参考：分段策略属性属性名|含义|默认值---|---|--log.roll
花和尚也有春天·2020-07-13 19:39

Kafka日志及Topic数据清理

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理KafkaLog。但是清理KafkaLog又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Offset在通过Client端消
weixin_33946020·2020-07-13 18:13

python爬虫实战一：分析豆瓣中最新电影的影评

目标总览主要做了三件事：抓取网页数据清理数据用词云进行展示使用的python版本是3.5.运行环境：jupyernotebook，如在其他环境下运行报错了，请查看评论区的讨论，里面有一些解决办法。
weixin_30918633·2020-07-13 17:21

sentry部署安装及数据清理

文章目录全部服务都使用docker运行部署使用已部署好的redis和postgresql安装方式全部服务都使用docker运行部署安装gitdocker-cedocker-composeyuminstalldocker-cegit-ypipinstalldocker-composesystemctlstartdocker创建数据卷dockervolumecreate--name=sentry-da
那些、快乐。·2020-07-13 09:25

python/pandas数据分析（十三）-数据清理、转换、合并，重塑

合并数据结构pandas.merge根据一个或多个键将不同DataFrame中的行连接起来。pandas.concat沿着一条轴将多个对象堆叠起来具体可以参考之前专门讲数据合并的章节索引上的合并有时，DF中的链接键位于其索引中。left_index=Trueorright_index=True(or两个都传入)以说明索引应该被用作链接键left1=pd.DataFrame({'key':list(
杨核桃Alvin·2020-07-12 18:50

基于jupyter的python学习

用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。2、架构Jupyter组件Jupyter包含以下组
絮荨·2020-07-12 13:53

从“在浏览器输入域名”到“页面静态资源完全加载”的整个流程

用户输入当用户输入关键字并键入回车之后，这意味着当前页面即将要被替换成新的页面，不过在这个流程继续之前，浏览器还给了当前页面一次执行beforeunload事件的机会，beforeunload事件允许页面在退出之前执行一些数据清理操作
Web_hls·2020-07-12 12:05

规范化

数据预处理的主要任务如下：（1）数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性（2）数据集成：集成多个数据库，数据立方体，文件（3）数据变换：规范化（消除冗余属性）和聚集（数据汇总）
我是一只小兔纸咿呀咿呀呦·2020-07-12 02:21

数据分析岗位分析

数据清理首先进行的是数据清理，因为是关键词抓取，所以只要是有关于数据分析的都会被抓取，但是，很多岗位并不是数据分析，只是因为工作中需要分
gyu357nwh91·2020-07-12 00:00

第三章 数据预处理

数据清理可以清除数据中的噪声，纠正不一致。数据集成将数据由多个数据源合并成一致的数据存储，如数据仓库。数据归约可以通过如聚集、删除冗余特征或聚类来降低数据的规
Coding懒懒·2020-07-11 23:12

pandas数据清理

在数据分析中，80%的时间是用于数据清理。1.对于数值型数据，pandas用用浮点值NaN来表示缺失值，称之为标识符，这种值能被轻易检测到。
J_ML·2020-07-11 19:14

Android缓存数据清理

Android缓存的作用可以参考这篇文章：android缓存数据到本地放在哪儿最好？应用程序在运行的过程中如果需要向手机上保存数据，一般是把数据保存在SDcard中的。大部分应用是直接在SDCard的根目录下创建一个文件夹，然后把数据保存在该文件夹中。这样当该应用被卸载后，这些数据还保留在SDCard中，留下了垃圾数据。如果你想让你的应用被卸载后，与该应用相关的数据也清除掉，该怎么办呢？1、通过C
lfdanding·2020-07-11 10:45

数据预处理

数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。
cowboy_wz·2020-07-11 03:44
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他