数据清理

Vbs 清理备份数据-保留数据量

清理备份数据-保留数据量我们前面文章介绍了，通过vbs脚本对文件进行压缩备份，但是通过计划任务备份的话，备份的数据会越来越多，对于我们的磁盘空间利用来说比较浪费，所以我们又通过以下脚本进行判断，将多余的备份数据清理
高文龙·2017-03-18 16:51

数据预处理—剔除异常值，平滑处理，标准化(归一化)

数据预处理的主要任务如下：（1）数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性（2）数据集成：集成多个数据库，数据立方体，文件（3）数据变换：规范化（消除冗余属性）
IT界的小小小学生·2017-03-06 10:32

数据分析之旅（一）

数据分析过程提出问题数据再加工（包括数据采集和数据清理）数据探索(培养直觉，找出数据模式)–>总结，进行预测–>与他人交流结果（博客、论文、电子邮件、PPT、面谈）并且所有的过程都可能回到第一个阶段：提出问题数据采集的方式
y4ung·2017-02-11 16:48

ZooKeeper服务端启动-单机

看的是3.5branch的源码服务端启动入口类QuorumPeerMain.main1.解析配置文件zoo.cfg2.创建并启动数据清理管理器3.判断单机or集群模式，然后启动单机启动入口类ZooKeeperServerMain.main1
【随风飘流】·2017-01-22 17:07

【Mysql】Navicat数据导出和Mysql唯一约束的坑

一个简单的需求引发的问题简单的需求收到一个Mysql数据清理的需求，需要按照查询条件清理部分数据，按照操作规范：用Navicat（导出UTF8CSV文件的方式）备份即将被清理的数据，记录数据量清理数据，
AskTOMmorow·2017-01-13 18:55

maven基本命令

mvnclean表示运行清理操作（会默认把target文件夹中的数据清理）mvncleancompile表示先运行清理后运行编译，会将代码编译到target文件夹中mvncleantest运行清理和测试
itzhuimeng·2016-12-31 20:55

机器学习小组知识点24：数据预处理之数据清理（Data-Cleaning）

数据清理的处理内容分为格式标准化异常数据清楚错误纠正重复数据的清楚空缺值处理数据并不总是完整的。
Eric2016_Lv·2016-12-06 11:56

数据挖掘导论 笔记

即KDD，数据中的数据发现知识发现的迭代步骤为：1）数据清理2）数据集成3）数据选择4）数据变换5）数据挖掘6）模式评估7）知识表示广义的数据挖掘可表述为：从大量数据中挖掘有趣模式和知识的过程。
o漠海行吟o·2016-11-30 22:30

数据挖掘概念与技术——读书笔记（1）

数据清理（消除噪声和删除不一致的数据）数据集成（多种数据源可以组合在一起）数据选择（从数据库中提取与分析任务相关的数据
都尼都尼·2016-11-23 10:11

一个低级的ORA-01017错误

事件缘由：使用sys账户创建了一个数据清理的存储过程，再创建一个Oraclejob定时运行这个存储过程，用于做表数据的清理。
bisal·2016-11-18 18:01

数据预处理（1） ——数据清洗 使用python（sklearn，pandas，numpy）实现

数据清理例程试图填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致。（以上为使用的数据）①忽略元组：当缺少类标号时通常这样做。除非元组有多个属性缺少值，否则该方法不是很有效。
daxiaofan·2016-11-06 18:30

完整的R语言预测建模实例-从数据清理到建模预测

概述本文使用Kaggle上的一个公开数据集，从数据导入，清理整理一直介绍到最后数据多个算法建模，交叉验证以及多个预测模型的比较全过程，注重在实际数据建模过程中的实际问题和挑战，主要包括以下五个方面的挑战：缺失值的挑战异常值的挑战不均衡分布的挑战(多重)共线性的挑战预测因子的量纲差异以上的几个主要挑战，对于熟悉机器学习的人来说，应该都是比较清楚的，这个案例中会涉及到五个挑战中的缺失值，量纲和共线性问
Felix_DataScience·2016-09-23 16:30

关系型数据库大数据性能优化解决方案之：分表(当前表历史表)、表分区、数据清理原则...

原因和目的由于交易量大或者日积月累造成数据库的数据量越来越大。会导致系统性能大幅下降，所以要对部分业务的表数据作备份和清理减少数据量，来提升请求响应的速度，提升用户体验数据是否需要清理的阀值判断通常当表的磁盘大小超过5GB，或对于OLTP系统(联机事务处理)，表的记录超过3000万，都应考虑对表进行分区或者分表。除了上述阀值之外，还可以根据数据库性能指标情况来考虑分区或者分表，比如在已经充分挖掘了
iteye_11495·2016-08-18 15:00

文章标题

写了一个redis数据清理的模块，是sdb-schedule的插件。Redis数据清理本模块是sdb-schedule的插件，用于自动清理redis数据。
shudingbo·2016-07-11 20:22

那些做Android开发必须知道的ADB命令

adbinstall-rxxxx.apk安装app，需要注意的是如果连接了两台设备，则会报错，此时可以添加-s来处理adbuninstallpackagename卸载app，有时候在手机上卸载App会出现数据清理不干净
小强测试·2016-07-11 14:09

对大数据知识架构的梳理

这里边牵扯到的知识有数据清理，相关的ETL技术。也就是说你要做数据分析，数据在哪里很是重要，当你不清楚你的数
bingyang87628·2016-07-04 17:31

16.Spark Streaming源码解读之数据清理机制解析

阅读更多原创文章，转载请注明:转载自听风居士博客(http://zhou-yuefei.iteye.com/)本期内容：一、SparkStreaming数据清理总览二、SparkStreaming数据清理过程详解三
zhou_yuefei·2016-07-01 15:00

16.Spark Streaming源码解读之数据清理机制解析

阅读更多原创文章，转载请注明:转载自听风居士博客(http://zhou-yuefei.iteye.com/)本期内容：一、SparkStreaming数据清理总览二、SparkStreaming数据清理过程详解三
zhou_yuefei·2016-07-01 15:00

16.Spark Streaming源码解读之数据清理机制解析

原创文章，转载请注明:转载自听风居士博客(http://zhou-yuefei.iteye.com/)本期内容：一、SparkStreaming数据清理总览二、SparkStreaming 数据清理过程详解三
zhou_yuefei·2016-07-01 15:00

修改手机串号 ，修改手机IMEI，修改手机型号，修改手机定位，微信定位，微信加好友，安卓CPA

抹机、应用数据清理、系统值清理、屏蔽安卓应用（让
neil201501·2016-06-30 17:16

第16课：Spark Streaming源码解读之数据清理内幕彻底解密

本期内容：SparkStreaming数据清理原因和现象SparkStreaming数据清理代码解析对SparkStreaming解析了这么多课之后，我们越来越能感知，SparkStreaming只是基于
lqding1980·2016-05-31 16:30

第16课：Spark Streaming源码解读之数据清理内幕彻底解密

本期内容：SparkStreaming数据清理原因和现象SparkStreaming数据清理代码解析对SparkStreaming解析了这么多课之后，我们越来越能感知，SparkStreaming只是基于
lqding1980·2016-05-31 16:30

第16课：Spark Streaming源码解读之数据清理内幕彻底解密

本篇博客的主要目的是：1.理清楚SparkStreaming中数据清理的流程组织思路如下：a)背景b)如何研究SparkStreaming数据清理？
snail_gesture·2016-05-29 16:00

Spark定制班第16课：Spark Streaming源码解读之数据清理内幕彻底解密

这一课讲数据清理的内容。SparkStreaming应用是持续不断地运行着的。如果不对内存资源进行有效管理，内存就有可能很快就耗尽。
andyshar·2016-05-28 18:00

R语言之数据可视化

统计学家数据创意1.万金油2.艺术家3.黑客从事数据的商业者1.领导者2.企业管理者3.商业者不同领域的数据科学家需要的技能是有所侧重的：完整的数据分析流程定义研究问题定义理想的数据集确定能够获取什么数据获取数据清理数据探索性分析
积微成著·2016-05-27 18:50

数据预处理技术

数据清洗：目的：格式标准化、异常数据清理、错误纠正、重复数据清除。主要任务：缺失值处理、去噪。缺省值的处理：忽略元祖、人工填写、使
qq_23617681·2016-05-25 16:41

Spring中DAO层接口的单元测试

很多人在DAO层接口的单元测试中数据是自己手工插入的，第二次运行这个单测的时候就会得到duplicatekey的错误，数据清理的过程中也是
xsylang·2016-05-08 21:00

Spring中DAO层接口的单元测试

很多人在DAO层接口的单元测试中数据是自己手工插入的，第二次运行这个单测的时候就会得到duplicatekey的错误，数据清理的过
xsylang·2016-05-08 21:00

Spring中DAO层接口的单元测试

很多人在DAO层接口的单元测试中数据是自己手工插入的，第二次运行这个单测的时候就会得到duplicatekey的错误，数据清理的过
xsylang·2016-05-08 21:00

Spring中DAO层接口的单元测试

很多人在DAO层接口的单元测试中数据是自己手工插入的，第二次运行这个单测的时候就会得到duplicatekey的错误，数据清理的过
xsylang·2016-05-08 21:00

Spring中DAO层接口的单元测试

很多人在DAO层接口的单元测试中数据是自己手工插入的，第二次运行这个单测的时候就会得到duplicatekey的错误，数据清理的过程中也是
xsylang·2016-05-08 13:00

R数据清理与转换

数据清理与转换1缺失值得处理#查看哪些地方是数据是缺失的>which(is.na(a),arr.ind=TRUE)#删除空缺的数据>awhich(is.na(a),arr.ind=TRUE)#发现已经没有空缺的数据了
sinat_29581293·2016-05-01 15:00

数据挖掘：概念与技术 笔记

认识数据对于含有标称属性的数据对象的相似性度量方式：计算匹配数或者采用特定的编码，如01，这样转化为计算编码之间的数据预处理技术数据清理：处理缺失值，清除数据中的噪声数据集成：多个数据源合并成一个一致的数据存储
foolsnowman·2016-04-21 23:00

Spark Streaming 数据清理机制

大家刚开始用SparkStreaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast系统会帮忙自己清理掉么？还是说必须自己做清理？如果系统帮忙清理的话，机制是啥？前言为啥要了解机制呢？这就好比JVM的垃圾回收，虽然JVM的垃圾回收已经巨牛了，但是依然会遇到很多和它相关的case导致系统运行不正常。这个内容我记得自己刚接触SparkStreaming的时
祝威廉·2016-04-17 21:00

04_Apache Hadoop 生态系统

Hadoop2.x）2）ApacheHadoop1.x框架架构原理的初步认识3）ApacheHadoop1.x安装的三种模式Hadoop1.x生态系统ETL:提取à转换à加载：从数据库中获取数据，并进行一系列的数据清理和清洗筛选
YouxiBug·2016-03-04 15:00

kaggle实战之Titanic (1)-预处理

由数据挖掘的知识可知，数据预处理包括：(1)数据清理：填写缺失值，光滑噪声数据等等。(2)数据集成：将多个数据源合成一个数据源。此处只有1个csv文件，过(3)数据变换：平滑聚集，数据概化等。
qjc937044867·2016-03-02 08:00

SparkContext的初始化（伯篇）——执行环境与元数据清理器

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章Spark设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。本文展现第3章第一部分的内容：
beliefer·2016-02-16 10:00

数据挖掘概念与技术读书笔记(三)数据预处理

3.1.2数据预处理的主要任务数据清理：填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致性来”清理“数据。
Mars&Mercury·2016-02-14 21:00

Atitit.linux 内核 新特性 新功能

BTRFS：更快的数据清理、tree roots自动备份、详细的错误消息、元数据手动检查21.3. 进程带宽控制器21.4. 新架构：Hexagon21.5. 
attilaxAti·2016-02-12 21:00

数据清洗(Data Cleaning)

与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。1.一致性检查一致性检查(consi
lionzl·2016-01-15 15:25

通达OA数据库优化方案之_历史数据清理

整体思路：1.备份现有系统数据，提供一个可以查询历史的入口(可以查询2015年6月份以前的所有OA产生的流程)2.删除生产环境中2015年6月份以前的流程为避免影响考勤，暂定在本月考勤定稿后实施实施方案： 数据量大的信息主要是流程，主要存放在flow_run流程主表,flow_run_data流程数据表,flow_run_prcs流程审批信息,flow_run_log流程日志表中，清理思路：①创建
reblue520·2015-12-31 11:00

22个免费的数据可视化和分析工具推荐

列表如下：数据清理（Datacleaning）当你分析和可视化数据前，常需要“清理”工作。比如一些输入性列表“NewYorkCity"，同时其他人会说"NewYork,NY"。
岑泉鄅·2015-12-11 10:00

网络爬虫之爬一爬2008奥运会的赛事结果

>conda install lxml beautifulsoup4 requests 其实爬下来倒不是很难，不管是requests还是urllib，一下就能把页面download下来，在抓下来之后的数据清理及整合显得更重要
youerning·2015-11-19 17:22

网络爬虫之爬一爬2008奥运会的赛事结果

>conda install lxml beautifulsoup4 requests 其实爬下来倒不是很难，不管是requests还是urllib，一下就能把页面download下来，在抓下来之后的数据清理及整合显得更重要
youerning·2015-11-19 17:22

网络爬虫之爬一爬2008奥运会的赛事结果

\>conda install lxml beautifulsoup4 requests其实爬下来倒不是很难，不管是requests还是urllib，一下就能把页面download下来，在抓下来之后的数据清理及整合显得更重要
youerning·2015-11-19 17:22

Spark机器学习2

目标营销和客户细分预测建模与分析2.1数据清理与转换大部分机器学习模型所处理的都是特征。特征通
jjfnjit·2015-11-18 17:00

使用作业定时压缩数据库

这样的原因是因为异常情况造成某个数据表中有大量的冗余数据，将异常数据表的冗余数据清理之后，mdf文件并没有变小，因为对数据库进行了删除操作，ldf文件反而变增大很多！
·2015-11-12 21:17

ORACLE--分区表数据清理

由于分区表数据增加；没做清除操作；导致表空间告急。需要清理很久之前的数据；释放空间。步骤如下一，查看哪个表占的空间 SELECT t.segment_name, SUM(t.bytes / 1024 / 1024) FROM user_segments t GROUP BY t.segment_name ORDER BY SUM(t.bytes / 1024 / 1024) DE
·2015-11-12 13:20

数据预处理

数据预处理有多种方法： 数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。 　　
·2015-11-11 14:00

数据挖掘学习--数据仓库

二.数据仓库的关键特征 1.面向主题， 2.数据集成 一个数据仓库是通过多个异种数据源来构造的 关系数据库，一般文件，联机事物处理 使用数据清理和数据集成技术 命名约定，编码结构，属性变量等的一致
·2015-11-08 15:20
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他