E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
#数据集成
数据科学家之路——数据预处理技术基础
数据预处理的过程主要包括:数据质量分析、数据审计、数据清洗、
数据集成
、数据变换、数据脱敏、数据归约等。这些数据处理技术在数据挖掘之前使用,大大提高了数据挖掘模式的质量,降低实际挖掘所需要的时间。
洪远
·
2018-10-24 00:00
数据科学家之路
深度|从数据仓库到数据湖——浅谈数据架构演进
数据集成
真正从大数据的角度来看,才能明白其中的挑战。一个运行了20多年的数据架构,必然有其合理性。也正是因为年代久远,存量过多,才导致举步维艰。
白乔
·
2018-10-20 19:31
大数据理论与方法
Dom4j解析xml复杂多节点报文
XML是一种通用的数据交换格式,它的平台无关性、语言无关性、系统无关性、给
数据集成
与交互带来了极大的方便。XML在不同的语言环境中解析方式都是一样的,只不过实现的语法不同而已。
编程机器猫
·
2018-10-17 16:51
========
Java
========
-------------
Java基础
---------
Java基础
深度学习总结三:特征处理流程
深度学习总结三:特征处理流程步骤1:数据审查步骤2:数据清洗步骤3:
数据集成
步骤4:数据规约步骤5:数据验证步骤6:特征选择sklearn中总结的衡量指标推荐1步骤1:数据审查观察数据集中趋势、离中趋势
su_poplar
·
2018-10-14 20:18
深度学习知识点总结
Spring Cloud Stream:基于事件(消息)驱动的微服务框架
概念和作用SpringCloudStream是SpringIntegration和SpringBoot的整合,用于开发
数据集成
的微服务具备SpringIntegration和SpringBoot的特征,
baidu_33292709
·
2018-10-13 22:38
数据分析之数据预处理
数据预处理的主要内容包括数据清洗、
数据集成
、数据变换和数据规约。
Jack_丁明
·
2018-10-04 09:03
{机器学习之数据预处理}
T20天正建筑5.0最新版无限使用一键破解安装教程(附补丁下载)
通过界面集成、
数据集成
、标准集成及天正系列软件内部联通和天正系列软件与Revit等外部软件联通,打造真正有效的BIM应用模式。具有植入数据信息,承载信息,扩展信息等特点。
佚名
·
2018-09-28 12:50
数据预处理——框架总结篇
数据集成
:将多个数据源的数据合并到一个一致的数据存储中,如数据仓库。数据规约:通过聚集、删除冗余特征、聚类来降低数据的规模。
万勇's Blog
·
2018-09-27 22:26
数据挖掘
【大数据】DataWorks
产品概述DataWorks是阿里云数加重要的PaaS平台产品,它提供
数据集成
、数据开发、数据管理、数据治理等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。
Elsa晓冰
·
2018-09-19 14:46
基于知识图谱的智能问答机器人
只有基于语义的数据互联才能发挥
数据集成
的非线性效应,才能获取大数据的特有语义。近年来,基于知识图谱的问答系统则
李天泉
·
2018-09-19 13:26
智能问答
数据挖掘面试笔试题(附答案)
A.数据清洗B.
数据集成
C.数据变换D.数据归约2、某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?
hearthougan
·
2018-09-18 09:35
Machine
Learning
数据挖掘(三):数据预处理
3.1数据预处理:概述3.1.1数据质量数据质量包括准确性、完整性、一致性、时效性、可信性和可解释性3.1.2数据预处理的主要任务数据清理、
数据集成
、数据归约、数据变换数据清理通过填写缺失值,光滑噪声数据
小丁喵
·
2018-09-11 00:00
数据挖掘
[DataAnalysis]常用数据预处理方法汇总
抽样sampling统计学使用抽样是因为得到感兴趣的整个
数据集成
本太高、太费时间,但是数据挖掘使用抽样是因为处理所有的数据的费用成本太高、太费时间。抽样方法包括:简单随机抽样;分层抽样等。
TOMOCAT
·
2018-09-08 18:26
数据分析
【我的python机器学习之路·1】数据预处理
常用的数据预处理方法主要有数据清理、
数据集成
、数据变换、数据归约等。我们用python进行数据
zhengyuv
·
2018-09-02 22:00
学习日记
我的python机器学习之路
数据挖掘(一):引论
知识发现过程由以下步骤的迭代序列组成:1.数据清理(消除噪声和删除不一致数据)2.
数据集成
(多种数据源可以组合在一起)3.数据选
小丁喵
·
2018-08-31 00:00
数据挖掘
XML解析之DOM解析
XML是一种通用的数据交换格式,它的平台无关性、语言无关性、系统无关性、给
数据集成
与交互带来了极大的方便。XML在不同的语言环境中解析方式都是一样的,只不过实现的语法不同而已。
帅气的小康
·
2018-08-21 15:01
java
数据挖掘导论学习总结——第二章
数据预处理主要包括数据清洗、
数据集成
、数据转换和数据消减等。所谓噪声数据是指数据中存在着错误、或异常的数据。不完整数据是指感兴趣的属性没有值。不一致数据是指数据内涵出现不一致的情况。
AAAlice0707
·
2018-08-15 23:48
数据挖掘导论学习总结——第一章
KnowledgeDiscoveryfromDatabase,KDD),它是指从大量数据抽取挖掘出未知的、有价值的模式或规律等,包括以下几个主要步骤:数据清洗(DataCleaning):清楚数据噪声和挖掘主题明显无关的数据
数据集成
AAAlice0707
·
2018-08-15 20:53
Tableau Desktop Pro中文破解版
新版本以数据为中心进行设计,
数据集成
有助于人人将尽可能多的时间用于分析,借助拖放群集之类的创新性数据分析功能,任何人可以在无需编程的情况下对自己的数据执行更多高级分析。Ta
会飞的小罐子
·
2018-08-15 17:18
机器学习实战
OPC 集成的五大要素,你都掌握了吗?
相信在处理工业项目集成问题的时候,自动化集成供应商真正需要的不是那些华丽的宣传语,而是提供真正的通信
数据集成
实力。任何自动化集成的供应商都希望能够消除中间的层层障碍,从而实现真正的信息集成互通。
慧都科技智能制造
·
2018-08-13 15:00
Java中XML的四种解析方式
XML是一种通用的数据交换格式,它的平台无关性、语言无关性、系统无关性、给
数据集成
与交互带来了极大的方便。XML在不同的语言环境中解析方式都是一样的,只不过实现的语法不同而已。
一只风骚的猴
·
2018-08-10 21:55
Java
Spring
打造实时
数据集成
平台——DataPipeline基于Kafka Connect的应用实践
导读:传统ETL方案让企业难以承受
数据集成
之重,基于KafkaConnect构建的新型实时
数据集成
平台被寄予厚望。
DataPipeline
·
2018-08-03 00:00
大数据
大数据处理
kafka
DataPipeline CTO陈肃:从ETL到ELT,AI时代
数据集成
的问题与解决方案
引言:2018年7月25日,DataPipelineCTO陈肃在第一期公开课上作了题为《从ETL到ELT,AI时代
数据集成
的问题与解决方案》的分享,本文根据陈肃分享内容整理而成。大家好!
DataPipeline
·
2018-07-31 00:00
公开课
互联网大数据
数据清洗
大数据
etl
人工智能产品经理读书笔记5
数据和计算资源之间的依赖关系;1.ML与几种常见概念的关系2.ML本质机器学习流程拆解(1)原始数据采集–>(2)数据预处理–>(3)模型训练–>(4)模型评估–>(5)调参–>(6)推断数据挖掘中的预处理方法:数据清洗、
数据集成
女王の专属领地
·
2018-07-27 08:06
产品经理
产品读书
Python数据处理简单认识
数据处理的过程:数据收集、数据录入、数据清洗、数据处理、
数据集成
、数据管理、数据分析、提供数据服务数据收集:通过注册登记、问卷、面试采访获取数据,或者科学家勘测、测量的数据以及实验文档记录,公司报表等都是获取数据的方式
Awangbsi
·
2018-07-05 17:31
Python
Pandas
Note
大数据学习之Hive入门
集成的:数据仓库可将不同类型数据库管理系统中的
数据集成
起来保存。不可更新的:数据仓库一般只做数据查询,不做更新、删除等操作。
EnjoyCode12138
·
2018-06-27 18:26
Tensorflow Object Detection API 训练Faster RCNN遇到的问题
在使用框架ssd_mobilenet_v1_coco_2017_11_17训练自己的
数据集成
功之后,我想要试试在FasterRCNN框架上训练自己数据集。
Michelexie
·
2018-06-24 10:11
数据挖掘的一般过程
数据预处理提高数据质量:准确性、完整性和一致性,包括数据清理、
数据集成
、数据规约和数据变换方法。
kdy
·
2018-06-21 18:00
15种
数据集成
工具2018
转自:https://www.guru99.com/data-integration-tools.htmlDataintegrationistheprocessofcombiningdatafrommanydifferentsources.Itisusedforanalysis,businessintelligence,reporting.Here,aresometopdataintegratio
Evan_Gu
·
2018-06-19 16:28
综合
Python数据分析与挖掘实战第四章笔记之数据预处理
#数据预处理:包括数据的清洗,
数据集成
,数据变化和数据规约。
tatumWei
·
2018-05-30 21:42
数据分析与数据挖掘
学习数据仓库
数据仓库也常常被看做一种体系结构,通过将异种数据源中的
数据集成
在一起而构造,支持结构化和启发式查询、分析报告和决策制定。2.从数据库到数据仓库从如
xrb_jurgen
·
2018-05-24 15:57
数据
仓库
数据预处理基础(—)
数据预处理方法:数据清理,
数据集成
,数据变换,数据归约。数据预处理意义:数据和特征决定了机器学习的上限,而模型和算法只是
JayKing_csdn
·
2018-05-17 16:27
机器学习
Matlab单元数组(cell)和结构体(structure)
Matlab单元数组(cell)和结构体(structure)都可以将不同类型的相关
数据集成
到一个单一的变量中,使得大量的相关数据的处理变得非常简单而且方便。
Z_y_forever
·
2018-05-08 11:44
matlab
DRDS到MaxCompute(原ODPS)数据归档性能优化测试
阅读更多摘要:cdp同步基本原理
数据集成
(DataIntegration)是阿里巴巴集团提供的数据同步平台。
猫耳呀
·
2018-04-25 15:00
测试
DRDS到MaxCompute(原ODPS)数据归档性能优化测试
阅读更多摘要:cdp同步基本原理
数据集成
(DataIntegration)是阿里巴巴集团提供的数据同步平台。
猫耳呀
·
2018-04-25 15:00
测试
慎选 ETL工具(informatica?beeload? kettle?)
随着数据量日趋成倍增长,需要满足大中小企业
数据集成
—ETL工具就是其诞生的理由!提起ETL工具,业内人士首先是想到国外有商用in
little_bee_2004
·
2018-04-24 23:55
Integration Services 教程 3 -- 初识SQL SSIS
http://www.cnblogs.com/NikoMao/p/5959862.html1什么是微软的SQLServerIntegrationServices(SSIS)微软SSIS是构建企业级
数据集成
和数据转换解决方案平台
chenhao_asd
·
2018-04-19 15:04
SSIS
SQL
基础知识
python:pandas合并csv文件的方法(图书
数据集成
)
数据集成
:将不同表的数据通过主键进行连接起来,方便对数据进行整体的分析。
kevinelstri
·
2018-04-12 09:34
数据集成
工具Kettle、Sqoop、DataX的比较
数据集成
工具很多,下面是几个使用比较多的开源工具。
ice_fire2008
·
2018-04-05 17:52
大数据
XML解析——androidXML的三种解析方式
XML是一种通用的数据交换格式,它的平台无关性、语言无关性、系统无关性、给
数据集成
与交互带来了极大的方便。XML在不同的语言环境中解析方式都是一样的,只不过实现的语法不同而已。
Cdaimadada
·
2018-03-29 16:43
android
数据集成
是开放数据库还是接口?
系统集成,集成方少不了要读取对方的数据。这种数据共享方式,到底是直接读对方的数据库,还是对方提供一个接口,供集成方调用来获得数据?接口,而不是直接开放数据库。为啥呢?1、权限控制如果是开放数据库直接读取,那么数据库账号是很难全部适应业务上的权限要求的。因为数据库账号与应用系统的账号不是一回事。2、后续维护直接开放数据库,意味着要对其中的数据结构了解得比较深入,要能读懂其中的含义。如果一些数据要通过
左直拳
·
2018-03-21 19:11
系统架构
大数据预处理技术
学习了牛琨老师的课程后整理的学习笔记,用于日后复习一、大数据预处理的几个步骤1.数据预处理2.数据清洗3.
数据集成
4.数据归约5.数据变换6.数据离散化7.大数据预处理二、数据预处理现实中的数据大多是“
bxg1065283526
·
2018-03-19 23:26
数据挖掘
产业互联网是对生产要素“赋能”~~~
未来改变世界的技术有四大特征,万物互联,信息交互,
数据集成
,智能决策。在大数据时代数据成为资产行业垂直整合的工具,在泛互联网化。
安哥有话说
·
2018-03-06 05:34
批处理ETL已经消亡,Apache Kafka才是数据处理的未来吗?
这给传统的
数据集成
带来了两难的选择:实时但不可扩展,或者可扩展但采用的是批处理方案ApacheKafka是一个开源的流平台,它是七年前在
·
2018-02-24 09:00
Python3 转换 SVHN
数据集成
lmdb 格式
该数据集处理的前提是需要先配置好pycaffe,windows下得具体方法见:Windows下Pycaffe的配置与使用。然后程序处理方法其实有点类似于处理python接口的cifar100数据集,只不过这里处理得是mat文件,用scipy.io是可以读取mat文件。importnumpyasnpimportcaffeimportlmdbimportscipy.ioassioimportrando
Chris_zhangrx
·
2018-02-07 17:10
caffe学习
配置文件
Python3 转换 SVHN
数据集成
lmdb 格式
该数据集处理的前提是需要先配置好pycaffe,windows下得具体方法见:Windows下Pycaffe的配置与使用。然后程序处理方法其实有点类似于处理python接口的cifar100数据集,只不过这里处理得是mat文件,用scipy.io是可以读取mat文件。importnumpyasnpimportcaffeimportlmdbimportscipy.ioassioimportrando
Chris_zhangrx
·
2018-02-07 17:10
caffe学习
配置文件
开源大数据周刊-第49期
各个企业都将快速意识到他们需要利用实时
数据集成
和流数据分析来获得更有价值的信息、使数据变得更安全以及保持增长高清无码,2017全球大数据产业版图!汇聚了大数据生态的相关产业版图和全景版图。
aliyun32183
·
2018-01-30 16:29
云栖社区开源大数据周刊
python数据分析和数据挖掘笔记
第四章1,数据预处理的过程主要包括:数据清洗,
数据集成
,数据转换和数据规约。
Cicome
·
2018-01-24 16:07
数据挖掘工程师知识集
数据挖掘的技术过程:数据清理(消除噪音或不一致数据)
数据集成
(多种数据源可以组合在一起)数据选择(从数据库中提取与分析任务相关的数据)数据变换(数据变换或统一成适合挖掘的形式;如,通过汇总或聚集操作)数据挖掘
chs007chs
·
2018-01-19 00:00
软件架构
数据预处理_数据清理
--
数据集成
:将数据由多个数据源合并成一个一致的数据存储,如数据仓库。--数据归约:可以通过如聚集、删除冗余特征或聚类来降低数据的规模。--数据变换:(例如,规范化)可以用来把数据压缩
远有青山
·
2018-01-11 15:53
BigData
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他