#数据集成

为何说数据映射是数据集成任务的第一步？

数据集成在把多个来源（应用程序、设备、数据库等）的数
读芯术·2019-08-14 15:10

《Python数据分析与挖掘实战》第四章 数据预处理

主要包括数据清洗、数据集成、数据变幻和数据规约。数据清洗删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值等。
大美mixer·2019-08-13 11:00

KETTLE数据集成：sqlserver 中bit（布尔型）如何集成到ORACLE数据库

今天在数据抽取时，遇见不同数据库数据数据类型转化的问题。纠结了很久，终于解决啦，这里分享给大家：在SQLServer中，bit数据类型是布尔型，只存储三种值，0、1和null。要将SQLserver中为Bit数据类型抽取到oracle数据库，我们首先想到的是在ORACLE中设置一个相同的数据类型，比如：number、或者varchar2。备注：oracle数据库中并没有布尔型的数据类型。但是结果是
夜希辰·2019-08-12 23:39

DataPipeline CTO 陈肃：我们花了3年时间，重新定义数据集成

目前，中国企业在×××通、交换、利用等方面仍处于起步阶段，但是企业应用数据集成市场却是庞大的。
DataPipeline·2019-08-01 15:17

DataPipeline CTO 陈肃：我们花了3年时间，重新定义数据集成

目前，中国企业在大数据流通、交换、利用等方面仍处于起步阶段，但是企业应用数据集成市场却是庞大的。
DataPipeline数见科技·2019-08-01 14:00

大数据之路之数据上云解决方案(全量)

定义：数据上云又称数据采集，数据集成，数据迁移，是大数据架构中的最基础也是最根本的一环，从性质上来讲属于ETL中的一部分操作，即把数据从一个地方迁移汇总到另外一个地方。
Mochou_liqb·2019-07-19 16:57

华为智能数据解决方案FusionData荣获“尖峰开源技术创新奖”

FusionData是华为推出的融数据集成、数据存储、数据分析、数据治理能力为一体的智能数据解决方案。在Hadoop、Spark等开源项目基础上
qq_31147847·2019-07-04 17:04

数据挖掘 知识梳理 学习笔记 复习

VolumeVelocityVarietyVeracity数据挖掘任务关联分析聚类分类/预测离群点分析数据挖掘定义从大量的数据中挖掘那些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识知识发现流程数据清理:消除噪声和删除不一致数据数据集成
HeronZhang·2019-06-27 18:34

大数据预处理之数据集成

数据处理常常涉及数据集成操作，即将来自多个数据源的数据，如数据库、数据立方、普通文件等，结合在一起并形成一个统一数据集合，以便为数据处理工作的顺利完成提供完整的数据基础。
QYUooYUQ·2019-06-26 15:45

Oracle GoldenGate 详解

1、应用场景1)高可用容灾2)数据库迁移、升级（支持跨版本、异构数据库、零宕机时间、亚秒级恢复）3)实时数据集成（支持异构数据库、多源数据库）2、常用拓扑（下图来自网络）3、支持
YumWisdom·2019-06-21 10:42

数据集成--ETL工具

最有代表性的，美团合并了大众点评，两家外卖平台的数据必须整合在一起，才能发挥更大的商业价值----数据集成。
benxiaohai529·2019-06-15 11:00

DataPipeline如何实现数据质量管理？

帮助企业解决在数据集成过程中遇到的数据质量相关问题。DataPipeline数据质量管理DataPipelineQuality流式数据质量检查，提供了基础清洗规则配置和高级清洗功能，
DataPipeline数见科技·2019-06-14 15:00

ARIMA/Sarima与LSTM的时间序列数据集成学习

动机传统时间序列预测中最常使用到的时间序列模型有以下五种，包括：自回归(AR)模型移动平均(MA)模型自回归移动平均(ARMA)模型差分自回归移动平均模型(ARIMA)季节性差分自回归移动平均模型(SARIMA)模型。自回归AR模型以时间序列的前一个值和当前残差来线性地表示时间序列的当前值，而移动平均MA模型则用时间序列的当前值和先前的残差序列来线性地表示时间序列的当前值。ARMA模型是AR模型和
Poo_Chai·2019-06-05 19:08

DataPipeline丨构建实时数据集成平台时，在技术选型上的考量点

文|陈肃DataPipelineCTO随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。由于数据散落在不同的数据库、消息队列、文件系统中，计算平台如果直接访问这些数据，会遇到可访问性
DataPipeline数见科技·2019-06-04 16:00

DataPipeline丨构建实时数据集成平台时，在技术选型上的考量点

文|陈肃DataPipelineCTO随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。由于数据散落在不同的数据库、消息队列、文件系统中，计算平台如果直接访问这些数据，会遇到可访问性
DataPipeline·2019-06-04 16:10

为什么公司应该采用智能数据集成(SCP-SDI)来优化他们的数据策略

在SAP的基础安装过程中，企业已经开始利用HANA和HANA云平台来使用技术增强业务流程。然而，所有企业的CIO都想了解应该如何管理数据，对于他们来说，面对的挑战主要包括以下方面：这些数据是否可以进行本地或是远程访问？是否可以在不影响当前结构的情况下将数据复制到另一个环境中?数据是否可以进行复杂的转换？现在，所有的问题可以通过SmartDataIntegration(SDI)来处理。因此，企业ci
消失黎明·2019-05-31 18:13

全球100款大数据工具汇总

1、TalendOpenStudio是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。
大数据框架Hadoop学习·2019-05-19 21:00

XML解析——Java中XML的四种解析方式

转自https://www.cnblogs.com/longqingyang/p/5577937.htmlXML是一种通用的数据交换格式,它的平台无关性、语言无关性、系统无关性、给数据集成与交互带来了极大的方便
DK_ing·2019-05-18 10:01

Java设计模式综合运用(门面+模版方法+责任链+策略)

本文也同步发布至简书，地址：https://www.jianshu.com/p/962...1.项目背景在公司的一个实际项目中，需要做一个第三方公司（以下简称GMG）的系统集成工作，把该公司的一些订单数据集成到自己公司平台下
landy8530·2019-05-18 00:00

袋鼠云数据中台专栏2.0 | 数据中台之数据集成

原文链接：https://my.oschina.net/u/3869098/blog/3050709关于袋鼠云数据中台专栏V2.0数据中台如何定义？企业数据化与数据中台的关系是什么？数据中台如何支撑企业战略转型？袋鼠云近两年来，先后为国内数十家大型龙头企业提供数据中台咨询与实施落地服务，积累了大量的实战经验，同时也在为客户服务的过程中，不断完善和升华自身的数据中台理论体系和实践方法论。希望通过后续
chudufan0339·2019-05-17 10:00

好用的APS系统是什么样的？这篇文章来告诉你！

APS系统：实现生产、业务数据集成人工、手工作业模式下，
慧都科技智能制造·2019-05-14 17:00

kafka要点概括

可以按照要求存储数据，保存多久都可以（3）流式处理将数据处理的层次提高到了新高度kafka和Hadoop的比较kafka是实时流式数据处理，适用应用于业务系统，Hadoop更擅长数据分析kafka和其他数据集成工具的比
luohuan519·2019-05-09 10:41

大数据架构师深入学习视频教程

【大数据教程内容】大数据集成：主要介绍目前很火的ELK框架中的filebeat和logstash，相比较flume
fengliaoai·2019-04-23 08:03

R语言进行数据预处理

数据预处理有四个任务：数据清洗、数据集成、数据变换、数据规约。1、数据清洗目的：去除数据集中的噪声和无关数据、缺失值。
daydayup8888·2019-04-15 18:11

阿里云ACP认证考试细则须知与考题内容学习方法分享

是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证，主要涉及阿里云大数据类的几款核心产品，包括大数据计算服务MaxCompute、数据工场DataWorks（原大数据开发套件DataIDE）、数据集成
xtyly1·2019-04-15 11:06

大数据运营，在网络游戏行业上的发展空间？

1、前世今生从大数据进入游戏行业以来，大概经历了几个阶段数据仓库和数据集成阶段，以mysql、oracle为代表的关系型数据库作为数据集成工具，以手动sql查询
duozhishidai·2019-04-03 11:45

通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析

help.aliyun.com/document_detail/68322.html但是会遇到大家在分区上或者DataWorks调度参数配置问题，具体拿到真实的case模拟如下：创建数据源：步骤1、进入数据集成
阿里云云栖社区·2019-04-02 00:00

数据预处理

数据集成将多个数据源合并存放在一个一致的数据存储（如数据仓库）中的过程。实体识别同名异义异名同义单位不统一冗余属性识别同一属性多次出现同一属性
第51区·2019-03-27 13:08

国外专家预测2019年数据架构趋势

2019年的其他趋势还包括:数据治理对于大数据项目来说是一个巨大的挑战——65%的DBTA用户表示数据集成对大数据项目也是一个巨大的挑战——59%的DBTA用户表示数据库性能是一个日益严重的问题——64%
ctkx13896·2019-03-19 12:54

地图可视化方案优缺点总结

没有和数据处理工具集成（pyecharts后来出来的，貌似不太成熟），数据集成度
饮马长城窟·2019-03-12 08:40

基于房源的画像分析

场景描述：将公司分散在各个系统的数据集成起来，形成完整统一的画像信息，以支持产品迭代、提高运营效率、方便数据分析，满足日常运营报表需求。该认证通过对房源房屋相关数据进行整合，形成房源分析画像。
阿里云大学百科·2019-02-26 10:07

制造企业车间过程信息管理自动化系统

系统可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、生产报工、生产过程控制、底层数据集成分析、上层数据集成分解等模块管理。
zhiheits·2019-02-24 09:39

使用Logic App监控Azure事件

LogicApps简化了您为应用程序集成，数据集成，系统集成，企业应用程序集成（EAI）和企业对企业（B2B）通信设计和构建可扩展解决方案的方式，无论是在云中，内部还是两者。
wuyvzhang·2019-01-29 11:19

数据集成--ETL工具

最有代表性的，美团合并了大众点评，两家外卖平台的数据必须整合在一起，才能发挥更大的商业价值----数据集成。
qiu_zhi_liao·2019-01-13 18:41

RGB-Infrared Cross-Modality Person Re-Identification---阅读

论文地址源码地址，python2版本项目地址一提出背景多模态的研究很少，跨白天夜晚红外场景凭这点，作者问鼎顶会toppaper二创新点提出SYSU—MM01数据集，该数据集成为多模态研究领域重磅数据集提出深度零度填充
WJ_MeiMei·2019-01-11 16:57

设计数据仓库

构建数据仓库，要从数据模型、数据集成、粒度设计和分区设计这四个方面着手，迭代式开发。
悦光阴·2019-01-04 09:00

设计数据仓库

构建数据仓库，要从数据模型、数据集成、粒度设计和分区设计这四个方面着手，迭代式开发。
悦光阴·2019-01-04 09:00

2019年将面临的云计算挑战

1、数据集成数据集成工作常常被搁置一边。
新睿云-XRcloud·2018-12-29 18:00

Spring系列学习之Spring Cloud Data Flow 微服务数据流

SpringSpring数据流SampleProjectsRelatedProjectsCustomerCaseStudiesVideosSpringCloud数据流SpringCloudDataFlow是用于构建数据集成和实时数据处理管道的
boonya·2018-12-25 21:30

如何选择正确的数据集成工具

而这又带来了新的问题——我们该如何选择正确的数据集成工具，从而对各类数据加以归纳?今天的文章将就此展开探讨。大数据数据不在一个数据库，文件系统，数据库或存储库中。
haotian1685·2018-12-18 10:16

MES系统在电子工厂的发展

MES可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块
效率智能制造·2018-12-18 09:10

阿里云 数加 · DataWorks 数据同步

进入dataworks2.0控制台在左侧数据发开中新建业务流程，我们可以在数据集成中创建数据同步任务，进行数据的双向同步；当然我们首先确保我们已经添加数据源，即将我们的业务数据库地址添加至数据源，才能到这里创建数据同步任务
RedPintings·2018-12-10 18:39

盘点：基于云的数据集成工具

随着IT架构越来越复杂，系统往往需要连接各种不同的数据和服务，而实现这一功能的工具就是基于云的数据集成工具，通过云计算连接、管理和集成不同的数据源，并按需提供数据，为用户提供价值。
cop66589·2018-12-10 14:24

XML解析——Java中XML解析方式DOM4j

xml是一种通用的数据交换格式，具有平台无关性，语言无关性，系统无关性，给数据集成带来了极大方便。XML在不同语言中解析方式都是一样的，只是的语法不同。XML解析方式分四种：1.DOM
ZoeShuang·2018-12-05 10:33

什么是数据转换？

数据转换对于数据集成和数据管理等活动至关重要。数据转换可以包括一系列活动：您可以转换数据类型，通过删除空值或重复数据来清理数据，丰富数据或执行聚合，具体取决于项目的需要。通常，该过程涉及两个阶段。
cite5110·2018-12-03 17:42

JSON数据从MongoDB迁移到MaxCompute最佳实践

摘要：本文为您介绍如何利用DataWorks数据集成直接从MongoDB提取JSON字段到MaxCompute。数据及账号准备首先您需要将数据上传至您的MongoDB数据库。
阿里云云栖社区·2018-11-28 00:00

JSON数据从OSS迁移到MaxCompute最佳实践

本文为您介绍如何利用DataWorks数据集成将JSON数据从OSS迁移到MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。
阿里云云栖社区·2018-11-15 00:00

工业互联网平台核心技术之六：安全技术

工业互联网平台需要解决多类工业设备接入、多源工业数据集成、海量数据管理与处理、工业数据建模分析、工业应用创新与集成、工业知识积累迭代实现等一系列问题，涉及七大类关键技术，分别为数据集成和边缘处理技术、IaaS
物联研究·2018-11-04 17:48

数据湖（Data Lake）

这周看了一篇关于数据集成的会议论文--《QualityBasedDataIntegrationforEnrichingUserDataSourcesinServiceLakes》，文中提到了“数据湖”的概念
Constantdropping·2018-11-02 16:43

Python数据预处理知识点总结

数据预处理主要包括数据清洗、数据集成、数据变换和数据规约四个部分。1、数据清洗：删除原始数据集中的无关数据、重复数据、平滑噪声数据，处理缺失值、异常值等。
郑允豪@Smart3S·2018-10-27 22:16
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他