#数据集成

机器学习-数据预处理

1、引言数据预处理的主要任务如下：（1）数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性（2）数据集成：集成多个数据库，数据立方体，文件（3）数据变换：规范化（消除冗余属性）和聚集（数据汇总
文哥的学习日记·2019-12-28 01:51

全球100款大数据工具汇总

全球100款大数据工具汇总TalendOpenStudio是第一家针对的数据集成工具市场的ETL(数据的提取Extract.传输Transform.载入Load)开源软件供应商。
Albert陈凯·2019-12-27 00:37

阿里云数据集成平台使用教程

数据集成（DataIntegration）是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道，是阿里集团对外提供的稳定高效
云计算小百科·2019-12-26 04:22

郑州银行OA平台上线，打造城商行智慧办公新标杆

蓝凌承建的该项目，将满足郑州银行在协同作业、实时通讯、移动办公、数据集成等领域新需求，支撑全员协作与企业管理向高效化、精细化、数据化、敏捷化发展，赋能金融服务创新，打造一流精品上市银行！
往事并不随风·2019-12-24 22:57

数据资产成为企业核心竞争力

独立企业数据集成软件提供商Informatica的主席兼首席执行官苏哈比，阿巴斯认为：现在的信息时代唯一最有价值的资产就是数据。要更好地了解客户资要分析款据；提
万鹏鹏·2019-12-21 00:49

易维通圆桌：智能工厂信息化系统数据集成与共享

6月24日易维通圆桌讨论会主题点整理易维通圆桌智能制造系列：智能工厂信息化系统数据集成与共享话题思考1、我们接触过哪些信息化系统？2、信息化系统数据集成最大的困难在哪里？
漠漠彡·2019-12-20 13:13

大数据预处理的方法

数据清洗是指消除数据中存在的噪声及纠正其不一致的错误，数据集成是指将来自多个数据源的数据合并到一起构成一个完整的数据集，数据转换是指将一种格式的数据转换为另一种格式的数据，数据消减是指通过删除冗余特征或聚类消除多余数据
皮皮杂谈·2019-12-17 00:19

BI之SSIS入门、最新版Visual Studio调试技巧以及部分技术栈

“SSIS是MicrosoftSQLServerIntegrationServices的简称，是生成高性能数据集成解决方案（包括数据仓库的提取、转换和加载(ETL)包）的平台。”
牧云_·2019-12-14 15:49

大数据服务运营之数据采集

数据集成要考虑存储架构、采集方式、接口方式、采集周期等。在存储架构方面，可以考虑在数据源侧设置数据暂存区（StagingArea），也可以考虑在采集平台侧设置的暂存区。
aishangniw·2019-12-13 17:23

封装的意义和操作

封装的意义和操作1.学习了面向对象后，接着学习了面向对象的封装和操作，面向对象的封装顾名思义就是把一堆零散的数据集成到一起进行封装，将一些敏感的数据进行封装，不让外界直接访问，通过Set/Get方法来实现间接的访问数据
Newthan·2019-12-13 00:09

Pentaho Report Designer 隔行变色和查询条件横着展示

基于Java平台的商业智能套件，之所以说它是套件是因为它包括一个WebServer平台和几个工具软件：报表、分析、图表、数据集成、数据挖掘等。
_柠梦·2019-12-12 19:46

医院信息集成平台（ESB）数据集成建设方案

一、数据资产目录建设依据卫生部信息化工作领导小组办公室卫生部统计信息中心2011年3月发布的《基于电子病历的医院信息平台建设技术解决方案——业务部分》。临床服务域包含12个二级类目：患者标识、患者服务、入出转、医嘱、病历文书、护理文书、检验、检查、手术麻醉、治疗、输血、健康体检，业务子域共计26个。医院管理域包含4个二级类目：医疗管理、人力资源管理、财务管理、物资及后勤服务管理。共有业务子域共26
CTO老王·2019-12-11 10:00

医院信息集成平台（ESB）数据集成建设方案

一、数据资产目录建设依据卫生部信息化工作领导小组办公室卫生部统计信息中心2011年3月发布的《基于电子病历的医院信息平台建设技术解决方案——业务部分》。临床服务域包含12个二级类目：患者标识、患者服务、入出转、医嘱、病历文书、护理文书、检验、检查、手术麻醉、治疗、输血、健康体检，业务子域共计26个。医院管理域包含4个二级类目：医疗管理、人力资源管理、财务管理、物资及后勤服务管理。共有业务子域共26
·2019-12-11 10:00

I ♥ Logs 第四章 使用日志构建数据系统

日志在分布式数据库内部用于数据流的作用与它在大型组织中用于数据集成的作用之间存在类比。在这两种情况下，它都负责数据流，一致性和恢复。毕竟，一个组织如果不是一个非常复杂的分布式数据系统，那又是什么呢？
Aaron流程思维·2019-12-10 02:42

工作中初遇Ant Design

从图中可以看出，中台相当于是企业的数据集成中心，起着管理数据的功能。言归正传，自己正好接手一个中台项目，为了效率起见，于是启用了AntDesign的开源设计资源。AntDesign是
Sophia的玲珑阁·2019-12-08 08:20

这些传统数据集成的痛，你还在经历吗？

在这些难以言说的痛中间，又有多少是传统数据集成所带来的？
DataPipeline数见科技·2019-12-05 17:00

ETL的两种架构——ETL架构和ELT架构优劣势对比

在AI应用场景下，数据集成有哪些特点？随着AI应用场景越来越多，为什么我们需要从ETL转换到ELT？又会遇到哪些问题和挑战？
DataPipeline数见科技·2019-12-02 16:00

statTarget-基于QC样本的代谢组学数据校正

重复使用相同的QC样本在MSrunorder序列中对信号漂移的评估和校正越来越被接受，尤其有利于提高批次间实验数据的质量，statTarget是一个流线型的工具，它为基于质量控制的信号校正、多批实验的MS数据集成以及基于
Dayueban·2019-12-02 07:51

把Salesforce集成到S/4 HANA需要几步？

「小哈导读」之前收到过投稿文章，介绍数据集成服务的明星企业MuleSoft，被Salesforce以65亿美元的价格收购，文中介绍了MuleSoft的发展历程，以及优势分析，如果你还没读过，可以点击下方链接
小哈公社·2019-11-30 18:25

《数据分析实战45讲》笔记

完成这些任务的流程是这样的：一、准备阶段1、输入数据：2、数据预处理：1、数据清洗2、数据集成3、数据变换3、特征选择标签化就是数据的抽象，特征的选择，用户画像就是特征的选择，我们以用户画像为例。
来自星星的小恩·2019-11-30 08:37

中小企业参考的商业大数据平台

imageCDH是一个大数据集成平台，将主流大数据产品都集成到这个平台中，企业可以使用CDH一站式部署整个大数据技术栈。从架构分层角度，CDH可以分为4层
do_young·2019-11-30 04:10

通过界面进行系统集成方式思考

rpc的方式（如：http）直接调用获取数据或写入数据直接访问数据存储，如直接访问对方系统数据库等通过消息队列进行队列通知接口方式接口方式（包括api和消息队列）是数据交互的经典方式，适用于系统之间的数据集成
心思冷清·2019-11-26 14:04

1分钟了解数据分析挖掘体系

数据预处理数据预处理包含数据清洗、数据集成、数据变换和数据规约几种方法。而数据清洗包括缺失值处理和异常值处理；数据集成包括同名同义、异名同义、单位不统一的实体识别和冗余性识别。
帆软·2019-11-08 16:49

大数据服务运营之数据采集

数据集成要考虑存储架构、采集方式、接口方式、采集周期等。在存储架构方面，可以考虑在数据源侧设置数据暂存区（StagingArea），也可以考虑在采集平台侧设置的暂存区。
易仔阿克·2019-11-08 15:37

大数据服务运营之数据采集

数据集成要考虑存储架构、采集方式、接口方式、采集周期等。在存储架构方面，可以考虑在数据源侧设置数据暂存区（StagingArea），也可以考虑在采集平台侧设置的暂存区。
易仔阿克·2019-11-08 14:55

数据中台构建产品Dataphin到底能支持哪些数据源？

作者：王腾[更多内容详见数据中台官网https://dp.alibaba.com]业务数据存储是业务系统最基本的构成，构建数据中台，就是要将这些数据集中起来放到一个有更强算力的地方集中处理，所以对于数据集成的能力是构建数据中台最基本要求
技术小能手xihaha·2019-11-07 23:00

构建实时数据集成平台，这4个因素怎能不注意！

随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。由于数据散落在不同的数据库、消息队列、文件系统中，计算平台如果直接访问这些数据，会遇到可访问性和数据传输延迟等问题。在一些场景下，计
yoku酱·2019-11-07 13:44

DataPipeline丨构建实时数据集成平台时，在技术选型上的考量点

文|陈肃DataPipelineCTO随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。由于数据散落在不同的数据库、消息队列、文件系统中，计算平台如果直接访问这些数据，会遇到可访问性
DataPipeline·2019-11-04 07:28

通过阿里云maxcompute快速构建数据仓库

前期技术选型image.png技术选型确定鉴于开发资源,以及尚无大数据的技术基础,选用了可以快速上手的阿里云maxcompute服务开发流程图:image.pngmaxcompute组件,大致分为几部分:1.数据集成
聚变·2019-11-03 05:12

Kettle入门之一 介绍、安装

数据整合是吧在不同数据源的数据收集、整理、清洗、转换（有点像ETL）后，加载到一个新的数据源，为数据使用者提供统一数据视图的数据集成方式。
开心跳蚤·2019-11-03 01:58

基于房源的画像分析

场景描述：将公司分散在各个系统的数据集成起来，形成完整统一的画像信息，以支持产品迭代、提高运营效率、方便数据分析，满足日常运营报表需求。该认证通过对房源房屋相关数据进行整合，形成房源分析画像。
阿里云大学百科·2019-11-02 05:10

Hive学习笔记 —— Hive概述

数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集成，它用于支持企业或组织的决策分析处理。面向对象的：仓库中的数据是按照一定的主题进行组织的。
慢行慢行·2019-10-28 21:30

数据中台构建产品Dataphin到底能支持哪些数据源？

作者：王腾[更多内容详见数据中台官网https://dp.alibaba.com]业务数据存储是业务系统最基本的构成，构建数据中台，就是要将这些数据集中起来放到一个有更强算力的地方集中处理，所以对于数据集成的能力是构建数据中台最基本要求
大涛学长·2019-10-26 13:30

从关系型数据库到分布式机器学习，揭秘腾讯大数据十年发展历程

如今，大数据技术逐渐成熟，涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来，大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。
腾讯技术资讯·2019-10-23 13:44

XML解析——Java中XML的四种解析方式

www.cnblogs.com/longqingyang/p/5577937.htmlXML解析——Java中XML的四种解析方式XML是一种通用的数据交换格式,它的平台无关性、语言无关性、系统无关性、给数据集成与交互带来了极大的方便
mhHao·2019-10-20 16:26

从关系型数据库到分布式机器学习，揭秘腾讯大数据十年发展历程

如今，大数据技术逐渐成熟，涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来，大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。 
腾讯资讯·2019-10-18 18:33

ODI基本操作

TOC]概述ODI(OracleDataIntegrator)是Oracle在2006年10月收购Sunopsis公司后，整合SunopsisActiveIntegrationPlatform而推出的一款数据集成工具
zero·2019-10-15 05:12

大数据之路之如何构建数据仓库(上云-建模-应用)

1、如何数据集成，有哪些注意事项，工具选型。2、数据仓库的主体域如何构建，有什么痛难点。3、随时间的变化，数据仓库越来越大，历史数据如何处理？4、针对维度表，时间维度表如何进行构建。
Mochou_liqb·2019-10-04 21:17

数据治理平台工具前世今生

广义上讲，数据治理是对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节
木东居士·2019-09-27 12:16

大数据学习根据应用目标，主要可以划分为哪三个阶段？

一句话，做好全局数据集成解决数据孤岛问题！
duozhishidai·2019-09-26 19:14

SPARK 2.2.1 SQL处理各种数据源的案例与解读

SPARK2.2.1SQL处理各种数据源的案例与解读由于集团下的各个子公司在数据集成之前，使用数据有多种格式，因此需要支持多种数据来源的处理，将各个子公司的不同数据源集成到集团统一的大数据平台下。
段智华·2019-09-26 18:12

中控考勤机使用 zkemkeeper SDK订阅考勤数据事件失效解决方式

问题前同事编写的对中控考勤机数据集成项目当中，打卡数据不能实时进行上传到平台当中，一直靠定时全量上传来同步数据。
蓝曈魅·2019-09-25 16:00

《R语言数据挖掘》读书笔记：四、高级分类算法

（策略：模型平均）为了提升分类的准确率，提出了集成方法（EM）集成方法就是基于多个基础分类器来构建组合的分类器（每个基学习器都犯不同的错误，综合起来犯错的可能性不大）每个基础分类器的训练过程基于不同的数据集成或者是对源是训练数据集进行又放回的抽样得到的训练数据集进行训练
Nelson_hehe·2019-09-25 10:57

Activiti指南（部署流程定义）

如果工作经验在3年或以下，那么只需简单地、一般地、自动地将数据集成到一个伪后端系统中。Activ
博弈·2019-09-05 00:00

数据分析系列之数据预处理

在数据挖掘过程中,海量的原始数据存在大量的不一致,有缺失的数据,严重影响到数据挖掘的效率和准确率,数据清洗尤为重要,数据清洗之后进行或同时进行数据集成,转换,规约等一系列过程,该过程就是数据预处理.数据预处理一方面提高数据质量
Rcvisual·2019-09-03 18:25

数据集成、变换、归约及相关MATLAB工具箱函数

数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约，在数据挖掘的过程中，数据预处理工作量占到了整个过程的60%。数据清洗在上一篇博客中写过，这里主要写后面三部分。
cruelty_angel·2019-09-02 23:00

探秘百度数据工厂Pingo的多存储后端数据联合查询技术

Pingo是来自百度的离线大数据集成开发平台，使用Spark作为计算引擎，深度整合了资源调度、文件系统、元数据管理、工作流管理、交互式Notebook查询等功能。
Alluxio·2019-08-27 23:03

大数据平台架构03_ETL和数据管理

2.数据集成ETL数据仓库的数据集成也叫ETL（抽取：extract、转换：transform、加载：load），是数据平
清平の乐·2019-08-27 11:32

什么是数据仓库

目录一、什么是数据仓库二、数据集成：ETL三、主流的数据仓库简介一、什么是数据仓库我们先从一个故事开始:在很久很久以前，世界上生活着许多种族，有人类，有矮人，有精灵......他们有着不同的信仰，不同的文化
回锅肉不回锅了·2019-08-18 18:49

数据集成工具ETL到KAFKA

二、数据集成发展历史ETLNehaNarkhede（Confluent创始人，kafka）观点：ETL已死，而实时流长存；来自各种操作性数据库的数据会以批处理的方式加载到数据仓库的主模式中，批处理运行的周期可能是每天一次或两次
Hanson.·2019-08-14 18:22
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他