#数据集成

DataWorks 功能实践 — 生产开发环境隔离

DataWorks功能实践速览02期——独享数据集成资源组：为您介绍进行数据同步时，可使用的资源组与网络连通方案、注意事项。
·2021-08-31 13:47

星环科技 TDS 联邦计算能力，让企业异构数据源数据合作畅通无阻

传统方式是数据集成（ETL）后再做分析，但目前需求在变化，数据源也在变化，数据集成系统越来越庞大，导致响应变化的速度越来越慢，逐渐出现灵活度低、过程复杂、难以管理等问题。
·2021-08-24 19:39

DataWorks 功能实践速览

功能推荐：独享数据集成资源组如上期数据同步解决方案介绍，数据集成的批数据同步任务运行时，需要占用一定的计算资源，这些资源即资源组，通常先从数据来源所在的机器抽取数据至资源组所在的机器，再推送至目标数据源所在的机器
·2021-08-18 14:18

DataWorks功能实践速览

往期回顾：DataWorks功能实践速览01期——数据同步解决方案功能推荐：独享数据集成资源组如上期数据同步解决方案介绍，数据集成的批数据同步任务运行时，需要占用一定的计算资源，这些资源即资源组，通常先从数据来源所在的机器抽取数据至资源组所在的机器
·2021-08-18 14:17

如何将业务系统的数据抽取汇聚到数据中台？

简介：数据集成是简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。
·2021-08-16 20:46

01 DataBricks+DataFactory介绍

本文主要介绍DataFactory、DataBricks.有兴趣的可以看官方文档DataFactoryAzure数据工厂是Azure的云ETL服务，用于横向扩展无服务器数据集成和数据转换。
·2021-08-16 20:41

Dataphin功能：集成——如何将业务系统的数据抽取汇聚到数据中台

简介：数据集成是简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。
·2021-08-13 11:40

kafka-2.7.0（四）kafka Connect

简述KafkaConnect是一个高伸缩性、高可靠性的数据集成工具，用于在ApacheKafka与其他系统间进行数据搬运以及执行ETL操作，比如KafkaConnect能够将文件系统中某些文件的内容全部灌入
_大叔_·2021-07-07 17:14

基于中移和物的智能家居监控系统实训报告

一、实验背景在oneNET平台实现NB-IOT方式的温湿度检测以及数据集成和展现，OneNET平台还有更多功能拓展，如基于MQQTT协议的设备互通等，使终端设备在OneNET平台支撑下更加智能，更好的为用户服务
日月yy·2021-06-29 14:54

公益AI-TASK06-批量归一化和残差网络；凸优化；梯度下降

学习目标一、批量归一化和残差网络二、凸优化三、梯度下降一、批量归一化和残差网络我的理解：把一堆凌乱的数据集成比例的缩放、改造，生成一个均值mean为0方差std为1的操作，批量batch是对应喂数据是一批一批的
Andrew_zjc·2021-06-27 19:21

了解数据挖掘

数据挖掘是从已有数据中去提取所需的知识，很多人把数据挖掘视为数据中的知识发现的同义词，另一些人把数据挖掘视为知识发现的基本步骤，具体步骤如下：（1）数据清理（消除噪声和不一致数据）（2）数据集成（多种数据源可以组合在一起
鏡师·2021-06-23 20:40

xml 解析的四种方式

方式XML是一种通用的数据交换格式,它的平台无关性、语言无关性、系统无关性、给数据集成与交互带来了极大的方便。XML在不同的语言环境中解析方式都是一样的,只不过实现的语法不同而已。
一一垚·2021-06-22 10:42

机器学习--数据预处理

三.数据预处理的功能①数据集成(DataIntegration)统一原始数据的矛盾之处(如命名、结构、单位、含义)：如字段的同名异义、异名同义、单位不统一、
YCzhao·2021-06-08 05:52

数据治理：说起来容易，做起来难？2020-12-02

于是乎，我们看到：不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商在说数据治理，“BATJ”等互联网公司，大型国企、央企也都在谈数据治理，很多企业都将数据治理作为数字化战略的一项必要举措
华矩数诊台·2021-06-06 23:34

云计算数据管理的四个组成部分

从创新触发入门阶段的数据操作和机器学习支持的数据管理，到接近生产力高峰的数据集成和信息归档——虽然云计算正迅速成为公认的行业标准，但数据管
亚原子·2021-06-06 11:24

ERP系统中财务管理的特点及优缺点分析

ERP系统中财务管理的特点1.数据集成化财务和企业的产、供、销各环节完全集成，并能产生互动，整个集团是一体的。财务报表是对企业经营活动的反映，其数据源于各业务部门(如人、财、物、供、产、销)。
智能制造1991·2021-06-05 05:59

软件开发公司遇到的MES系统和ERP系统如何进行集成？

MES系统和ERP系统主要在三个地方需要集成一、基础数据集成ERP系统进行“组织机构”维护，并【同步】到MES系统“组织机构”；ERP系统进行“人员信息”维护，并【同步】到MES系统“人员信息”；ERP
蓝海汇·2021-06-04 09:44

数据治理的背景

广义上讲，数据治理是对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等，整个数据生命期而开展开的业务
明月十四桥·2021-05-25 11:12

数据治理工具

元数据管理：包括元数据采集、血缘分析、影响分析等功能数据标准管理：包括标准定义、标准查询、标准发布等功能数据质量管理：包括质量规则定义、质量检查、质量报告等功能数据集成管理：包括数据处理、数据加工、数据汇集等功能数据资产管理
明月十四桥·2021-05-25 11:25

数据挖掘入门小知识

什么是数据挖掘数据挖掘（DataMining）又称为：数据中的知识发现（KDD），也就是通过数据清理，数据集成，数据选择，数据变换，数据挖掘，模式评估，知识表示等一系列步骤，对数据进行分类，聚类，发现其中的关系或者离群点
徐代龙·2021-05-20 16:36

基于kettle的数据集成平台用户手册

基于kettle的数据集成平台访问地址：http://39.96.70.169:8088用户名：admin密码：admin用户手册下载地址：https://download.csdn.net/download
qingxinziran007·2021-05-12 00:39

数据仓库设计

文章目录数据仓库设计一、数据仓库的功能和应用场景1.OLTP：联机事务处理2.OLAP:联机分析处理3.数据仓库功能4.数据仓库应用二、数据仓库的特点1.面向主题2.数据集成3.非易失/稳定性4.时变性
Xiao Miao·2021-05-09 22:23

数据仓库设计要点

数据仓库设计要点联机处理OLTP联机事务处理OLAP联机分析处理数据仓库功能应用场景特点面向主题数据集成非易失性/稳定性时变性/动态性核心流程ETL数据采集阶段过滤转换补全数据存储阶段分层建模指标设计常见指标其它指标维度设计常见维度下钻与上卷渐变维度建模
杀智勇双全杀·2021-05-09 22:46

数据分析系列 之python中数据探索与预处理

1概述1.1数据探索检查数据错误，了解数据分布特征和内在规律1.2数据预处理数据清洗Datacleaning数据集成Dataintegration数据变换Datatransformation数据规约Datareduction2
琅晓琳·2021-05-04 12:49

大数据开发套件DataIDE使用教程

阿里云大数据开发平台（DataIDE）是一款集数据开发、数据管理、离线调度、在线运维和数据集成工具为一体的在线大数据开发运维平台，它不仅能够解决上图中各种问题，还可以为用户节省很多的精力和资金。
阿里云大学百科·2021-05-04 10:09

详解Java解析XML的四种方法（推荐使用DOM4J，因为for Java）

前言XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。
活这么大就没饱过·2021-04-29 00:53

缺失值处理1

数据预处理步骤有数据清洗、数据集成、数据变换、数据规约。实际工作中不是每一步都必须。
apricoter·2021-04-24 19:03

知乎的 Flink 数据集成平台建设实践

简介：本文由知乎技术平台负责人孙晓光分享，主要介绍知乎Flink数据集成平台建设实践。内容如下：1.业务场景；2.历史设计；3.全面转向Flink后的设计；4.未来Flink应用场景的规划。
阿里云云栖号·2021-04-23 09:53

Pentaho/Jaspersoft/Talend/Splunk

www.csdn.net/article/2014-04-15/2819321-bigdata-tools-opensource分析和报告工具：Jaspersoft(报告和分析服务器)Pentaho(数据集成和业务分析
葡萄喃喃呓语·2021-04-22 19:15

二、数据仓库和数据挖掘的OLAP技术

数据仓库和数据挖掘的OLAP技术引言一、什么是数据仓库二、数据仓库的关键特征2.1、面向主题2.2、数据集成2.3、随时间而变化2.4、数据不易丢失三、数据仓库的构建和使用四、数据仓库与操作数据库系统五
Yuka_bro·2021-04-21 17:20

数据挖掘-数据预处理

数据预处理的主要步骤包括数据清理、数据集成、数据归约和数据变换。数据清理可以用来清除数据中的噪声，纠正不一致。数据集成将数据由多个数据源合并成一个一致的数据存储，如数据仓库。
cccshuang·2021-04-21 15:39

知乎的 Flink 数据集成平台建设实践

摘要：本文由知乎技术平台负责人孙晓光分享，主要介绍知乎Flink数据集成平台建设实践。
Ververica·2021-04-13 18:00

UDTS上线数据集成服务，汇聚多源数据帮助企业高效分析决策

背景由于不同业务的数据存储和应用需求不同，企业通常会将不同业务产生的数据分别存储在独立的数据库中。随着业务架构的不断调整，以及受开发过程的影响，原先分开存储的数据库逐渐暴露出一些问题：1、数据分散在不同的数据库实例上，形成独立的数据孤岛，难以实现数据的聚合分析。传统的通过MySQL主从关系同步数据的方式，在MySQL5.7版本之前无法建立多对一的增量同步关系。MySQL5.7版本虽然推出了多源复制
·2021-04-07 21:49

基于kettle的数据集成平台（三）

上篇文章主要介绍了使用kettle平台实现文档的高效解析。通过上传文档和下载文档的方式，来对各种异构文档进行数据格式的统一。本篇文章进行介绍kettle平台的其他高级功能，即：mqtt与websocket的相互转换。场景描述：需求：物联网平台的数据处理。大家知道，物联网平台的数据处理过程：硬件设备层——》数据收集层——》业务逻辑层——》展示层。物联网平台的主要数据传输协议有mqtt，coap，ht
qingxinziran007·2021-04-07 16:37

UDTS上线数据集成服务，汇聚多源数据帮助企业高效分析决策

背景由于不同业务的数据存储和应用需求不同，企业通常会将不同业务产生的数据分别存储在独立的数据库中。随着业务架构的不断调整，以及受开发过程的影响，原先分开存储的数据库逐渐暴露出一些问题：1、数据分散在不同的数据库实例上，形成独立的数据孤岛，难以实现数据的聚合分析。传统的通过MySQL主从关系同步数据的方式，在MySQL5.7版本之前无法建立多对一的增量同步关系。MySQL5.7版本虽然推出了多源复制
·2021-04-01 17:18

从实战中了解数据开发全流程——DataWorks OpenAPI实战

简介：DataWorks作为飞天大数据平台操作系统，历经11年发展，形成了涵盖数据集成、数据开发、数据治理、数据服务的一站式大数据开发治理平台。
·2021-04-01 03:41

鸽子学Python 之 Pandas数据分析库

1.1Series1.2DataFrame2数据查看3数据输入与输出3.1CSV3.2EXCEL3.3HDF53.4SQL4数据选取4.1获取数据4.2标签选择4.3位置选择4.4布尔值索引4.5赋值操作5数据集成
南越鸽子·2021-03-30 21:45

网易游戏基于 Flink 的流式 ETL 建设

内容包括：业务背景专用ETLEntryX通用ETL调优实践未来规划一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库
·2021-03-30 17:33

网易游戏基于 Flink 的流式 ETL 建设

一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库。
·2021-03-30 11:15

网易游戏基于 Flink 的流式 ETL 建设

一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库。此后，业务
DevolperFront·2021-03-22 14:35

网易游戏基于 Flink 的流式 ETL 建设

内容包括：专用ETLEntryX通用ETL调优实践未来规划一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库
·2021-03-19 11:25

软件测试的类型划分

集成测试分为两个级别：子系统间的数据集成测试、不同系统间的数据集成测试。3、ST测试  即把计算机硬件、计算机软件、网络、外设等其它元素统统结合在一起，进行的测试。
泡_泡茶壶·2021-03-18 01:45

网易游戏基于 Flink 的流式 ETL 建设

内容包括：专用ETLEntryX通用ETL调优实践未来规划一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库
·2021-03-17 15:32

网易游戏基于 Flink 的流式 ETL 建设

内容包括：业务背景专用ETLEntryX通用ETL调优实践未来规划一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库
·2021-03-13 04:04

网易游戏基于 Flink 的流式 ETL 建设

内容包括：业务背景专用ETLEntryX通用ETL调优实践未来规划一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库
·2021-03-13 04:34

基于房源的画像分析

阿里云大学课程：基于房源的画像分析课程介绍：场景描述：将公司分散在各个系统的数据集成起来，形成完整统一的画像信息，以支持产品迭代、提高运营效率、方便数据分析，满足日常运营报表需求。
阿里云大学百科·2021-03-11 03:49

详解MySQL实时同步到Oracle解决方案

2技术原理采用灵蜂数据集成软件BeeDI将MySQL数据实时同步到Oracle，通过ETL全量同步历史数据，通过日志解析方式实时同步增量数据。受限于日志空间，如果将所
·2021-03-09 22:30

基于 Flink SQL 构建流批一体的 ETL 数据集成

摘要：本文整理自云邪、雪尽在FlinkForwardAsia2020的分享，该分享以4个章节来详细介绍如何利用FlinkSQL构建流批一体的ETL数据集成,文章的主要内容如下：数据仓库与数据集成数据接入
Ververica·2021-02-25 21:00

机器学习概览

机器学习概览前言一、数据预处理1.数据清理2.数据集成3.数据规约4.数据变换二、回归1.简单的线性回归2.线性回归正则化3.多元线性回归三、分类1.逻辑回归2.KNN3.决策树4.SVM四、集成1.bagging2
马老师teacherma·2021-02-23 12:08

在.NET中使用Apache Kafka（一）

许多公司和开发者利用它的强大功能来创建高性能的异步操作，用于微服务的数据集成，以及用于应用程序健康指标的监控工具。
·2021-02-22 11:41
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他