#数据集成

数据中台架构原理与开发实战：数据集成与数据交换

作者：禅与计算机程序设计艺术1.背景介绍数据中台（DataStudio）是由数据团队在业务部门和技术部门协同下，通过构建统一的数据运维中心，实现数据集成、数据质量管理、数据分析及数据价值转化等数据的价值的一种方法论
禅与计算机程序设计艺术·2023-12-21 09:56

数据挖掘概述+探索+预处理(期末)

步骤:数据清洗数据集成数据选择数据变换
ros275229·2023-12-21 06:18

【华为数据之道学习笔记】6-1什么是数据服务

数据服务和传统集成方式有很大区别，数据的使用方（不仅仅是IT系统人员，也可以是具体业务人员）不再需要点对点地寻找数据来源，再点对点地进行数据集成，从而形成错综复杂的集成关系，而是通过公共数据服务按需获取各类数据
码农丁丁·2023-12-21 06:20

Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换

Flink系列之：基于FlinkCDC2.0实现海量数据的实时同步和转换一、CDC技术二、FlinkCDC技术三、传统数据集成方案的痛点1.传统数据入仓架构1.02.传统数据入仓架构2.03.传统CDCETL
最笨的羊羊·2023-12-20 23:48

Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架

01FlinkCDC概述FlinkCDC是基于数据库日志CDC（ChangeDataCapture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性
Apache Flink·2023-12-20 23:16

Flink cdc3.0同步实例（动态变更表结构、分库分表同步）

schema变更自动同步、整库同步、分库分表等增强功能使FlinkCDC3.0在更复杂的数据集成与用户业务场景中发挥作用：用户无需在数据源发生schema变更时手动介入，
yyoc97·2023-12-20 23:39

DataX迁移MongoDB

DataX迁移MongoDB项目地址：GitHub-alibaba/DataX:DataX是阿里云DataWorks数据集成的开源版本。
雨打夏夜·2023-12-20 06:47

软信天成数据集成平台、数据资产管理平台与达梦数据库完成产品兼容互证

日前，由我司自主研发的数据集成平台（ETL）、数据资产管理平台与武汉达梦数据库股份有限公司的达梦数据库管理系统V8（简称DM8）已顺利完成产品兼容性测试及互认证工作。
软信数据研究院·2023-12-19 20:51

基于Apache SeaTunnel构建CDC数据同步管道

ApacheSeaTunnel作为一个先进的数据集成开发平台，提供了构建高效CDC数据同步管道的可能性。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

ApacheSeaTunnel作为一个先进的数据集成开发平台，提供了构建高效CDC数据同步管道的可能性。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

ApacheSeaTunnel作为一个先进的数据集成开发平台，提供了构建高效CDC数据同步管道的可能性。
DolphinScheduler社区·2023-12-19 13:29

Aloudata 余俊：数据虚拟化技术如何实现敏捷高效的逻辑数据集成与链路编排

一、DataFabric与数据虚拟化简介在正式介绍DataFabric之前，我想先回顾一下我们现有的数据仓库体系面临的问题。当提到数据仓库时，许多从事数据工作的人可能会想到ETL（抽取、转换、加载）和一些技术工具，如Hive、Hadoop和Spark。我在过去十多年一直在数据仓库领域工作，与我类似的老一辈大数据从业者可能都有相似的经验。我们遇到了哪些问题呢？归纳起来，不论是数据的生产者还是消费者，
Aloudata·2023-12-19 11:43

Apache SeaTunne简介

//seatunnel.apache.org/)1.2项目地址2.架构3.特性3.1丰富且可扩展的连接器和插件机制3.2支持分布式快照算法以确保数据一致性3.3支持流、批数据处理，支持全量、增量和实时数据集成处理
大飞哥～BigFei·2023-12-18 07:23

数仓、数据湖、湖仓一体、数据网格的探索与研究

数据类型结构化数据功能数据仓库对于数据的处理可分为数据集成（装载）、数据加
五块兰州拉面·2023-12-18 02:51

数仓、数据湖、湖仓一体、数据网格概论

数据类型结构化数据功能数据仓库对于数据的处理可分为数据集成（装载）、数据加工（ETL）、数据汇聚、数据展示及挖掘。数据经过这一过程，被抽取到数据仓库中，并严格按
互联网小白兔·2023-12-18 02:21

选择最适合您的数据集成工具

个人对于个人而言，选择最适合的数据集成工具可能会有一些不同的考量因素。
ETLCloud数据集成社区·2023-12-17 12:22

ETLCloud的应用策略——实时数据处理是关键

ETLCloud又称数据集成（DataOps），是RestCloud旗下的一款数据仓库管理工具，通过自动化数据转换和集成来实现企业内部和外部数据的无缝对接，从而帮助企业快速获取准确的数据信息，进而作出正确的业务决策
ETLCloud数据集成社区·2023-12-17 12:21

re:Invent 2023 | 亚马逊云科技数据集成新增功能

关键字:[AmazonWebServicesre:Invent2023,AmazonGlue,DataIntegration,AmazonGlue,EtlPipelines,DataSources,DataTransformation]本文字数:2200,阅读完需:11分钟视频如视频不能正常播放，请前往bilibili观看本视频。>>https://www.bilibili.com/video/B
李白的好朋友·2023-12-17 07:52

webGL开发智慧城市流程

开发智慧城市的WebGL应用程序涉及多个方面，包括城市模型、实时数据集成、用户界面设计等。以下是一个一般性的流程，您可以根据项目的具体需求进行调整，希望对大家有所帮助。
defdsdddev·2023-12-17 03:01

数据预处理(四)——数据标准化

主要内容：数据预处理的必要性数据清洗数据集成数据标准化数据规约数据变换与离散化利用sklearn进行数据预处理小结四、数据标准化不同特征之间往往具有不同的量纲，由此造成数值间的差异很大。
shi_jiaye·2023-12-16 17:42

数据预处理(一)——数据预处理的必要性

主要内容：数据预处理的必要性数据清洗数据集成数据标准化数据规约数据变换与离散化利用sklearn进行数据预处理小结一、数据预处理的必要性1.数据的不一致各应用系统的数据缺乏统一的标准和定义，数据结构有较大的差异
shi_jiaye·2023-12-16 17:12

Linux部署Kettle（pentaho-server-ce-9.4.0.0-343）记录/配置MySQL存储

下载地址Kettle是一个开源的数据集成工具，它是PentahoDataIntegration（PDI）项目的一部分。
韧小钊·2023-12-16 14:27

EasyPOI实战入门

EasyPOI实战入门入门案例导出Excel导出基本数据一对一关系导出一对多关系导出导出图片大数据量导出自定义列导出表格导入Excel导入基本数据集成web实现导入导出1.搭建springboot+mybatis
迷失的小鹿·2023-12-16 12:39

年度评选揭晓：Apache SeaTunnel荣获年度优秀开源技术团队殊荣

ApacheSeaTunnel，作为一个高性能、易用的海量数据集成平台，其在ApacheSpark和ApacheFl
SeaTunnel·2023-12-16 00:34

数据中台架构原理与开发实战：理解数据湖与数据中台的关系

1.背景介绍随着互联网、移动互联网、云计算等新兴技术的不断推进，越来越多的公司开始了数据集成、数据处理和分析的大规模工程建设。
禅与计算机程序设计艺术·2023-12-15 19:08

【玩转TableAgent数据智能分析】会话式数据分析，所需即所得！

五大优点3体验TableAgent3.1登录TableAgent平台3.2会话式数据分析4总结【优化改善】【对比TableAgent与文心一言-E言易图】1TableAgent介绍TableAgent是一款数据集成和分析平台
Mortalz7·2023-12-15 18:58

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

《地理信息系统原理》笔记/期末复习资料（13. 地理信息系统的发展趋势）

13.1.3.开放式地理信息系统（OGIS）及其特点13.1.4.OGIS的组成部分13.1.5.OGIS的实现技术13.2.GIS的集成化13.2.1.GPS、RS与GIS的集成13.2.2.GIS多源空间数据集成
@HNUSTer·2023-12-15 04:31

Kafka Connect ：构建强大分布式数据集成方案

KafkaConnect是ApacheKafka生态系统中的关键组件，专为构建可靠、高效的分布式数据集成解决方案而设计。
晓之以理的喵~~·2023-12-14 21:10

DAP数据集成与算法模型如何结合使用

企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。在实际项目中，要使用DAP数据分析平台将企业业务数据进行数据的清洗和汇聚，同时基于DAP平台的展现配置，可以根据业务主题构建相应的展现大屏，从而实现数据的可视化展现，为企业领导层的数据把控和运营
数通畅联·2023-12-14 21:18

Go社区主流Kakfa客户端简要对比

一.背景众所周知，Kafka[1]是Apache开源基金会下的明星级开源项目，作为一个开源的分布式事件流平台，它被成千上万的公司用于高性能数据管道、流分析、数据集成和关键任务应用。
Tony Bai·2023-12-14 20:03

数字孪生的开发平台

1.华为数字孪生平台:华为数字孪生平台提供了一整套数字孪生解决方案，包括物理建模、仿真、数据集成等功能。该平台旨在支持制造业、城市规划等领域的数字孪生应用。2.阿里云数字孪生平台:阿里云数字孪生
defdsdddev·2023-12-14 12:20

数字孪生项目的开发框架

这些框架通常包括虚拟建模、仿真、数据集成和分析等功能。以下是一些常见的数字孪生开发框架，希望对大家有所帮助。北京木奇移动技术有限公司，专业的软件外包开发公司，欢迎交流合作。
defdsdddev·2023-12-14 12:27

Unity中2D和UGUI图集的理解与使用

准确的说法图集是一张包含了多个小图的大图和一份记录了每个小图id、位置、尺寸等数据的数据文件，一个图集应该对应两个文件，当然也有人把数据集成到图片中，导致看起来只有一张图片（参考自DragonBones
瘦瘦的胖子·2023-12-06 18:52

典型的ETL使用场景

典型的ETL使用场景ETL(Extract，Transform，Load)是一种用于数据集成和数据转换的常用技术。它主要用于从多个数据源中提取数据，对数据进行清洗、转换和整合，最后加载到目标系统中。
ETLCloud数据集成社区·2023-12-06 12:28

php更新xml文件,php对xml文件进行CURD操作

XML是一种数据存储、交换、表达的标准：-存储：优势在于半结构化，可以自定义schema，相比关系型二维表，不用遵循第一范式(可以有嵌套关系)；-交换：可以通过schema实现异构数据集成；-表达：本身就可以作为阅读文档
王信文·2023-12-06 04:59

【数据中台】开源项目（4）-BitSail

介绍BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下的全域数据集成解决方案，目前服务于字节内部几乎所有业务线，包括抖音
码农丁丁·2023-12-05 22:55

Datacloud影像地图覆盖全球的多源影像数据，数据涵盖全球10米影像数据、中国0.8米影像数据、中国城市0.5米影像数据

该平台支持多种遥感数据的处理和分析，包括图像处理、数据融合、GIS数据集成、模型建立等。
此星光明·2023-12-04 09:16

钉钉提交审批意见，并上传附件接口集成

一：适配器DingtalkApprovalFilesExecute参考方案链接：轻易云数据集成平台二：请求接口。
轻易云系统集成平台·2023-12-04 08:09

使用azure-data factory

ADF是基于云的ETL，用于数据集成和数据转换，不需要代码，直接通过UI（code-freeUI）来设计，可进行直观监控和管理。
tq_theSuperMan·2023-12-03 17:08

常用数据预处理方法 python

常用数据预处理方法数据清洗缺失值处理示例删除缺失值插值法填充缺失值异常值处理示例删除异常值替换异常值数据类型转换示例数据类型转换在数据清洗过程中非常常见重复值处理示例处理重复值是数据清洗的重要步骤数据转换示例数据集成示例数据集成是将多个数据源合并为一个数据集的过程
trust Tomorrow·2023-12-03 10:54

数据整合2018-12-26

什么是数据集成？数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机（完整）的集中。不同来源的数据如果是各个国家，那数据集成就是给这些
我以前是学渣·2023-12-03 04:24

实现数据一体化的有效措施

数据集成：
ETLCloud数据集成社区·2023-12-03 01:51

从四个典型场景看如何将数据集成“用到实处”

一、数据集成概念数据集成是指将来自不同数据源的数据整合到一个统一的数据存储中，并确保这些数据能够互相关联、交换和共享的过程。
ETLCloud数据集成社区·2023-12-03 01:21

实现数据一体化的有效措施

数据集成：
ETLCloud数据集成社区·2023-12-03 01:21

ETL+BI结合的数据集成工具

在当今信息化时代，企业积累了大量的数据资产，如何高效地提取、转换和加载（ETL）这些数据，并将其转化为有用的洞察力成为了企业取得竞争优势的关键。同时，商业智能（BI）作为一种数据驱动的决策支持工具，通过对数据的分析和可视化呈现，帮助企业管理层更好地把握业务趋势、发现潜在机会和优化决策。将ETL与BI结合，不仅可以高效地处理海量数据，还能为企业提供深入洞察，实现数据驱动的业务增长。首先，让我们来了解
ETLCloud数据集成社区·2023-12-03 01:51

kafka 集群 ZooKeeper 模式搭建

ApacheKafka是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序Kafka官网：ApacheKafka关于ZooKeeper的弃用根据Kafka官网信息
悟世君子·2023-12-02 09:06

数据中台架构原理与开发实战：数据可视化与数据报表

但是，企业在这项工作中经常面临着两个难题：数据集成和数据管理。2017年，阿里巴巴集团发布了"支付宝数据中台",该平台旨在打通数据分析、决策制定和营
禅与计算机程序设计艺术·2023-12-01 23:48

Apache DolphinScheduler 开源之夏采访：苏国伟的开源之旅

我在实验室中主要从事数据集成等方面的工作。除了编程，我还热衷于踢足球、观看球赛和健身，这些爱好让我的生活更加丰富多彩。开源之路我最初是在本科的分布式系统课程中接触到开源的。
DolphinScheduler社区·2023-12-01 13:43

对话式数据需求激增，景联文科技提供高质量多轮对话数据定制采集标注服务

对话式数据集成为当下需求热点，人们对于更复杂、更真实的多轮对话数据需求不断增加，定制化服务占据市场需求主流。
景联文科技·2023-11-30 13:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他