#数据集成第15页

基于知识图谱的智能问答机器人

只有基于语义的数据互联才能发挥数据集成的非线性效应，才能获取大数据的特有语义。近年来，基于知识图谱的问答系统则

Veronica_ry·2023-04-01 07:03

DAMA-CDGA/CDGP数据治理认证考试范围

——CDGA核心内容——1.数据管理基础2.数据处处理伦理3.数据治理4.数据架构5.数据建模和设计6.数据建模和设计7.数据安全8.数据集成和互操作9.文件和内容管理1

hb15302782362·2023-04-01 04:10

DataPipeline CTO陈肃：从ETL到ELT，AI时代数据集成的问题与解决方案

引言：2018年7月25日，DataPipelineCTO陈肃在第一期公开课上作了题为《从ETL到ELT，AI时代数据集成的问题与解决方案》的分享，本文根据陈肃分享内容整理而成。大家好！

weixin_33716941·2023-04-01 04:00

ETL的两种架构——ETL架构和ELT架构优劣势对比

在AI应用场景下，数据集成有哪些特点？随着AI应用场景越来越多，为什么我们需要从ETL转换到ELT？又会遇到哪些问题和挑战？

DataPipeline数见科技·2023-04-01 03:51

快速搞懂ClickHouse表引擎

如Log系列用于小型表数据分析，MergeTree系列实现大型表数据分析，集成系列用于数据集成。

梦想画家·2023-03-31 23:05

PostgreSQL 变化数据捕捉（CDC）

PostgreSQL变化数据捕捉（CDC）基于CDC（变更数据捕捉）的增量数据集成总体步骤：1.捕获源数据库中的更改数据2.将变更的数据转换为您的消费者可以接受的格式3.将数据发布到消费者或目标数据库PostgreSQL

sunny05296·2023-03-31 21:14

构建实时数据集成平台时，在技术选型上的考量点

构建实时数据集成平台时，在技术选型上的考量点陈肃DataPipeline数见科技昨天文|陈肃DataPipelineCTO交流微信|datapipeline2018随着企业应用复杂性的上升和微服务架构的流行

牵一缕阳光·2023-03-31 17:11

基于阿里云官网文档-大数据开发治理平台 DataWorks研读+数据质量扩展+相应的大数据组件知识扩展

网址：阿里DataWorkers网址：数据集成概述-大数据开发治理平台DataWorks-阿里云目录网址：阿里DataWorkers网址：数据集成概述-大数据开发治理平台DataWorks-阿里云一、DataWorks

ListenerDMT·2023-03-31 16:08

智能制造MES系统框架

为企业提供包括制造数据管理、计划排成管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块

!chen·2023-03-31 13:03

一文读懂数据平台架构演进历史

数据仓库对于数据的处理可分为数据集成（装

麦聪聊数据·2023-03-31 08:37

大数据开源架构包括哪些？

2、数据集成指的就是ETL，

Gzlcxxjs·2023-03-30 18:10

Python数据分析-数据预处理

缺失值分析2.2异常值分析2.2.1简单统计量分析2.2.23$\sigma$原则2.2.3箱线图分析2.3一致性分析2.4相关性分析3.数据预处理3.1数据清洗3.1.1缺失值处理3.1.2异常值处理3.2数据集成

Miracle Fan·2023-03-30 10:15

【Kafka】kafka架构

基于发布订阅模式的存储队列使用场景大数据下的负载均衡、缓冲发布、订阅模式：上游数据统一推送，下游按需拉取数据kafka最新定义：开源的分布式事件流平台(eventstreamingPlatform)，用于高性能数据管道、流分析、数据集成和关键任务应用消息队列常用消息队列

yiricy·2023-03-30 05:57

关于数仓及其分层

目录一、基本介绍二、数据仓库的特点1、面向主题2、数据集成3、相对稳定4.反映历史变化三、数仓工具1、一般工具2、大数据学习工具之Hive2.1Hive的大数据学习优势2.2Hive数据仓库架构及原理四

Dylan~·2023-03-30 02:03

seatunnel 高性能分布式数据集成平台

seatunnel高性能分布式数据集成平台一、介绍二、为什么我们需要seatunnel三、seatunnel使用场景四、seatunnel的特性五、seatunnel的工作流程六、seatunnel支持的插件七

明月清风，良宵美酒·2023-03-30 00:00

SeaTunnel架构剖析

ApiSeaTunnelcoreSeaTunnelPluginsSeaTunnel使用场景seaTunnel痛点基础介绍seaTunnel是一个分布式、高性能、用于处理海量数据(离线&实时)同步和转换的数据集成工具注

Adobee Chen·2023-03-30 00:24

SeaTunnel 高性能分布式数据集成平台

目录介绍为什么我们需要SeaTunnelSeaTunnel的特点SeaTunnel的工作流程SeaTunnel支持的插件ConnectorTrandform环境依赖安装部署(官方案例flink引擎)1.下载安装包2.解压3.开启flink4.修改config/seatunnel-env.sh，配置flink目录5.vimconfig/application.conf6.开启nc-l-p99997.

Adobee Chen·2023-03-30 00:24

Seatunnel超高性能分布式数据集成平台使用体会

文章目录概述定义使用场景特点工作流程连接器转换为何选择SeaTunnel安装下载配置文件部署模式入门示例启动脚本配置文件使用参数示例Kafka进Kafka出的ETL示例FlinkRun传递参数概述定义SeaTunnel官网http://seatunnel.incubator.apache.org/SeaTunnel最新版本官网文档http://seatunnel.incubator.apache.

IT小神·2023-03-30 00:53

Apache SeaTunnel 分布式数据集成平台

与之相伴的便是，各种数据库之间的同步与转换需求激增，数据集成便成了大数据领域的一

javastart·2023-03-30 00:39

【Spring】Spring入门

Spring入门Spring全家桶SpringFramework——Spring框架，基石SpringBoot——构建项目SpringCloud——微服务SpringCloudDataFlow——数据集成官网本项目只用

csdnGuoYuying·2023-03-30 00:48

seatunnel 架构

文章目录概览竞品架构与工作流程插件最上层插件抽象实现细节Spark插件架构Flink插件Javaspi命令SparkFlink概览SeaTunnel是一个非常易用的支持海量数据实时同步的超高性能分布式数据集成平台

Dlimeng·2023-03-30 00:43

cAdvisor的安装使用（Docker）

不过，CAdvisor提供了很多数据集成接口，支持Influ

LIUXU23·2023-03-29 12:17

阿里云数仓Dataphin数仓功能点含义解释

Dataphin基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。

cnor·2023-03-29 05:28

Kafka 基础整理、 Springboot 简单整合

定义：Kafka是一个分布式的基于发布/订阅默认的消息队列是一个开源的分布式事件流平台，被常用用于数据管道、流分析、数据集成、关键任务应用消费模式：点对点模式(少用)消费者主动拉取数据，消息收到后清除消息发布

何xiao树·2023-03-28 21:03

【数据分析与挖掘】数据预处理

目录概述一、数据清洗1.1缺失值处理1.1.1拉格朗日插值法1.1.2牛顿插值法1.2异常值处理二、数据集成2.1实体识别2.2冗余属性识别三、数据变换3.1简单函数变换3.2规范化3.3连续属性离散化

mossloo·2023-03-27 09:18

大数据基础知识——数仓的搭建（维度建模）

数据仓库文章目录数据仓库数据仓库的介绍：数据仓库的概念：OLTP和OLAP区别：数据仓库的特点：面向主题：数据集成：非易失：时变：数据仓库系统架构系统结构图源数据ETL数据仓库与数据集市应用系统用户层纬度分析

我菜的要死·2023-03-26 22:57

2021-06-28

基于中移和物的智能家居监控系统实训报告一、实验背景在oneNET平台实现NB-IOT方式的温湿度检测以及数据集成和展现，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成

可乐炖猫咪·2023-03-25 09:17

数字化转型关键词

重塑体验智慧运营开放互联洞察认知敏捷创新移动化社交化个性化场景化时空自由数字化营销全渠道商品运营全渠道销售社交化CRM数字化门店连接消费者连接合作伙伴连接外部平台融通内部构建生态圈数据消费计算分析数据储存数据集成数据采集移动应用快速开发微服务快速开发持续交付平台基础技术平台全触点应用数字化运营平台数字化开放平台大数据平台数字化

37d419ca386b·2023-03-22 22:06

Flink CDC 2.3 发布，持续优化性能，更多连接器支持增量快照，新增 Db2 支持

01FlinkCDC简介FlinkCDC[1]是基于数据库的日志CDC技术，实现了全增量一体化读取的数据集成框架。

Apache Flink·2023-03-19 11:30

新一代数据集成平台的原理和实践

原文：从0到1快速入门ApacheSeaTunnel，新一代数据集成平台的原理和实践-墨天轮https://github.com/apache/incubator-seatunnel田超ApacheSeaTunnel

javastart·2023-03-19 11:47

数据挖掘2.3——数据预处理知识点整理

数据挖掘2.3——数据预处理知识点整理1.数据质量2.数据预处理方法2.1数据清洗2.2数据集成1.模式集成2.实体识别问题3.数据冲突检测2.3数据规约1.降维2.降数据3.数据压缩2.4数据转换和离散化

是Yu欸·2023-03-18 07:13

数据挖掘实战—餐饮行业的数据挖掘之数据预处理

文章目录引言一、数据清洗1.缺失值处理1.1拉格朗日插值法1.2牛顿差值法2.异常值的处理二、数据集成1.实体识别2.冗余属性识别3.数据变换3.1简单函数变换3.2规范化3.2.1最小-最大规范化3.2.2

哎呦-_-不错·2023-03-18 07:41

数据挖掘 ➡ 预处理

预处理1.数据质量2.预处理2.1数据预处理2.1.1处理丢失数据2.1.2处理噪声(不正常)数据2.1.3处理不一致数据2.2数据集成2.3处理数据冗余2.4相关分析（离散变量）2.4.1卡方检验2.4.2

唐樽·2023-03-18 07:10

大数据项目2（数据挖掘之数据预处理相关概念）

晨沉宸辰·2023-03-18 07:06

数据挖掘(2.3)--数据预处理

目录三、数据集成和转换1.数据集成2.数据冗余性2.1皮尔森相关系数2.2卡方检验3.数据转换三、数据集成和转换1.数据集成数据集成是将不同来源的数据整合并一致地存储起来的过程。

码银·2023-03-18 07:59

浅谈数据三-数据预处理

数据预处理的主要内容包括数据清洗、数据集成、数据变换、数据规约，预处理一方面是提高数据的质量，另一方面是要数据更好的适应特定的挖掘技术或工具。

封不然·2023-03-15 12:31

【活动预告】数据集成海外专场Meetup：走进Shopee，聊透SeaTunnel优化实践

优秀的数据集成能力能帮助企业最大限度挖掘数据价值，同时解决企业内部数据团队各系统口径不统一、数据交互难、缺乏统一的数据集成平台等痛点问题。

SeaTunnel·2023-03-14 22:04

SAP 分析云 2023.03 版新功能抢先看

本版本主要在仪表盘和故事设计、数据集成、企业计划方面进行了功能更新，来和阿拓一起看看吧！

易拓SAP培训·2023-03-14 04:50

【知识】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

1.摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。

笔名辉哥·2023-03-11 22:57

02. 学习数据挖掘的最佳路径是什么？

image.png数据挖掘基本流程-6步骤商业理解-目的挖掘不是目的，帮助业务才是目的，从商业的角度理解项目需求，再开始定义挖掘目的数据理解-初步认知收集、探索数据，包含数据描述、数据质量验证等数据准备-收集清洗、数据集成等准备工作模型建立

进击的原点·2023-03-11 22:27

为什么用户使用了10年的kettle现在换成RestCloud ETL?

数据集成工具主要用于将来自不同数据源的数据整合到一个单一的、一致的数据存储库或将数据分发到不同的数据源中。它可以帮助企业解决数据共享问题，同时有效地管理和利用海量数据，提高数据分析的效率和准确性。

RestCloud·2023-03-10 08:38

面试|Kafka常见面试问题总结

Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。

大数据技术与数仓·2023-03-10 05:41

办公自动化系统（OA）的数据集成和运用

一、背景：我是一家上市总公司内部办公自动化系统的负责产品，主要负责系统的日常需求整理、原型整理以及日常功能支持和跟进。在产品这条路上，有3年的时间，同时，这3年，也均是在现任岗位上。今天分享的问题，更偏重实际，没有更多理论，因为，我本人也还没有理解和整理到理论的高度，只是发现了在实际工作中如何更好的解决而已。二、问题产生背景：在日常支持，特别是季度末和年末时，就发现一个问题：各部门和领导，都要提供

秋央·2023-03-09 07:35

维度建模的基本概念及过程

维度建模的基本概念及过程摘要：本文首先介绍维度模型中的维度表和事实表这2个基本构成要素的基础知识；其次，介绍设计维度模型的4个基本步骤；再次，围绕某银行为实现业务价值链数据集成的需要，介绍多维体系结构中的

JeanWan·2023-02-26 07:20

轻量级数据中台-数据可视化建模平台

平台定位数字化转型工具，为企业、政府客户，提供数据集成、数据开发和数据展示的工具能力。

ccddtomato·2023-02-26 06:39

文本数据挖掘----数据预处理

（2）数据集成整合多个数据库、多维数据集或者文件。（3）数据缩减①

wake D·2023-02-25 07:38

Flink CDC+Kafka 加速业务实时化

主要内容包括：FlinkCDC技术对比与分析Flink+Kafka实时数据集成方案Demo：Flink+Kafka实现CDC数据的实时集成和实时分析点击查看直播回放和演讲PPT一、FlinkCDC技术对比与分析

·2023-02-24 11:53

一文搞懂数据治理方法论

2、开展数据治理的背景和价值2.1背景–企业数据仓库/BI建设–数据集成/SOA–大数据–数据质量问题和影响–主数据管理–公共业务术语–合规问题–安全问题–兼并收购2.2价值–提升数据质量（80.2%）

vthinkwen·2023-02-20 07:22

基于 Flink 的小米数据集成实践

摘要：本文整理自小米计算平台高级工程师胡焕，在FFA数据集成专场的分享。

·2023-02-17 14:10

关于DataLeap中的Notebook，你想知道的都在这

·2023-02-16 20:56

推荐频道

#数据集成