#数据集成

DataOps：深刻影响现代数据栈发展

2022年7月12日，在CSDN云原生系列在线峰会第13期“现代数据栈峰会”上，白鲸开源联合创始人代立冬深入讲解了DataOps中任务编排、数据集成。为什么是DataOps？
CSDN云原生·2022-08-05 11:14

HStreamDB Newsletter 2022-07｜分区模型优化、数据集成框架进一步完善

本月，HStreamDB团队主要在进行v0.9的最后开发和发布准备工作，对v0.9即将带来的stream分区模型改进、新集群机制、HStreamIO等新特性进行了进一步的完善和测试，同时也将主要的客户端升级到适配v0.9。Stream分区模型改进在之前版本中，HStreamDB采用透明分区模型，每个stream内的分区数是根据写入负载的情况动态调整的，且stream内部的分区对用户不可见。这种模型
·2022-08-04 18:47

【SeaTunnel】从一个数据集成组件演化成企业级的服务

ApacheSeaTunnel(Incubating)&ApacheDoris联合Meetup上，一个普通的社区贡献者狄杰，给大家带来的演讲主题是SeaTunnel的服务化之路，主要是和大家聊一下，SeaTunnel如何从一个数据集成组件演化成企业级的服务
·2022-08-01 22:44

如何设计好数仓？数仓到底是什么？---详解

--数据仓库概念2、OLTP和OLAP区别3、数据仓库的特点3.1面向主题3.2数据集成3.3非易失3.4时变4、数据仓库系统架构4.1系统结构图4.2、源数据4.3、ETL4.4、数据仓库与数据集市4.5
一只楠喃·2022-07-28 10:17

数仓建模—埋点设计与管理

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-07-28 10:08

软件项目管理：软件工具与开发环境相关知识介绍

环境集成机制：给工具集和软件开发、维护、管理提供统一的支持，通常包括数据集成、控制集成、界面集成。2、软件工具分类2.1软件开发工具用来辅助开发
IT技术分享社区·2022-07-28 10:05

数据挖掘之数据预处理

数据质量被广泛接受的数据质量的测量标准：准确性完整性(存在缺失值)一致性合时性(数据过时)可信性(数据库来源)解释性数据预处理数据预处理的目的是，提高数据质量主要任务数据清理填写缺失值平滑噪声数据识别或删除离群解决不一致问题数据集成整合多个数据库多维数据集或文件数据缩减降维降数据
Caaaaaan·2022-07-27 19:43

基于 Flink CDC 实现海量数据的实时同步和转换

主要内容包括：FlinkCDC技术传统数据集成方案的痛点基于FlinkCDC的海量数据的实时同步和转换FlinkCDC社区发展点击查看直播回放&演讲PDF一、FlinkCDC技术CDC是ChangeDataCapture
·2022-07-26 12:57

基于 Flink CDC 实现海量数据的实时同步和转换

主要内容包括：FlinkCDC技术传统数据集成方案的痛点基于FlinkCDC的海量数据的实时同步和转换FlinkCDC社区发展点击查看直播回放&演讲PDF一、Fl
·2022-07-25 16:15

分布式存储遇上企业云盘

为人民服务的系统逐渐与数据集成在一起。智慧和安全涉及我们生活的方方面面。一方面，我们享受大数据带来
zshuping·2022-07-25 11:23

网易游戏基于 Flink 的流式 ETL 建设

一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库。
公众号:肉眼品世界·2022-07-20 22:56

Flink CDC + Hudi 海量数据入湖在顺丰的实践

主要内容包括：顺丰数据集成背景FlinkCDC实践问题与优化未来规划一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。
米朵儿技术屋·2022-07-15 19:30

开源交流丨批流一体数据集成工具 ChunJun 同步 Hive 事务表原理详解及实战分享

原文链接：批流一体数据集成工具ChunJun同步Hive事务表原理详解及实战分享课件获取：关注公众号__“数栈研习社”，__后台私信__“ChengYing”__获得直播课件视频回放：点击这里ChengYing
·2022-07-12 20:20

开源交流丨批流一体数据集成工具ChunJun同步Hive事务表原理详解及实战分享

原文链接：批流一体数据集成工具ChunJun同步Hive事务表原理详解及实战分享课件获取：关注公众号__“数栈研习社”，__后台私信__“ChengYing”__获得直播课件视频回放：点击这里ChengYing
·2022-07-12 19:19

从数据集成到分析实践开发，Apache SeaTunnel & Apache Doris7月联合Meetup

随着大数据时代的来临，数据的处理对企业的技术团队挑战越来越高，数据在同步时能否支持各种数据源？应对海量的增量数据实例如何拥有更好的性能？数据聚合平台是否能开箱即用/方便二次开发？应对数据采集多场景和工具的拓展性等，都是数据开发工程师关心的切实痛点问题，而对于企业来说，海量数据如何更好更快的分析应用，数据如何驱动业务更好的发展，成为相当重要的一环。而庞大的数据增量以及业务多变的数据分析需求，对于企业
·2022-07-11 16:45

首个先进级！阿里云大数据+AI平台通过信通院数据平台整体解决方案最高等级评测

全方位覆盖大数据平台的数据存储、数据集成、数据管理与治理、数据开发、数据处理及分析、数据服务、高可用、平台管理、系统运维、数据安全等能力。参与此次评测的
·2022-07-08 11:35

大数据技术期末复习重点，不挂科看这里~

5.数据集成要考虑的问题有哪些？6.数据变换主要涉及哪些内容？三.数据挖掘1.数据挖掘的概念2.数
转行卖煎饼·2022-07-07 12:45

5. 数据访问 - EntityFramework集成

前言Masa提供了基于EntityFramework的数据集成，并提供了数据过滤与软删除的功能，下面我们将介绍如何使用它？
·2022-07-05 17:04

数据访问 - EntityFramework集成

前言Masa提供了基于EntityFramework的数据集成，并提供了数据过滤与软删除的功能，下面我们将介绍如何使用它？
磊_磊·2022-07-05 15:00

可视化任务编排&拖拉拽 | Scaleph 基于 Apache SeaTunnel的数据集成

这次在6月Meetup为大家带来的是Scaleph基于ApacheSeaTunnel(Incubating)的数据集成介绍，希望你有所收获。
·2022-07-04 20:07

数仓建模—数据集市

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
·2022-07-04 18:01

【系统分析师之路】2008年上系统分析师上午综合知识真题

系统分析师之路】2008年上系统分析师上午综合知识真题章节No章节总分数获得分考点心得3企业信息化战略74企业应用集成，信息系统概述，企业应用系统开发，数据仓库数据挖掘，企业会计系统，企业业务活动，信息资源规划数据集成是基础
进击的横打·2022-06-30 17:35

Apache基金会正式宣布Apache InLong成为顶级项目

刚刚获悉，全球最大的开源软件基金会Apache软件基金会正式宣布，ApacheInLong成为成功从Apache孵化器毕业成为社区顶级项目，这也是Apache社区首个一站式大数据集成顶级项目。
开源头条·2022-06-24 15:31

Kafka ETL 之后，我们将如何定义新一代实时数据集成解决方案？

上一个十年，以Hadoop为代表的大数据技术发展如火如荼，各种数据平台、数据湖、数据中台等产品和解决方案层出不穷，这些方案最常用的场景包括统一汇聚企业数据，并对这些离线数据进行分析洞察，来达到辅助决策或者辅助营销的目的，像传统的BI报表、数据大屏、标签画像等等。但企业中除了这样的分析型业务（OLAP），还同时存在对数据实时性要求更高的交互型业务场景（OLTP或OperationalApplicat
·2022-06-23 23:44

Apache基金会正式宣布Apache InLong成为顶级项目

刚刚获悉，全球最大的开源软件基金会Apache软件基金会正式宣布，ApacheInLong成为成功从Apache孵化器毕业成为社区顶级项目，这也是Apache社区首个一站式大数据集成顶级项目。
CSDN资讯·2022-06-23 10:34

Flink CDC + Hudi 海量数据入湖在顺丰的实践

主要内容包括：顺丰数据集成背景FlinkCDC实践问题与优化未来规划点击查看直播回放&演讲PDF一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。
阿里云开发者·2022-06-17 22:45

数据集成平台 SeaTunnel 成功进入 Apache 孵化器！

|转载：Seatunnel|编辑：周晶晶|设计：马丽娜|责编：王玥敏美国时间2021年12月9日，SeaTunnel(原名Waterdrop)正式通过世界顶级开源组织Apache软件基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目！根据Apache基金会邮件列表（https://lists.apache.org/thread/70yywsx4r8y5o91twnp13s671q
开源社·2022-06-17 10:32

Matlab中的元胞数组（cell）

元胞数组（CellArray）将类型不同的相关数据集成到一个单一的变量中，使得大量相关数据的引用和处理变得简单方便。cell元胞数组，存储不同类型的数据。
明之季·2022-06-12 19:03

机器学习中用到的数据预处理一般步骤

主要包括四个步骤：（1）数据清洗（2）数据集成（3）数据规约（4）数据变换数据清洗：填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致性来“清理数据”；数据集成：使用多个数据库，数据立方体或文件
我真不会写代码·2022-06-03 07:22

陈胡：Apache SeaTunnel实现 非CDC数据抽取实践

与此同时，各种数据库之间的同步与转化的需求也不断增多，数据集成成为大数据领域的热门方向，于是SeaTunnel应运而生。SeaTunnel是
DataFunTalk·2022-05-19 20:00

基于区块链的大数据交易模式研究与探索

点击上方蓝字关注我们基于区块链的大数据交易模式研究与探索李源1,高宁1,孙晶1,2,赵会群11北方工业大学信息学院，北京1001442北方工业大学大规模流数据集成与分析技术北京市重点实验室，北京100144
唐名威·2022-05-18 07:49

数据仓库—开发规范

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
·2022-05-13 09:22

数据仓库—开发规范

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-05-12 19:00

星环科技Sophon 3.1发布，模型运管、隐私计算、边缘计算、知识全流程实现从数据到智能的全链路构建

Sophon作为数据要素的智能底座，覆盖数据分析建模全流程，提供分析即服务的能力、数百种分布式机器学习算法、边缘计算能力，并拥有多模态数据集成、融合和知识推理、数据
·2022-05-10 13:01

Flink CDC Meetup · Online，5.21 开讲！

然而实时化需要的是端到端的解决方案，除了湖仓实时化之外，我们还急需数据集成的实时化。实时数据集成是指将各个数据孤岛中的数据实时地同步、集中到数据仓库中，便于后续进行统一的实时分析。
·2022-05-09 11:24

袋鼠云批流一体分布式同步引擎ChunJun（原FlinkX）的前世今生

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，是袋鼠云一站式大数据开发平台-数栈DTinsight的核心计算引擎，其技术架构基于实时计算框架Flink
·2022-04-26 11:21

如何向开源项目（Apache-InLong）提交代码

ApacheInLong（应龙）是一个一站式海量数据集成框架，方便业务构建基于流式的数据分析、建模和应用。正在快速发展孵化中，期待感兴趣的同学参与其中，我们一起把它打造成Apache顶级项目！
瘦风·2022-04-24 19:00

Kafka ETL 的应用及架构解析｜告别 Kafka Streams，让轻量级流处理更加简单

随着Kafka越来越流行，最初只是作为简单的消息总线，后来逐渐成为数据集成系统，Kafka可靠的传递能力让它成为流式处理系统
·2022-04-22 11:42

华为大数据云管理平台实测

产品优势一站式数据运营平台贯穿数据全流程的一站式治理运营平台，提供全域数据集成、标准规范设计、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，
·2022-04-21 15:48

数仓建模—建模工具PdMan

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
·2022-04-19 10:46

数仓建模—建模工具PdMan(CHINER)介绍

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-04-16 12:00

数仓建模—建模工具PdMan(CHINER)介绍

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-04-16 12:00

理想汽车 x StarRocks：为 Hive 数据查询插上极速之翼！

作者张博晗理想汽车大数据平台-高级大数据开发负责公司级数据集成平台的设计和开发，以及OLAP平台的体系化建设对于致力创造移动的家、成为全球领先的智能电动车企业的理想汽车，所要管理的数据规模非常庞大。
·2022-04-15 14:16

华为大数据云管理平台实测

产品优势一站式数据运营平台贯穿数据全流程的一站式治理运营平台，提供全域数据集成、标准规范设计、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，
·2022-04-13 19:44

【直播预告】优化器及 Flink CDC + OceanBase 全增量一体化数据集成方案

深入浅出OceanBase社区线上技术沙龙，旨在帮助关注分布式数据库技术的爱好者们提供技术交流、分享、探讨的空间，让大家少踩坑，少走弯路。每月1-2场，围绕OceanBase核心技术和周边工具展开，其他想听的内容，欢迎留言：【深入浅出OceanBase系列】活动预告+话题征集+中奖公布直播预告4月14日（周四）19:00，将线上播出《深入浅出OceanBase第二期》，将深入解析优化器及Flink
·2022-04-13 12:58

深度学习技术在生物科学领域的进展和挑战

文章从蛋白质结构预测、蛋白质功能预测、基因组工程、系统生物学与数据集成、系统发生学等5个方面讨论了生物信息学的研究进展、局限性和前景。对于这5
weixin_4528312·2022-04-11 07:20

智能化时代的数据集成技术革新

可管理，可调用，可计算，可变现的数据资源才能成为资产，信息系统的互联互通使得多源和多维度的数据集成需求巨大，这就对数据处理和集成的工具提出了严苛的要求。
·2022-04-08 16:47

一站式元数据治理平台——Datahub入门宝典

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-04-08 14:04

详解分布式云计算和数据治理

数据管理通常包括高度复杂的任务，例如数据存储、数据集成、数据质量管理、数据安全和数据库管理。随着数据速度和数量
·2022-04-07 19:47

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
·2022-04-01 17:23
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他