数仓同步工具

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程，分为CN通信框架和DN间通信框架。数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus
IT民工金鱼哥·2024-01-27 18:29

2021-03-07

MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具
残月冷无声·2024-01-27 10:39

Linux系统中编写bash脚本进行mysql的数据同步

考虑到用数据库同步工具，但是，要进行各种配置。而这些数据基本上每周就要同步一次，若采用一些工具的话，都要人工操作，也会造成一些错误。（二）、脚本的好处经过仔细的
威迪斯特·2024-01-27 10:19

“数据同步大揭秘：Canal工具如何让实时处理变得轻而易举？“

介绍：Canal是一个基于MySQL数据库增量日志解析的开源数据同步工具。
知识分享小能手·2024-01-27 09:07

关于数据漂移问题和解决

数据漂移问题出现的背景我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型：源表中标识数据记录更新的时间戳字段，modified_time。
眼君·2024-01-27 09:30

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

SpringBoot项目多数据源配置与MyBatis拦截器生效问题解析

在日常项目开发中，由于某些原因，一个服务的数据源可能来自不同的库，比如：对接提供的中间库，需要查询需要的数据同步数据，需要将一个库的数据同步到另一个库，做为同步工具的服务对接第三方系统，由于时间等原因不方便提供接口
仰望星空007·2024-01-27 05:53

什么软件可以实时同步oracle备库的数据

其中一些常用的软件有：OracleDataGuard：这是Oracle自带的一个备库同步工具，可以在Oracle数据库中设置主库和备库，并通过Redo日志来实现数据的实时同步。
Xi Zi·2024-01-26 12:22

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
Apache Flink·2024-01-26 06:15

基于 Flink 的实时数仓在曹操出行运营中的应用

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink·2024-01-26 06:15

自动弹性，QPS线性提升｜一文读懂云原生数仓AnalyticDB弹性技术原理

阿里云瑶池旗下的云原生数仓AnalyticDBMySQL湖仓版（以下简称AnalyticDBMySQL）在发布之初提供了定时弹性功能，帮助业务有规律的客户定时升降配计算资源以节省成本。
阿里云瑶池数据库·2024-01-26 06:56

基于 Hologres+Flink 的曹操出行实时数仓建设

云布道师曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师·2024-01-25 20:23

大数据分析组件Hive-集合数据结构

Hive常作为离线数仓的分析工具，当面临Json数据时，Hive需要用到其数据结构构建出一张
Aimyon_36·2024-01-25 15:15

金仓数据同步工具KFS安装之源端注意事项及操作

源端数据库版本Oracle：10g,11g,12cOracleRAC：11g,12c内存不小于2G磁盘•软件包的磁盘空间要求：2GB•安装路径中的磁盘空间要求：2GB•KUFL文件的磁盘空间要求：实际和具体的运行压力有关，建议：>20GBJava环境要求•OracleJVM/JDK8•OpenJDK8软件依赖sqlplusjdk1.8ruby建议使用系统自带版本端口端口说明11000、11001K
littlegirll·2024-01-25 08:39

借助CountDownLatch实现多线程事务回滚

1.CountDownLatchCountDownLatch是一个同步工具类，用来协调多个线程之间的同步，或者说起到线程之间的通信。
GodSea_611·2024-01-24 16:47

致远oa协同办公金蝶自动同步工具效果预览

致远oa金蝶自动同步工具效果预览插件完成插件模块介绍插件效果页面介绍插件主页插件的配置页面，配置金蝶服务器信息同步表单的配置页面，重点激活界面，四种激活使用方式同步数据错误，此界面可以二次同步数据测试效果准备测试配置数据特别感谢插件完成通过长达四个月的开发
bug们之父·2024-01-24 16:43

插件部署环境

插件部署环境前言按照前面的文章已经安装好了同步工具，那么在使用之前，我们需要为同步工具做一些准备工作，插件才能正常使用准备工作准备工作主要两点，许可，金蝶环境配置许可试用插件一共提供四种许可方式试用15
bug们之父·2024-01-24 16:43

一行命令省下一半空间，我的云服务器在狂喜！

前天不是搭建了一个《Java程序员进阶之路》的网站嘛，其中用到了Git来作为云服务器和GitHub远程仓库之间的同步工具。作为开发者，相信大家都知道Git的重要性。
沉默王二·2024-01-24 13:23

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。
让线程再跑一会·2024-01-24 07:17

企业建数仓的第一步是选择一个好用的ETL工具

而选择合适的ETL工具是构建数仓的关键一步。因没有高灵活度的ETL就无法构建高质量的数仓。数据仓库的重要性数据仓库是企业将各个部门和系统中分散的数据进行整合、清洗和分析的基础
苛子·2024-01-23 20:36

用flinkcdc debezium来捕获数据库的删除内容

但是我现在情况是doris做为数仓，数据写到ods，ods的数据还会通过flink计算后写入dwd层，所以此时ods的数据是删除了，但是dwd甚至ads的都没删除，这样就会有脏数据。
后季暖·2024-01-23 11:17

Hive 拉链表详解及实例

拉链表版本迭代：hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表，用户分区存储历史增量数据，缺点是重复数据太多定义：数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀·2024-01-23 06:45

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。
Byyyi耀·2024-01-23 06:34

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48

数仓建设 - 维度建模 - DIM维度

文章目录前置：准备数据库一、商品维度表1.1表结构设计1.2建表语句1.3ETL任务脚本二、优惠券维度表2.1表结构设计2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[[email protected]]$
m0_46218511·2024-01-23 05:14

Databend 开源周报第 128 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-23 03:01

Databend 开源周报第 129 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-23 03:31

Apache doris Datax DorisWriter扩展使用方法

DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
张家锋·2024-01-22 15:27

iExplorer for Mac(免iTunes文件同步工具)一键破解

iExplorerforMac激活版是一款非常出色的免iTunes文件同步工具，并且不需要越狱。
希希的莫斯呱·2024-01-22 15:35

Flink背景

数仓简介在信息爆炸的时代，为了从海量数据中洞察业务价值，驱动运营决策，企业通常会构建用于数据分析的数据仓库。
201001070·2024-01-22 08:31

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

数据仓库简介、数据仓库的发展、数仓理论简介

数仓理论简介数据仓库解决方案诞生至今，也有2、30年的发展历史了，在这个过程中，数仓理论不断被更新和完善，逐步形成了目前大家普通遵守的数仓开发理论（概念）。
yida&yueda·2024-01-21 11:48

数据仓库简介

一、数仓概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
水坚石青·2024-01-21 11:46

SeaTunnel 海量数据同步工具的使用（连载中……）

一、概述SeaTunnel是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，前身是WaterDrop（中文名：水滴），自2021年10月12日更名为SeaTunnel。2021年12月9日，SeaTunnel正式通过Apache软件基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目。2022年3月18日社区正式发布了收个Apache版本V2.1.0。官网地址：A
programmer_山风·2024-01-21 03:49

Hologres V2.1版本发布，新增计算组实例构建高可用实时数仓

Highlight产品介绍Hologres是阿里云自研一站式实时数仓，统一数据平台架构，将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上，实现一份数据，多种计算场景。
阿里云大数据AI技术·2024-01-20 21:07

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
Apache Flink·2024-01-20 12:21

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

centos 多台 文件夹同步_CentOS7配置rsync实现文件同步

rsync(remotesynchronize)是一个远程文件同步工具，支持多个操作系统，用于在多台服务器之间同步目录和文件。
weixin_39756895·2024-01-20 09:15

JAVA多线程同步计数器

一、CountDownLatch概念CountDownLatch是一个同步工具类，它允许一个或多个线程等待其他线程一系列操作的完成CountDownLatch初始化必须给定一个int类型参数count，
souldomain·2024-01-20 09:37

超融合之道：亚信安慧AntDB 8.0版本引领数据库创新

在当今多变的数据应用场景中，AntDB作为行业领先的超融合流式实时数仓，秉承着“融合+实时”的研发理念，全面应对企业日益复杂的数据处理需求。
亚信安慧AntDB数据库·2024-01-20 01:00

佛系安利：Resilio Sync

ResilioSync（曾经名为“BitTorrentSync”）是由BitTorrent公司开发的专有的对等网络数据同步工具，可在Windows、OSX、Linux、Android、iOS和FreeBSD
沉冰浮水·2024-01-19 18:55

华为外包数据库面试问题分享20211225

数仓的东西了解多少。数据库开发支持这方面你做过哪些。你现在的工作中的SQL开发，具体是作了哪些。你的工作意愿是哪个方向（这么问是因为知道了我没做过DBA）在数仓的设
钦䲹·2024-01-19 16:05

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？
劝学-大数据·2024-01-19 16:03

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一
Apache Flink·2024-01-19 08:54

FineBI实战项目一（25）：实战项目一总结

实在项目使用mysql做数仓库的ODS层，这仅仅是带领大家入门，用mysql做数仓存在很多问题。
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

数仓架构图

阿里巴巴的数据团队把表数据模型分为三层：操作数据层（ODS）、公共维度模型层（DM）和应用数据层（DS），其中公共维度模型层包括明细数据层（DWD）和汇总数据层（DWS）。模型层次关系如9.9所示。image.png公共维度模型层（CDM）：存放明细事实数据、维表数据及公共指标汇总数据其中明细事实数据、维表数一般根据ODS层数据加工生成：公共指标汇总数据般根据维表数据和明细事实数据加工生成。CDM
liuxiaolin·2024-01-19 01:27

Hologres + Flink 流式湖仓建设

Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新2传统实时数仓分层方案
Direction_Wind·2024-01-18 21:56

白山云基于StarRocks数据库构建湖仓一体数仓的实践

背景随着每天万亿级别的业务数据流向数据湖，数据湖的弊端也逐渐凸显出来，例如：数据入湖时效性差：数据湖主要依赖于离线批量计算，通常不支持实时数据更新，因此无法保证数据的强一致性，造成数据不及时、不准确；查询性能差：在传统架构下，数据湖的查询速度较差，小时粒度的数据查询往往需要数分钟才能得到响应，在多个业务方同时执行数据湖查询任务时，查询响应慢的劣势更加明显；查询体验差：数据存储在多个地方，在进行联邦
StarRocks_labs·2024-01-18 17:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他