数仓分层架构第34页

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB

只是甲·2023-06-14 10:17

基于Hadoop + Hive框架进行电子商务数据分析的设计与实现

大数据存储，处理和处理的研究已是企业未来发展的趋势，因此，将开展基于Hadoop+Hive框架进行电子商务数据分析，搭建一个大数据集群平台，用于通过电商案例的存储，处理，分析和可视化展示的实验迎向困难该挑战数仓的总体设计数据仓库概念

悟空打码·2023-06-14 10:44

数仓架构--之数据拉链表实操

数仓架构--之数据拉链表不登高山不知天之高也，不临深溪不知地之厚也序拉链表定义拉链表特征拉链表加工重跑机制逻辑加工全量拉链和增量拉链全增量问题全量拉链的全增量问题增量拉链的全增量问题结尾不登高山不知天之高也

3文丰·2023-06-14 10:42

详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。

jane9872·2023-06-14 10:07

详解大厂实时数仓建设

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。

jane9872·2023-06-14 10:07

Hive 和 Oracle 中 Decode 函数的用法差异

前言在数仓构建过程中，需要从业务那边进行数据的迁移！数仓大多数公司都是使用Hive，而业务那边使用的是Oracle数据库居多。

笑看风云路·2023-06-14 08:42

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？

产品经理自我修养·2023-06-14 07:43

万字长文+示例代码详解DDD中常用的架构（含代码示例）

目录分层架构（LayeredArchitecture）概念示例代码总结领域驱动设计的六边形架构（HexagonalArchitecture）概念示例代码总结CQRS（CommandQueryResponsibilitySegregation

枫飞雪飘·2023-06-13 23:09

利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓

钉钉数据同步需求钉钉是一款企业级通讯和协同办公应用软件，钉钉为企业提供包括聊天、通讯录、日程安排、考勤打卡、审批、通知公告、文件共享、会议等功能，很多企业都在使用钉钉。很多情况下我们需要把钉钉的数据拉取到数据库中，然后再通过报表工具进行统计分析，实现这种自动化流程通常的做法是写一段python或是java代码才可以实现，这样做对技术要求高，普通用户掌握不了，那么下面介绍一款无需要写代码的ETL工具

苛子·2023-06-13 21:48

基于 ByteHouse 构建实时数仓实践

实时计算起源于对数据加工时效性的严苛需求：数据的业务价值随着时间的流逝会迅速降低，因此在数据产生后必须尽快对其进行计算和处理，从而最大效率实现数据价值转化，对实时数仓的建设需求自然而

·2023-06-13 19:53

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

作者：刘松森，伊的家CTO，高级工程师，副教授职称，国内多所高校客座教授广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销

·2023-06-13 19:48

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在

·2023-06-13 19:11

认识MVC三层架构

分层架构时代：为了解决单体应用的问题，出现了分层架构的设计模式。这种架构形式将应用程序分为表示层、业务逻辑层和数据访问层三个独立的部分，使得应用程序更加容易维护和扩展，同时也更加灵活和容

Sweb.·2023-06-13 18:31

超详细讲解SpringMVC三层架构

采用分层架构的好处，普遍接受的是系统分层有利于系统的维护，系统的扩展。就是增强系统的可维护性和可扩展性。对于Spri

embelfe_segge·2023-06-13 18:01

数仓GaussDB(DWS)全量备份总结

摘要：本文将梳理Roach全量恢复的整体流程，描述Roach集群全量备份场景的运转机制。数据备份恢复是保护数据安全的重要手段之一。Roach工具支持多种备份恢复类型，例如集群级的物理备份，表级备份的逻辑备份；分别支持DISK/NBU/OBS/EISOO几种备份介质；支持双集群间的容灾方案等，从而提供数据的可靠性保障机制。Roach支持如下功能：一、简介本文将梳理Roach全量恢复的整体流程，描述R

·2023-06-13 18:38

「Hive进阶篇」万字长文超详述hive企业级优化

大数据阶梯之路·2023-06-13 17:00

详述Hive企业级优化

一、问题背景hive离线数仓开发，一个良好的数据任务，它的运行时长一般是在合理范围内的，当发现报表应用层的指标数据总是产出延迟，排查定位发现是有些任务执行了超10小时这样肯定是不合理的，此时就该想想如何优化数据任务链路

产品经理自我修养·2023-06-13 17:58

快手流批一体数据湖构建实践

主要内容包括以下四大部分：1.数据湖架构2.基于Hudi构建快手数据湖3.快手的实践案例4.快手的发展规划01数据湖架构：从离线数仓到湖仓一体的转变数据建设的核心目标一般为：①标准统一；②可共享；③简单易用

Openlab.cosmoplat·2023-06-13 17:56

大数据项目实战之数据仓库：电商数据仓库系统——第9章数仓开发之DWD层

文章目录第9章数仓开发之DWD层9.1交易域加购事务事实表9.2交易域下单事务事实表9.3交易域取消订单事务事实表9.4交易域支付成功事务事实表9.5交易域退单事务事实表9.6交易域退款成功事务事实表9.7

yiluohan0307·2023-06-13 16:10

尚硅谷大数据项目【电商数仓5.0】学习笔记

尚硅谷大数据项目【电商数仓5.0】学习笔记大数据学习基础基础shell编程：大数据之基础shell集群快速安装教程：大数据集群快速安装教程注：如果您已经有大数据学习基础，可以通过上面教程快速搭建学习环境

yiluohan0307·2023-06-13 16:40

小米基于 Flink 的实时数仓建设实践

本篇内容主要分为四个部分：小米数仓架构演变Flink+Iceberg架构升级实践流批一体实时数仓探索未来展望点击查看原文视频&演讲PPT一、小米数仓架构演变1.1数仓架构现状在介绍演变前，我们先来了解下小米当前的技术现状

·2023-06-13 16:44

快手基于 Apache Flink 的实时数仓建设实践

本篇内容主要分为四个部分：快手实时数仓的发展实时数仓建设方法论实时数仓场景化实战未来规划点击查看直播回放和演讲PPT一、快手实时数仓的发展作为短视频领域的领头羊，快手APP一直致力于视频、直播技术的迭代

·2023-06-13 16:10

Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在FlinkForwardAsia2022平台建设专场的分享。本篇内容主要分为五个部分：FlinkSQL在美团SQL作业细粒度配置SQL作业变更支持从状态恢复SQL正确性问题排查能力建设未来展望点击查看直播回放和演讲PPT一、FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5

·2023-06-13 16:09

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括：业务背景落地实践&特色改进应用场景未来规划FFA2021直播回放&演讲PDF下载一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用

·2023-06-13 16:29

美团买菜基于 Flink 的实时数仓建设

摘要：本文整理自美团买菜实时数仓技术负责人严书，在FlinkForwardAsia2022实时湖仓专场的分享。

·2023-06-13 16:48

深入解读：获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库

本文针对Forrester的报告，结合阿里云的以MaxCompute为核心的云数仓产品，做一个详细的技术解读。

·2023-06-13 15:31

实时数仓建设第3问：Lookup维表缓存数据TTL不需要设置几个小时，数据一被访问就更新生命周期生命周期？

同事说维表缓存，当缓存项在指定的时间段内没有被读就会被回收，如果被读就会延长ttl时间。如果关联的维表数据变动就会导致无法获取最新维度数据，这种场景必须关闭缓存。在flink1.16之前缓存的创建方式如下：CacheBuilder.newBuilder().expireAfterWrite(cacheExpireMs,TimeUnit.MILLISECONDS).maximumSize(cache

暴躁IT老绵羊·2023-06-13 12:51

数据孤岛下的新破局 Real Time DaaS：面向 AP+TP 业务的数据平台架构

从传统数仓，到大数据平台，再到数据中台和湖仓一体新数据平台，在日益加重的数据孤岛困扰下，面向AP场景的解决方案可谓浩如烟海。

·2023-06-13 12:49

Android高手笔记 - 卡顿优化

今阳说·2023-06-13 11:52

转行大数据该怎么学

为什么大数据行业，大部分岗位都是做离线数仓的工作，写HiveSQL的？我在大数据实习的第一份工作就是大数据分析，目前很多实习生来了也都是安排数据分析工作。因为这一块

qq^^614136809·2023-06-13 11:43

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

随着业务的发展，多个服务在一个DB去做数据的汇总，以及一些微服务架构的产生，使得数据逐渐走向分裂，很难在MySQL里完成统一的数仓。

·2023-06-13 11:49

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

随着业务的发展，多个服务在一个DB去做数据的汇总，以及一些微服务架构的产生，使得数据逐渐走向分裂，很难在MySQL里完成统一的数仓。

·2023-06-13 10:09

安卓期末考试知识总结

文章目录第一章：Android基础入门习题总结重点知识第二章：Android常见桌面布局&第三章：Android常见界面控件知识总结习题总结第一章：Android基础入门习题总结Android系统采用分层架构

缘友一世·2023-06-13 07:26

数仓设计规范

数据模型设计数据模型基本原则高内聚低耦合核心模型与扩展模型分离公共初处理逻辑下沉成本与性能平衡数据可回滚数据一致性命名清晰易于理解分层规范分层设计是架构设计的产出之一，在模型设计阶段作为强制规范遵守ODS：OperationalDataStore，数据贴源层

只会写demo的程序猿·2023-06-13 01:02

基于DataHub元数据血缘管理实施方案

目录1.元数据管理实施方案总览2.元数据分类2.1技术元数据2.2业务元数据3.元数据标签体系基础标签数仓标签业务标签潜在标签4.表元数据4.1基于pull机制抽取元数据web端ui方式cli端yml方式

只会写demo的程序猿·2023-06-13 01:02

探究核心技术&最佳实践，云原生OLAP论坛火热开启！

2023/06/11，09:00-12:30，在DataFunSummit2023：OLAP引擎架构峰会上，由阿里云资深技术专家，实时数仓Hologres研发负责人姜伟华老师出品的云原生OLAP论坛讲邀请来自阿里云

阿里云大数据AI技术·2023-06-12 23:22

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。

阿里云大数据AI技术·2023-06-12 23:22

软考高级系统架构设计师系列论文之：论软件系统架构风格

软考高级系统架构设计师系列论文之：论软件系统架构风格一、软件系统架构风格二、常用的软件系统架构风格1.管道和过滤器风格2.数据抽象和面向对象风格3.基于事件的隐式调用风格4.层次系统风格5.仓库风格6.C2风格三、分层架构风格一

最笨的羊羊·2023-06-12 20:43

数仓项目之数据采集实战及ODS层数据初步导入和flume日志采集过程中问题监控及解决方案

在实际生产开发当中，适当的设计agent的数量和模式，并很好的将数据采集过来，是我们分析数据的第一步，即先要有数据业务系统那边进行埋点，记录日志，到服务器本地磁盘当中考虑使用高可用模式，并使用级联模式，上游一个agent，下游两个agent，因为要对数据进行简单的清洗、处理，所以需要一个自定义拦截器上游agent高可用模式1个sourcetaildir类型1个channelfile类型高可用：2个

菜鸟周星星·2023-06-12 20:40

数据仓库ods层是啥意思_一文读懂大数据仓库建设

文章标签：数据仓库ods层是啥意思版权从传统数仓到大数据平台，MPP数据集市，Hadoop集群，还有混合架构数仓，一直在不断演进，但是万变不离其宗，大框架和方法论终归是那一套。

zxfBdd·2023-06-12 20:10

ods层如何保证和Mysql镜像一致

1.分层机制及分区字段如何分层：数仓在ods层之前有一层ods_binlog层，存放所有Mysql同步过来的binlog按天为分区放入表中，其中的数据和Ods层合并后以ctime的日期作为分区字段，动态分区发往指定分区的

不会Hive的啊扬·2023-06-12 20:09

Spring原理讲解

框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为J2EE应用程序开发提供集成的框架。Spring使用基本的JavaBean来完成以前只可能由EJB完成的事情。

RobotZero·2023-06-12 19:32

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。

·2023-06-12 17:45

亚马逊云科技Serverless构建的实时数仓解决方案，助力猎豹降低30%成本

借助亚马逊云科技Serverless数据分析服务构建的端到端实时数仓解决方案，猎豹移动旗下的App用户埋点分析负载上的成本节省相较于之前减少30%，成功构建实时数仓。

Discovering_·2023-06-12 14:10

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

本文导读：ApacheDoris助力荔枝微课构建了规范的、计算统一的实时数仓平台，目前ApacheDoris已经支撑了荔枝微课内部90%以上的业务场景，整体可达到毫秒级的查询响应，数据时效性完成T+1到分钟级的提升

·2023-06-12 14:30

实时数仓建设第1问：一直使用top N,为何duplicate状态和rank状态的TTL执行策略不一样？

在1.16之前rank为了提高效率，会使用缓存降低对状态的访问。缓存就是一个普通的MAP集合，如果不适应定时器在状态过期后删除缓存数据就会导致缓存数据一直增大导致OOM。kvSortedMap=newLRUMapextendsLinkedHashMappublicvoidonTimer(longtimestamp,OnTimerContextctx,Collectorout)throwsExcep

暴躁IT老绵羊·2023-06-12 12:16

实时数仓建设第2问：怎样使用flink sql快速无脑统计当天下单各流程（已发货，确认收货等等）状态的订单数量

实时统计当天下单各流程状态(已支付待卖家发货，卖家通知物流揽收，待买家收货等等)中的订单数量。订单表的binlog数据发送到kafka,flink从kafka接受消息进行指标统计。因为每笔订单的状态会发生变化，比如上午为【已支付待卖家发货】，这个时候【已支付待卖家发货】指标数要+1，下午订单的状态变更为【卖家通知物流揽收】，这个时候【卖家通知物流揽收】指标数要+1，而【已支付待卖家发货】指标数要-

暴躁IT老绵羊·2023-06-12 12:45

软件架构常用设计

一、分层架构1.四层架构：分层架构（layeredarchitecture）是最常见的软件架构，也是事实上的标准架构。如果你不知道要用什么架构，那就用它。

shaderdx·2023-06-12 09:19

各大厂应用实践 — 大数据

大厂应用实践美团美团外卖流量数据的采集加工和应用：点击这里美团外卖实时数仓建设实践：点击这里美团外卖离线数仓建设实践：点击这里美团Flink实时数仓应用经验分享：点击这里DruidSQL和Security

菜鸟也学大数据·2023-06-12 06:17

顺丰科技数据治理实践

十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。

产品经理自我修养·2023-06-12 06:09

推荐频道

数仓分层架构

大数据开发之Hive案例篇12：HDFS rebalance 一例

基于Hadoop + Hive框架进行电子商务数据分析的设计与实现

数仓架构--之数据拉链表实操

详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

详解大厂实时数仓建设

Hive 和 Oracle 中 Decode 函数的用法差异

详解数据仓库数据湖及湖仓一体

万字长文+示例代码详解DDD中常用的架构（含代码示例）

利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓

基于 ByteHouse 构建实时数仓实践

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

Apache Doris 在约苗数据平台的实时数仓建设实践

认识MVC三层架构

超详细讲解SpringMVC三层架构

数仓GaussDB(DWS)全量备份总结

「Hive进阶篇」万字长文超详述hive企业级优化

详述Hive企业级优化

快手流批一体数据湖构建实践

大数据项目实战之数据仓库：电商数据仓库系统——第9章 数仓开发之DWD层

尚硅谷大数据项目【电商数仓5.0】学习笔记

小米基于 Flink 的实时数仓建设实践

快手基于 Apache Flink 的实时数仓建设实践

Flink SQL 在美团实时数仓中的增强与实践

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

美团买菜基于 Flink 的实时数仓建设

深入解读：获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库

实时数仓建设第3问：Lookup维表缓存数据TTL不需要设置几个小时，数据一被访问就更新生命周期生命周期？

数据孤岛下的新破局 Real Time DaaS：面向 AP+TP 业务的数据平台架构

Android高手笔记 - 卡顿优化

转行大数据该怎么学

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

安卓期末考试知识总结

数仓设计规范

基于DataHub元数据血缘管理实施方案

探究核心技术&最佳实践，云原生OLAP论坛火热开启！

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

软考高级系统架构设计师系列论文之：论软件系统架构风格

数仓项目之数据采集实战及ODS层数据初步导入和flume日志采集过程中问题监控及解决方案

数据仓库ods层是啥意思_一文读懂大数据仓库建设

ods层如何保证和Mysql镜像一致

Spring原理讲解

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

亚马逊云科技Serverless构建的实时数仓解决方案，助力猎豹降低30%成本

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

实时数仓建设第1问： 一直使用top N,为何duplicate状态和rank状态的TTL执行策略不一样？

实时数仓建设第2问：怎样使用flink sql快速无脑统计当天下单各流程（已发货，确认收货等等）状态的订单数量

软件架构常用设计

各大厂应用实践 — 大数据

顺丰科技数据治理实践

大数据项目实战之数据仓库：电商数据仓库系统——第9章数仓开发之DWD层

实时数仓建设第1问：一直使用top N,为何duplicate状态和rank状态的TTL执行策略不一样？