数仓分层架构

离线数仓-数据治理

目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、数据仓库发展阶段2.1初始期2.2扩张期2.3缓慢发展期2.4变革期三、数据治理内容3.1元数据治理3.2数据质量治理3.3数据安全治理3.4计算资源治理3.5存储资源治理四、数据治理总结4.1模型合规治理4.2数据质量合规治理
爱吃辣条byte·2024-02-03 13:51

数仓治理-存储资源治理

存储资源治理的流程及思路三、治理前如何评估3.1无用数据表/临时数据表下线评估3.2表及分区的生命周期评估3.3存储及压缩格式评估3.4根据业务场景实现节省存储评估四、治理后的成效如何评估一、存储资源治理的背景由于早期数仓的存储资源比较充裕
爱吃辣条byte·2024-02-03 13:51

Flink实时数仓同步：拉链表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，大数据分析平台需要能够检索某张业务表的变更记录，并以每天为单位统计每条数据的变更频率。以下是示例：[Mysql]业务数据-用户表全量数据：
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

一、前言在数据仓库领域，离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点（通常是凌晨）将业务数据同步到数据仓库中。
Light Gao·2024-02-03 10:14

数仓日常维护：剖析每日增量同步的内部机制

数仓日常维护：剖析每日增量同步的内部机制一、前言在现代企业中，离线仓库扮演着不可或缺的角色。它充当着一个数据的中心枢纽，存储和管理着海量的信息。
Light Gao·2024-02-03 10:14

Flink实时数仓同步：快照表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:38

【DDD】学习笔记-领域驱动设计的代码模型

理解了限界上下文和分层架构的本质，要确认系统的代码模型自然也就水到渠成。没有必要要求每个团队都遵守一套代码模型，但在同一个项目中，代码模型应作为架构规范要求每个团队成员必须遵守。
码农丁丁·2024-02-03 07:55

IOC容器详解

###1.编程思想发展原生php+view==>mvc框架==>分层架构===》基于组件服务原生php+view：拓展性差mvc：controller臃肿，方法越来越大分层设计：分而治之。
徐图进取·2024-02-03 06:11

实时数仓到底是什么呢？与传统数仓有什么区别？如何建设实时数仓呢？

在本地生活服务领域的两大巨头，滴滴在自己的业务如顺风车、美团在自己的业务如团购外卖中进行实时数仓的建设，为消费者提供更好的服务，如我们在滴滴上可以更快的打到更便宜的车、在美团上可以更快的取到最想要吃的餐
盐城qn·2024-02-02 18:50

Flink CDC 详述实时数据湖

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
000X000·2024-02-02 12:01

字节跳动新一代云原生消息队列实践

本文将继续从整体技术架构开始，介绍字节自研的云原生消息引擎的分层架构在数据存储模型、运维等角度的优势及挑战。回顾：一文
字节跳动云原生计算·2024-02-02 09:53

如何推动埋点管理项目的落地

一埋点管理常见痛点分析埋点数据作为三大数据来源之一，具有应用场景多、数据量级大等特点，上能影响数据分析、推荐、AB实验的准确性，下能影响数仓结构设计和维护成本，其重要性不言而喻。
一个数据人的自留地·2024-02-02 06:01

数据仓库表级血缘应用

数仓血缘应用（一）：表血缘热度文章目录数仓血缘应用（一）：表血缘热度前言一、价值衡量指标——应用层二、血缘节点应用——热度1、指标透传（应用层——>数仓）2、指标应用（热度）2.1、数仓血缘节点关系2.2
零壹Ture·2024-02-02 02:24

手把手教你写架构（java）篇

架构部分：1.分层架构（LayeredArchitecture）：将应用程序分解为多个逻辑层，每个层都有明确的职责。
艾利克斯冰·2024-02-02 02:19

对DDD（领域驱动设计）分层架构的理解（适合新人）

目前团队大多数项目都是基于DDD分层架构开发的，而不是传统的MVC模式，这就让很多之前没有接触过DDD思想的同学在刚开始接触项目的时候有点懵。那么什么DDD？
b335eb9201c3·2024-02-02 00:10

组件如何组织以提升维护性、扩展性

`）1.3、高内聚（`HighCohesion`）1.4、模块化设计（`ModularDesign`）1.5、可重用性（`Reusability`）1.6、文档和注释1.7、测试和调试二、示例2.1、分层架构
小马甲丫·2024-02-01 17:28

oracle数仓rac两个节点查询耗时不一致问题处理

问题描述数据库节点1查询比节点2查询慢。现场操作应用发现发现同一sql语句在节点2上只要2分钟左右，在节点1，该条sql执行要超过30分钟。处理过程根据问题，初步判断是由于错误的执行计划，导致性能问题，但实际上对两个节点做trace跟踪发现执行计划都一致，后续通过awr报告和10046事件跟踪发现由于“gccrmultiblock”耗时造成节点一慢，这是oracleRAC大事务处理特性，两边都查有
烟雨归来·2024-02-01 09:23

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户
Key-Key·2024-02-01 08:46

DB旅游生态系统-01-项目搭建

技术架构项目分层架构本项目应用层基于MVC设计思想，进行分层架构设计，其核心目的是将复杂问题简单化,实现各司其职,各尽所能.然后基于“高内聚
知行合一。。。·2024-02-01 08:21

多表拆解 | 数据PM的工作内容

之前一篇文章介绍了我司数据体系搭建过程，见：埋点、数仓到中台：数据体系的从0到1为了区分数据产品和数据产品经理，下文会用数据产品和数据PM来区分。
PMCAFF产品社区·2024-01-31 21:47

数据建模分析与数仓维度建模规范

数据建模在数仓管理、数据库设计、算法模型训练等领域都有着重要的作用。
i7杨·2024-01-31 20:57

Python入门教程，30分钟玩转Python编程！

一、Python入门二、Python爬虫三、数据分析四、数据库与ETL数仓五、机器学
老-程序员·2024-01-31 18:50

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时
zhisheng_blog·2024-01-31 15:29

HBase表结构

一般我们从数仓中离线统计分析海量数据，将得到的结果插入HBase中用于实时查询。表结构hbase在表中组织数据。表名是字符串和字符的组合，可以在文件系统路径中使用这里以一个公
内向仓鼠·2024-01-31 07:55

14.软件架构设计：大型网站技术架构与业务架构融合之道 --- 业务架构思维

第14章业务架构思维14.1“伪”分层典型的互联网分层架构：客户端=>接入层=>聚合层=>业务层=>基础服务层=>数据层伪分层架构可能具有的一些特征：1.底层调用上层比如某个基础服务调用上层业务服务，怎么解决呢
enlyhua·2024-01-31 06:55

Databend 开源周报第 130 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-31 04:28

DDD学习使用

EricEvans“领域驱动设计之父”DDD不是架构，而是一种方法论（Methodology）微服务架构从一出来就没有很好的理论支撑如何合理的划分服务边界，人们常常为服务要划分多大而争吵不休分层架构DDD
weixin_44877172·2024-01-31 03:42

DGIOT物联网架构设计

分层架构在应用系统开发中，采用严格的、单一的、真正的的分层架构是可以的，但实际上我们已经采用了多种架构模式设计系统。当多种不同范式的架构混合在一起，你会不会出现“指鹿为马”的现象呢？
DGIOT物联网平台·2024-01-30 20:40

数据仓库实践杂谈（十八）——关于报表

整体数据分层第三章：整体实现框架第四章：元数据第五章：ETL第六章：数据校验第七章：数据标准化第八章：去重第九章：增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型
老程序员一叶知秋·2024-01-30 18:45

字节跳动二面经典题目

欢迎关注公众号：语数本期投稿本期语数精选来源于球友应对字节跳动二面时候的场景问题数仓工程师的职业规划做数仓工程师要具备哪些点，按照重要性排序gpt在数据分析中的应用实习项目的收益价值在哪里？
语兴数据·2024-01-30 15:31

一文掌握0基础如何体系化学习数仓

欢迎关注公众号：语数2本期精选问题如何校验开发好的数仓指标？如果你是公司的分析师，应该如何分析数据？0基础如何体系化学习数仓？
语兴数据·2024-01-30 15:01

当你要做数仓汇报时，应该怎么讲故事？

语数精选简介语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数本期精选问题提问背景：了解高效的学习方向和针对性的学习路线，利用业余时间修炼自己，希望2年后收入和职级能有所提高。当下应制定怎样的学习路线？有哪些模块应深入学习或者考证？什么是指标体系，如何推动？如何方便领导讲故事，证明我司是有数据能力一、高效制定
语兴数据·2024-01-30 15:01

揭秘：数仓开发面试真正需要注意的点

怎样保障数仓数据的一致性？
语兴数据·2024-01-30 15:30

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

数仓建设学习路线（四）-指标体系建设

指标体系建设目的与下游（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率指标中心图指标体系建设难点能否与下游达成共识（沟通）指标能否做到数仓收口
语兴数据·2024-01-30 15:00

我在面试时写了这个，面试官对我刮目相看

孟哥介绍前字节跳动高级开发，军工企业数仓某线负责人，曾面试过上百人，看过2000余份简历。
语兴数据·2024-01-30 15:00

数仓建设学习路线（五）-数据质量保障

也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障数据不能及时产出影响到下游用数用户无感知，除了发现的数据问题，隐藏的数据问题仍存在很多人会有一种想法，做了这么久的数仓为什么还存在质量问题
语兴数据·2024-01-30 15:00

数仓建设学习路线（三）元数据管理

什么是元数据？简单来说就是描述数据的数据，更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据元数据该如何管理工具化开源：可通过atlas获取表依赖及信息做二次开发，或者完成可视化界面平台化：数据血缘数据血缘功能清晰知道表/任务上下游，方便排查问题，知道下游哪个模块在使用，提升开发效率及后期管理维护数据血缘类型活跃血缘：指离线开发线上调度产出的血缘，且调度持续生效静默血缘：指离
语兴数据·2024-01-30 15:59

数据治理实践 | 网易某业务线的计算资源治理

写在前面感谢关注，更多资料可以关注公众号语数，也可关注B站同名：语兴呀，一起学习数仓建设。前言本文从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中。
语兴数据·2024-01-30 15:29

数据治理实践 | 小文件治理

小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。
语兴数据·2024-01-30 15:29

回响科技二面面试题解答

面试题1、你们的数仓中DWD层为什么要划分数据域？划分数据域之后会对ADS层造成什么影响？是可以提效还是可扩展性强？你们是如何考虑的呢？
语兴数据·2024-01-30 15:58

06.领域驱动设计：使用DDD分层架构，可以有效降低层与层之间的依赖

目录1、概述2、什么是DDD分层架构1.用户接口层2.应用层3.领域层4.基础层3、DDD分层架构最重要的原则是什么4、DDD分层架构如何推动架构演进1.微服务架构的演进2.微服务内服务的演进5、三层架构如何演进到
cxzm_1024·2024-01-30 15:14

07.领域驱动设计：3种常见微服务架构模型的对比和分析

三种微服务架构模型的对比和分析5、从三种架构模型看中台和微服务设计5.1中台建设要聚焦领域模型5.2微服务要有合理的架构分层5.2.1项目级微服务5.2.2企业级中台微服务5.3应用和资源的解耦与适配6、总结1、概述DDD分层架构
cxzm_1024·2024-01-30 15:40

CH395Q之CH395Q简介（一）

、CH395Q是什么（了解）3、CH395Q工作命令（熟悉）4、CH395Q&W5500一、TCP/IP协议栈是什么是一系列网络协议的总和，定义了电子设备之间如何在因特网进行数据传输TCP/IP协议栈分层架构主要分为应用层
I am Supreme·2024-01-30 09:16

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

MySQL的redo log和binlog日志

文章导读浅谈MySQL分层架构在讲具体的日志之前，先稍微铺垫下MySQL分层的架构，让大家知道redolog、binlog是由MySQL的哪一层产生的。
程序员xysam·2024-01-29 23:07

以太网的分层架构_汽车电子电气架构专题报告：从特斯拉看汽车电子电气架构变革...

获取报告请登录未来智库www.vzkoo.com。1、汽车电子电气架构：汽车的中枢神经1.1.汽车电子电气架构EEA:电子电气设计的整体解决方案汽车电子电气架构E/E架构(EEA,Electrical/ElectronicArchitecture)由德尔福公司提出。汽车电子电气架构将传感器、ECU、线束、电子电气分配系统整合，实现了汽车整体的配置和功能的实现。E/E架构通过物理层面的布置，对车身信
一个有温度的移民老师·2024-01-29 20:27

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他