数仓分层架构

数据数仓的三种建模方式

所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是IBM和NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。例如，在银行业，IBM有自己的BDWM(Bankingdatawarehousemodel)，而NCR有自己的FS-LDM模型。在电信业，IBM有TDWM（
大数据狂人·2023-04-20 02:25

ByteHouse 技术白皮书正式发布，云数仓核心技术能力首次全面解读（内附下载链接）

相比起传统数仓，云原生数据仓库凭借更灵活、更具弹性化的特性，以及有效降低资源、人力成本的能力，在云市场上受到越来越多的关注，逐渐成为企业数字化基础
字节数据平台·2023-04-19 22:21

DDD—Repository仓储&工厂模式

一、解耦领域层和基础层DDD严格的分层架构告诉我们，每一层只能与其下方的一层发生耦合。因此用户接口层只与应用层发生交互，应用层往下只与领域层发生交互，领域层往下只与基础层发生交互。
柚子茶1990·2023-04-19 22:01

离线数仓的数仓分层

数据仓库分层的作用数据结构化更清晰：对于不同层级的数据，他们作用域不相同，每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：提供给外界使用的是一张业务表，但是这张业务表可能来源很多张表。如果有一张来源表出问题了，我们可以快速准确的定位到问题，并清楚每张表的作用范围。减少重复开发：数据分层规范化，开发一些通用的中间层数据，能够减少重复计算，提高单张业务表的使用率
大大大大肉包·2023-04-19 21:58

数据仓库之血缘关系

对数仓了解的人应该知道，数据仓库是从业务系统（例如，用友软件、融通、红草）、爬虫等等数据源哪里获
bluedraam_pp·2023-04-19 20:42

python matplotlib绘图过程中设置线条颜色

‍博主介绍：大家好，我是大锤爱编程的博客_CSDN博客-大数据,Go,数据分析领域博主，有五年的数据开开发，有着丰富的数仓搭建、数据分析经验。
大锤爱编程·2023-04-19 17:29

在 KubeSphere 中开启新一代云原生数仓 Databend

作者：尚卓燃（https://github.com/PsiACE），Databend研发工程师，ApacheOpenDAL(Incubating)PPMC。前言Databend是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。Databend同时是一款符合Apache-2.0协议的开源软件，除了访问云服务（https://app.databend.c
·2023-04-19 12:11

数据治理实践 | 网易某业务线的计算资源治理

笔者作为数仓开发经常会收到大量集群资源满载、任务产出延时等消息/邮件，甚至下游数分及其他同学也会询问任务运行慢的情况，在这里很多数仓同学遇
·2023-04-19 12:29

详解docker与虚拟机的区别

在典型的分层架构中，提供平台虚拟化的层称为hypervisor（有时称为虚拟机管理程序或VMM）。hypevisor
禾几头·2023-04-19 12:56

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:54

中原银行对金融行业实时数仓的现状与发展趋势思考

众所周知，实时数仓落地是一个难点，尤其是金融行业，还没有出现真正所谓的实时报表。金融行业个别案例的实时数仓是在较窄场景、较多限制下的尝试，还不能够称之为实时数仓，如银行普遍的实时报表业务都无法满足。
·2023-04-19 11:10

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
weixin_38754337·2023-04-19 11:42

数据湖VS数据仓库？湖仓一体了解一下

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
浪尖聊大数据-浪尖·2023-04-19 11:12

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:38

什么是湖仓一体化？

随着当前大数据技术应用趋势，企业对单一的数据湖和数仓架构并不满意。
jane9872·2023-04-19 11:07

开源周报第 89 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-04-19 06:51

Databend Cloud 平台的 Serverless 架构实践

作者：李亚舟DatabendCloud负责人https://github.com/flaneur2020Databend是一个开源的、完全面向云架构的新式数仓，它将廉价的云存储作为主要存储，并提供快捷高效的分析性能
Databend·2023-04-19 06:21

Databend 开源周报第 88 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-19 06:20

Flink实战1-数据实时写入Kudu的客户端方式给与业务以Impala实时分析

；目前的自主分析是使用的开源产品Superset做一部分的改造，接入Druid，ES，Impala，分析师们已经全部转到我们的平台，大部分的使用都是基于我们数仓的DWS，但是除此之外实时
Kevin_鹿·2023-04-19 06:54

数仓--DW--Hadoop数仓实践Case-11-分段维度

分段维度概述在客户维度中，最具有分析价值的属性就是各种分类，这些属性的变化范围比较大。对某个个体客户来说，可能的分类属性包括：性别、年龄、民族、职业、收入和状态，例如，新客户、活跃客户、不活跃客户、已流失客户等。在这些分类属性中，有一些能够定义成包含连续值的分段，例如年龄和收入这种数值型的属性，就可以分成连续的数值区间，而像状态这种描述性的属性，可能需要用户根据自己的实际业务仔细定义，通常定义的根
李小李的路·2023-04-19 05:12

架构分层：我们为什么一定要这么做？

什么是分层架构分层有什么好处如何来做系统分层分层架构的不足总结在系统从0到1的阶段，为了让系统快速上线，我们通常是不考虑分层的。
程序猿加油站·2023-04-19 01:43

服务器端开发 —— 分层架构系统的简单说明

服务器端开发技术系统架构系统架构1、结构说明2、技术支撑2.1、基础2.2、网络2.3、并发：2.4、分布式：2.5、数据存储:2.6、安全：参考系统架构1、结构说明后台系统一般分为接入层，业务逻辑层和数据存储层，它们各自有不同的职责：1、接入层：主要负责客户端接入把用户请求分发到业务逻辑层，客户端不论是什么是浏览器还是APP类型的首先都要连接到接入层，任何请求都是通过接入层转发，客户端不用户关心
JMW1407·2023-04-19 01:03

图解！微服务架构中常见的几种架构模型

DDD分层架构整洁架构整洁架构又名“洋葱架构”。为什么叫它洋葱架构？看看下面这张图你就明白了。整洁架构的层就像洋葱片一样，它体现了分层的设计思想。
Java柚子·2023-04-18 23:01

快速开始 PieCloudDB Database：数据实例演示

新一代云原生虚拟数仓PieCloudDB「云上云」版（CloudonCloud）已于2023年3月14日重磅发布。
·2023-04-18 22:14

spring的面试宝典

spring是一个开放源代码的设计层面框架,它解决的是业务逻辑层和其他各层的松耦合问题,是一个分层的javaEE一站式轻量级开源框架.框架的主要优势之一是分层架构，分层架构允许使用者选择使用哪一个组件，
一只理智的龙·2023-04-18 22:19

MySQL和MongoDB如何JOIN查询？一个直接在本地运行的SQL执行引擎

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-04-18 22:48

快速了解数据仓库建模

6.1、数仓分层结构6.2、为什么需要对数据仓库分层？1、什么是OLTP和OLAP？
技术人小柒·2023-04-18 22:24

数仓实验二：关联规则挖掘实验（利用Python实现）

数仓实验二：关联规则挖掘实验（利用Python实现）文章目录数仓实验二：关联规则挖掘实验（利用Python实现）一、实验目的二、实验内容和要求三、实验步骤1、生成数据集2、读取数据并处理3、使用apriori
-北天-·2023-04-18 21:06

Flink SQL 在美团实时数仓中的增强与实践

01FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5000+，在整个Flink作业中占比35%，同比增速达到了115%。SQL作业的快速增长给我们带来了许多新的问题和挑战，主要包括以下几点：SQL作业无法细粒度修改StateTTL、并发等配置导致资源浪费。SQL修改逻辑无法从原先状态恢复。SQL作业出现数据正确性问题难以排查。下面将一一介绍这些问
Openlab.cosmoplat·2023-04-18 12:15

数仓原型设计

数据仓库原型设计一.何为数据仓库二.数仓名称说明2.1.DS：数据来源2.2.ODS:原始数据层为什么需要ODS层？
风清俊·2023-04-18 10:41

【Kotlin 协程】协程底层实现 ① ( Kotlin 协程分层架构 | 基础设施层 | 业务框架层 | 使用 Kotlin 协程基础设施层标准库 Api 实现协程 )

文章目录一、Kotlin协程分层架构二、使用Kotlin协程基础设施层标准库Api实现协程一、Kotlin协程分层架构Kotlin协程分层架构:在Kotlin中,协程分为两层;基础设施层:Kotlin提供了协程标准库
韩曙亮·2023-04-18 10:06

Flutter中非常优秀的分层架构

好的项目架构，对于项目开发过程中的功能交付、维护、拓展等会有重大的影响。特别是在一些较大的项目，好的架构提高交付效率，便于维护。架构什么是项目架构？应用程序架构是我们组织项目的逻辑方式，以及各种组件如何相互交互以满足业务需求。我们希望遵循标准并轻松识别我们在代码库中开发功能所需的组件。我们定义这些组件之间的关系和交互方式可以减少或增加我们项目的复杂性，这对团队的生产力有重大影响。层（Layers）
珍惜当下-拥抱明天·2023-04-18 01:35

【Android -- 软技能】聊聊高效开发的一些套路与实践

前言在开发中，编码我们有分层架构、设计模式做为套路来高效开发，但你也知道编码不是开发的全部，一个完全的开发流程用面向对象思想来概括，它分为OOA（面向对象分析）、OOD（面向对象设计）、OOP（面向对象编程
Kevin-Dev·2023-04-17 23:13

2023-详解实时数仓建设

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
000X000·2023-04-17 21:08

阿里数据仓库架构与模型设计

本文将分如下4个部分，介绍阿里巴巴DataWorks的数仓架构与模型设计方法：技术架构选型数仓分层数据模型层次调用规范01技术架构选型教程本身是以阿里云MaxCompute为例，实际上，流程和方法论是通用的
公众号:肉眼品世界·2023-04-17 21:37

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。
公众号:肉眼品世界·2023-04-17 21:07

大数据项目---电商数仓（二）

一.Azkaban_工作流程安排二.Azkaban_部署_executor三.Azkaban_部署_web四.Azkaban_部署_启停脚本五.Sqoop_导出事项六.Sqoop_Mysql建表注意事项七.Sqoop_导出脚本说明八.Azkaban_全流程调度_数据准备九.Azkaban_全流程调度_flow文件的编写上传(一)十.Azkaban_全流程调度_flow文件的编写上传(二)十一.Az
ASDWYang·2023-04-17 21:06

大数据项目实战之数据仓库：电商数据仓库系统——第7章 数仓开发之ODS层

文章目录第7章数仓开发之ODS层7.1日志表7.2业务表7.2.1活动信息表（全量表）7.2.2活动规则表（全量表）7.2.3一级品类表（全量表）7.2.4二级品类表（全量表）7.2.5三级品类表（全量表
yiluohan0307·2023-04-17 21:34

2021-01-14

她找开发小王申请了数仓权限，然后从技术中台里找到了数据大屏的工具，把自己平时查数据用的sql搬上去跑，结果总是报错。小美找到了做数据产品经理的师兄小帅看了看。小帅：你这个查
一个数据人的自留地·2023-04-17 17:32

助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】

文章目录ODS层及DWD层构建01：课程回顾02：课程目标03：数仓分层回顾04：Hive建表语法05：Avro建表语法ODS层及DWD层构建01：课程回顾一站制造项目的数仓设计为几层以及每一层的功能是什么
Maynor996·2023-04-17 15:52

高并发IM系统架构优化实践

网易****IM****云分层架构图解析底层客户端SDK，覆盖了安卓，iOS，windowsPC桌面端，web网页端和嵌入式设备等多个平台。
java高并发·2023-04-17 13:45

数仓如何进行源系统调研

一、系统级调研系统概况系统的介绍资料业务范围和重要的流程是否有清算以及清算的时间、清算的来源系统主要使用部门和人员与其他系统的接口逻辑二、表级调研每张表的业务含义和用途关键字段的业务含义表的主键表与表之间的关系字典表是否有历史表，历史表是否做归档，归档的条件，归档后是否删除当前表三、字段级调研1．事前看数、事后看数2．假想应用
肥牛毛肚番茄锅·2023-04-17 06:21

【大数据OLAP引擎】图文详解 Apache Doris 架构

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建
禅与计算机程序设计艺术·2023-04-17 05:13

数仓面试

什么叫数据仓库？如何构建数据仓库？数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，它用于支持企业或组织的决策分析处理。数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它的数据基于OLTP源系统。首先，用于支持决策，面向分析型
洲洲洲xxx·2023-04-17 04:00

Spark系列 - 实时数仓之top3热门广告实战（二）

  在之前的文章中我们使用Flink也实现过topn的案例；这里，为了温习Spark如何访问kafka以及DStream的操作，我们实现一个需求：需求：每天每地区热门广告top3一、数据源[root@cdh101kafka]#bin/kafka-console-consumer.sh--bootstrap-servercdh101:9092,cdh102:9092,cdh103:9092--top
小飞牛_666·2023-04-16 19:43

银行数仓分层架构

一、为什么要对数仓分层实现好分层架构，有以下好处：1清晰数据结构：每一个数据分层都有对应的作用域，在使用数据的时候能更方便的定位和理解。
万里长江横渡·2023-04-16 18:57

六边形架构浅析

目录Clean分离分层架构当层变成千层面驱动和被驱动六边形架构/端口和适配器应用和领域通往外部世界的端口使用适配器插入结论Clean分离同样，在任何重要的软件项目中，一半的战斗都是管理复杂性。
HappyGirl快乐女孩·2023-04-16 16:09

领域驱动设计(DDD)架构整理(分层架构、六边形架构、SOA架构、REST、CRQS、事件驱动架构等)

转自：https://www.deathearth.com/1246.htmlDDD的一大好处便是它不需要使用特定的结构，由于核心域在限界上下文中，所以我们可以在整个系统中使用多种风格的结构。有些结构保卫者领域模型，能够全局性地影响系统，而有些架构则满足了某些特定的需求。我们的目标是选择适合于自己的结构和结构模式。在选择架构风格和结构模式时，应该将软件质量考虑在内。同时，避免滥用架构风格和架构模式
txxs·2023-04-16 16:08

Spring核心概念

二、Spring模块Spring分层架构由7个模块组成，模块单独存在，也可以联合实现某种功能。1、核心容器：核心容器提供Spring框架的基本功能。核心容器的主要组件是B
wysghmbb·2023-04-16 13:42

Flink 在 B 站的多元化探索与实践

增量化是我们在增量化数仓和流批一体
Apache Flink·2023-04-16 08:05
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他