数仓分层架构

Serverless 数仓技术与挑战 - 张雁飞｜3306π

在本次分享中，我们将介绍一款新型Serverless数仓技术。该技术旨在解决传统数仓在扩展性、成本和管理上的局限性，能够大幅提升性能并降低成本。我们还将探讨Serverless数仓面临的技术挑战。
Databend·2023-09-16 07:23

Meetup 回顾｜Data Infra 研究社第十期（含资料发布）

此次直播活动的两大主题分别是《漫谈时序数据库的设计》和《云原生数仓产品》。Greptime联合创始人-冯家纯、Databend优化器负责人-雷宇分别为本次活动分享了他们的独特见解。
Databend·2023-09-16 07:52

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

什么是HiveCatalog如何使用HiveCatalog什么是HiveDialect如何使用HiveDialect公众号『大数据技术与数仓』
大数据技术与数仓·2023-09-15 12:37

DDD领域驱动设计实战-服务和数据在微服务各层协作的最佳实践

1服务协作1.1服务的类型按照分层架构设计出来的微服务，其内部各层服务主要功能和职责如下：Facade服务位于用户接口层，包括接口和实现两部分。
十一技术斩·2023-09-15 11:14

领域驱动设计：微服务的服务和数据的协作关系

文章目录服务的协作数据对象视图服务的协作1.服务的类型按照分层架构设计出来的微服务，其内部有Facade服务、应用服务、领域服务和基础服务。各层服务的主要功能和职责如下。
carroll18·2023-09-15 11:37

一百七十八、ClickHouse——海豚调度执行ClickHouse的.sql文件

一、目的由于数仓的ADS层是在ClickHouse中，即把Hive中DWS层的结果数据同步到ClickHouse中，因此需要在ClickHouse中建表，于是需要海豚调度执行ClickHouse的.sql
天地风雷水火山泽·2023-09-15 09:47

HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤商城。图1：华为蓝鲸商城HashData产品⻚⾯华为蓝鲸应⽤商城是华为数据存储产品线与合作伙伴联合打造的⼀站式IT应⽤解决⽅案集成平台，通过对企业应⽤与IT基础设施的深度融合，构建了应⽤快速上线、应
HashData酷克数据·2023-09-15 08:47

一百七十七、Hive——海豚调度执行Hive的.sql文件

一、目的对于Hive数仓，每一层的建库建表SQL语句都各自放在一个.sql文件里，然后用海豚调度执行一下Hive的.sql文件二、实施步骤（一）第一步，上传.sql文件到海豚调度器上（二）第二步，建立并配置工作流
天地风雷水火山泽·2023-09-15 07:33

GaussDB（DWS）云原生数仓技术解析：湖仓一体，体验与大数据互联互通

文章目录前言一、关于数据仓库需求场景分类二、数据仓库线下部署场景2.1、线下部署场景介绍及优劣势说明2.2、线下部署场景对应的客户需求三、数据仓库公有云部署场景3.1、公有云部署场景介绍及优劣势说明3.2、公有云部署场景对应的客户需求四、为何重视数据共享（含湖仓一体）？4.1、传统数据共享业务场景4.2、数据共享（含湖仓一体）能力解决掉的问题五、数据仓库技术架构演进5.1、SharedStorag
白鹿第一帅·2023-09-15 07:56

程序员必知的7种软件架构模式

大体上，主要有下面这7种架构模式：分层架构多层架构管道-过滤器架构客户端-服务器架构模型-视图-控制器架构事件驱动架构微服务架构1分层架构模式最常见的架构模式就是分层架构或者称为n层架构。
程序员木子·2023-09-15 04:36

尚硅谷大数据项目《在线教育之离线数仓》笔记008

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P123P124P125P126P127P128P129P123ApacheSuperset是一个现代的数据探索和可视化平台
upward337·2023-09-14 23:32

数仓模型之 拉链表

Q1什么拉链表？拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就要重新开始一条新的记录，并把当前日期放入生效的开始日期；如果当前信息至今有效，在生效结束日期中填入一个极大值（一般为9999-99-99）Q2为什么要建立拉链表？拉链表适合于：数据会发生变化，但是大部分是不变的；比如：订单信息从未支付、已支付、未发货、已完成等经历了一周，大部分时间是不变化的，只有状态和状态发生时间会有更
秋慕云·2023-09-14 18:54

大数据面试知识点

大数据：1.离线数仓【ERP、电商、业务清楚、】1.业务熟悉2.技术架构3.数仓建设4.指标【5个】做过哪些指标如何做的2.spark工具：1.技术架构2.优点：3.实时指标yarn：1.背景2.好处3
ODzongzi·2023-09-14 14:24

Spring

框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为J2EE应用程序开发提供
木先易·2023-09-14 12:19

认识数据分析

文章目录1.认识数据分析1.1数据自身的三大属性1.2建数仓数据分析的工程技术1.3数据分析解决问题的原理1.4数据分析的具体流程1.5数据的中心化和智能化1.6数据分析的四种类型和六个方向1.认识数据分析
几窗花鸢·2023-09-14 07:29

Spring框架——介绍与基本概念！

框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件。Spring框架的主要目标是帮助开发人员提高生产力和系统可维护性。
猿究院小趴菜·2023-09-14 06:31

电商平台架构之道——基于DDD模式的分层架构

作者：禅与计算机程序设计艺术1.简介电商是一个经典的互联网应用场景。电商对传统IT技术人员来说是一个新兴的领域，它涉及的数据量庞大、用户量大、复杂性高、频繁变动等特性。为了应对这些特性，需要充分掌握电商平台的架构设计。本文将从业务架构、技术架构、数据架构三个方面进行阐述，并通过实践案例展示如何基于DDD模式构建电商平台架构。2.核心概念2.1DDD(Domain-DrivenDesign)模式Do
禅与计算机程序设计艺术·2023-09-14 02:29

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现

这里写自定义目录标题第1章数据可视化接口1.1设计思路1.2需求梳理1.2.1最终显示效果图1.2.2分析可视化大屏1.2.3接口执行过程第2章Sugar数据大屏2.1产品介绍2.2使用入口2.3创建数据大屏第3章总成交金额接口3.1Sugar组件：数字翻牌器3.1.1添加组件3.1.2配置组件3.1.3查询组件需要的数据格式3.1.4接口访问路径以及返回格式3.2数据接口实现3.2.1创建数据接
在学习的王哈哈·2023-09-13 13:31

尚硅谷大数据项目《在线教育之实时数仓》笔记001

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录P001P002P003P004P005P001以在线教育采集系统和离线数仓为前置基础，分为三个部分讲解：实时数仓架构介绍
upward337·2023-09-13 13:00

数仓相关知识集合

数仓建模说到数仓建模，就得提下经典的2套理论：范式建模Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。维度建模Kimball提出的总线式的自下而上（DM-DW）的数据仓库架构。
zjy997·2023-09-13 11:37

聊聊AUTOSAR开发的方法论

大家对AUTOSAR的分层架构都有很多认识，知道AUTOSAR的分层架构：应用软件层，RTE层，基础软件层。本文对AUTOSAR的方法论进行简单介绍，让大家初步认识AUTOSAR的开发流程。
千愚千寻·2023-09-13 09:29

Databend 开源周报第 110 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-09-13 09:31

自助式数据分析平台：JVS智能BI功能介绍（二）数据集管理

在整体的数仓架构中，数据集是在线加工的标准数据形态。实现从业务数据抽取到数据统计分析库中，在界面上完成数据加工的过程。数据集的创建选中对应要添加数据集的目录，点击“+”新增数
jonyleek·2023-09-13 07:38

【架构】领域驱动设计（DDD）的几种典型架构介绍

文章目录前言一、专业术语二、架构演变三、限界上下文四、领域驱动设计的四重边界五、整洁分层架构六、六边形架构七、洋葱架构总结前言我们生活中都听说了DDD，也了解了DDD，那么怎么将一个新项目从头开始按照DDD
逆流°只是风景-bjhxcc·2023-09-12 17:04

自助式数据分析平台：JVS智能BI功能介绍（二）数据集管理

在整体的数仓架构中，数据集是在线加工的标准数据形态。实现从业务数据抽取到数据统计分析库中，在界面上完成数据加工的过程。数据集的创建选中对应要添加数据集的目录，点击“+”新增数
·2023-09-12 12:36

.NET 配置Swagger

使用Swagger输出在线api文档非常方便，配置也非常的简单,前后端节约沟通时间，减少对接成本，是一个非常好的解决方案在使用中可能会出现以下几点问题：1、中文注释2、如果是分层架构，显示实体类的注释3
Denny辉·2023-09-12 09:09

【数仓建设系列之三】数仓建模方式及如何评估数仓完善性

【数仓建设系列之三】数仓建模方式及如何评估数仓完善性上篇文章我们对数仓的分层架构及核心概念做了简单介绍，同时也指明DW层是数仓建模的核心层。
码猿小站·2023-09-12 07:05

实时数仓方案五花八门，实际落地如何选型和构建！

编辑|韩楠约4,989字|10分钟阅读01文章概览（一至五）✦一、为何需要实时数仓架构二、数仓如何分层&各层用途三、数仓分层的必要性四、从Lambda架构说起五、Kappa架构解决哪些问题0
浪尖聊大数据-浪尖·2023-09-12 07:34

【数仓建设系列之四】数据建设通用规范设计

上篇文章我们讲到了数仓建模中几种常见模型优劣势对比以及数仓完整性建设方案，相信大家对此已经有了初步的了解，本篇文章我们将继续对维度建模中一些通用规范展开讨论。
码猿小站·2023-09-12 07:34

一文彻底搞懂实时数仓如何选型和构建

目录前言01为何需要实时数仓架构02数仓如何分层&各层用途03数仓分层的必要性04从Lambda架构说起05Kappa架构解决哪些问题06深入实时数仓架构方案1：Kappa架构方案2：基于标准分层+流计算方案
csdn-延·2023-09-12 06:33

【珍藏版】数仓平台、推荐系统架构选型及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注【好文推荐】【好文推荐】【好文推荐】【好文推荐】【好文推荐】⼤数据平台基础架构及解决⽅案_
大数据研习社·2023-09-12 06:02

【数仓建设系列之五】数仓选型架构概览

【数仓建设系列之五】实时数仓选型架构概览离线数仓（OfflineDataWarehouse）和实时数仓（Real-timeDataWarehouse）是数仓领域两种常见的数据存储和处理架构，它们在数据处理的方式
码猿小站·2023-09-12 06:30

尚硅谷大数据项目《在线教育之离线数仓》笔记006

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第11章数仓开发之ADS层P087P088P089P090P091P092P093P094P095P096P097P098P099P100P101P102P103P104P105P106P107P108P109P110P111
upward337·2023-09-11 20:40

如何实现数据流畅转换？火山引擎ByteHouse推出ELT能力

这就要求企业数仓具备一定的数据转换能力。传统方式是采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型，然而，这依赖于独立于数仓外的
·2023-09-11 15:03

Spring学习笔记

组成：Spring框架是一个分层架构，由7个定义良好的模块组成。Spring模
，╭(╯ε╰)╮。·2023-09-11 14:11

JavaWeb逐步深入提问（Java后端），你能回答第几个？

这种分层架构有助于提高
师范大学通信大怨总·2023-09-11 08:39

【无标题】数据仓库-学习

1、数据仓库基础知识1.1什么是数仓数仓的概念：数据仓库简称数仓，在《建立数据仓库》中是这样定义数据仓库的：数据仓库是面向主题的，数据集成的，相对稳定的（非易失的），反映历史变化（时变）的数据集合，用于支持管理决策
白＆夜·2023-09-11 06:09

A. 数据仓库 --- 概述

数仓的需求DW/BI系统要能方便地存取信息DW/BI系统必须以一致的形式展现信息DW/BI系统必须能够适应变化DW/BI系统必须能够及时展现信息DW/BI系统必须成为保护信息财富的安全壁垒DW/BI系统必须成为提高决策制定能力的权威和可信的基础
micklongen·2023-09-11 06:08

数据仓库--DWM层

一般而言，针对dwm层的设计开发是建立在，积累一定数量DM和APP相关需求后，将设计到重复的指标和维度下沉到DWM的表中，因此在数仓建立初期，可能会有直接跳过DWM来开发的情况，但是随着相似的需求不断的增加
江淮杰·2023-09-11 06:07

离线数仓同步数据2

业务数据_全量表数据同步1gen_import_config.py脚本2gen_import_config.sh脚本3全量表数据同步脚本2.2.5.4DataX配置文件生成脚本方便起见，此处提供了DataX配置文件批量生成脚本，脚本内容及使用方式如下。1gen_import_config.py脚本1）在~/bin目录下创建gen_import_config.py脚本cd/home/gpb/bin[
program chef·2023-09-11 00:42

离线数仓同步数据3

业务数据_增量表数据同步1）Flume配置概述2）Flume配置实操3）通道测试4）编写Flume启停脚本1）Flume配置概述Flume需要将Kafka中topic_db主题的数据传输到HDFS，故其需选用KafkaSource以及HDFSSink，Channel选用FileChannel。需要注意的是，HDFSSink需要将不同mysql业务表的数据写到不同的路径，并且路径中应当包含一层日期，
program chef·2023-09-11 00:39

Java数据持久层框架

一、前言1.持久层Java数据持久层，其本身是为了实现与数据源进行数据交互的存在，其目的是通过分层架构风格，进行应用&数据的解耦。
血夜之末·2023-09-10 16:17

基于flink实时数据仓库-第一讲基本情况介绍

实时数据仓库1、电商实时数仓分层介绍1.1普通实时计算和实时数据仓库比较1.2实时数据仓库，项目分层2.实时需求概述2.1离线计算和实时计算比较2.2实时需求种类3.统计架构分析3.1离线架构3.2实时架构
大数据学习爱好者·2023-09-10 15:34

AWS Glue Pyspark+Athena基础学习汇总

Pyspark基础学习汇总篇一、AWS架构①AWSGlue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）②AmazonS3数据湖（数仓):
每日小新·2023-09-10 15:50

DDD分层架构最佳实践

还在单体应用的时候就是分层架构一说，我们用得最多的就是三层架构。而现在已经是微服务时代，在微服务架构模型比较常用的有几个，例如：整洁架构，CQRS（命令查询分离）以及六边形架构。
barry的异想世界·2023-09-10 07:12

DDD（领域驱动设计）系列主题：DDD常用架构模式

以下是DDD常用架构模式：DDD分层架构整洁架构六边形架构DDD分层架构vs整洁架构vs六边形架构EventDriven架构CQRS(CommandQueryResponsibilitySegregation
LarryHai6·2023-09-09 20:04

DDD领域驱动设计四、分层架构和代码模型

文章目录一、DDD的分层架构1、服务的调用2、用户接口层3、应用层4、领域层5、基础层6、分层的原则6.1、严格分层架构6.2、松散分层架构6.3、严格分层架构和松散分层架构怎么选二、代码模型1、一级目录结构
lingengy·2023-09-09 20:04

领域驱动设计（DDD）：分层架构的三种模式

DDDDDD(DomainDrivenDesign，领域驱动设计)作为一种软件开发方法，它可以帮助我们设计高质量的软件模型。在正确实现的情况下，我们通过DDD完成的设计恰恰就是软件的工作方式。UL(UbiquitousLanguage，通用语言)是团队共享的语言，是DDD中最具威力的特性之一。不管你在团队中的角色如何，只要你是团队的一员，你都将使用UL。由于UL的重要性，所以需要让每个概念在各自的
码农老K·2023-09-09 20:04

DDD 领域驱动设计实战（分层架构）

点击下方“IT牧场”，选择“设为星标”1DDD分层架构1.1分层架构的基本原则1.2分层架构的分类1.3分层架构演进2各层职责2.1用户接口层2.2应用层2.3领域层2.4基础层3微服务架构演进微服务架构的演进案例微服务内服务的演进三层架构如何演进到
ITMuch.com·2023-09-09 20:34

领域驱动设计：DDD分层架构

文章目录DDD分层架构DDD分层架构最重要的原则DDD分层架构推动架构演进三层架构如何演进到DDD分层架构微服务架构模型有好多种，例如整洁架构、CQRS和六边形架构等等。
carroll18·2023-09-09 20:33
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他