Doris数仓

数仓数据分层(ODS DWD DWS ADS)

ODSDWDDWSDWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务.DWS建模,一般使用主题建模,维度建模等方式主题建模,顾名思义,围绕某一个业务主体进行数据建模,将相关数据抽离提取出来.如,将流量会话按照天,月进行聚合将每日新用户进行聚合将每日活跃用户进行聚合维度建模,其实也差不多,不过是根据业务需
123 黑曼巴·2025-01-17 16:29

数仓数据分层(ODS DWD DWS ADS)换个角度看

数仓数据分层简介1.背景数仓是什么,其实就是存储数据,体现历史变化的一个数据仓库.因为互联网时代到来,基于数据量的大小,分为了传统数仓和现代数仓.传统数仓,使用传统的关系型数据库进行数据存储,因为关系型数据库本身可以使用
闻香识代码·2025-01-17 16:28

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

参考：万字详解数仓分层设计架构ODS-DWD-DWS-ADS数据分层的意义1、清晰数据结构2、数据血缘追踪3、数据复用，减少重复开发4、把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作
_Jordan·2025-01-17 16:56

数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS

往期推荐数仓入门：数据分析模型、数仓建模、离线实时数仓、Lambda、Kappa、湖仓一体-CSDN博客数仓常见名词解析和名词之间的关系-CSDN博客数据仓库及数仓架构概述-CSDN博客大数据HBase
青秋.·2025-01-17 15:17

数仓实践：如何优雅的设计DWS层？

对于数仓的分层，大家最耳熟能详的就是基于OneData方法论的三层数仓划分，分别是：数据引入层（ODS，OperationalDataStore）、数据公共层（CDM，CommonDimenionsModel
云 祁·2025-01-17 14:37

白鲸开源即将在Doris Summit Asia 2024展示新议题！

一年一度的ApacheDoris峰会再次启航，DorisSummitAsia2024现已开启报名，将于2024年12月14日在深圳正式举办。此次峰会，将对实时极速、存算分离、湖仓一体、半结构化数据分析、向量索引、异步物化视图等诸多特性进行全方位解读，为现场观众带来一场技术与思维碰撞的盛宴。白鲸开源已确认将参与此次峰会，并在大会的「泛互联网分论坛」上带来题为《利用ApacheSeaTunnel对接1
·2025-01-17 05:01

实时数仓方实际落地如何选型和构建

实时数仓方实际落地如何选型和构建一、为何需要实时数仓架构随着数字化进程的推进，企业产生的数据越来越多，与此同时企业对数据的需求也变得越来越复杂多样。
活在风浪里~·2025-01-17 04:15

Apache SeaTunnel如何实现MongoDB到Doris无缝数据同步？

如果你需要使用ApacheSeaTunnel将MongoDB数据库的数据同步到Doris，你可以按照以下步骤进行操作。
·2025-01-16 23:52

YashanDB完成中国信通院关系型数据库安全能力专项测试

YashanDB产品简介崖山数据库系统是深圳计算科学研究院(简称“深算院”)和深圳崖山科技有限公司(简称“崖山科技”)自主研发设计的新型数据库管理系统，提供包括单机主备、共享集群、空间数据库、分布式实时数仓等系列数据库产品及配套开发
·2025-01-16 18:20

数据仓库介绍

数据仓库数据仓库的概念数据仓库的主要特征数据仓库的主流开发语言-sql结构化数据sql语句数据仓库的概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统
阿龙的代码在报错·2024-09-15 16:08

深度解析：云原生环境下Docker部署Doris数据库

深度解析：云原生环境下Docker部署Doris数据库目录深度解析：云原生环境下Docker部署Doris数据库引言一、云原生与Docker基础1.云原生概念2.Docker简介二、Doris数据库概述
N201871643·2024-09-13 18:23

数仓开发之DWD层完整使用 (第五章)

数仓开发之DWD层完整使用一、流量域未精加工的事务事实表1、主要任务1）数据清洗（ETL）2）新老访客状态标记修复3）分流2、思路1）数据清洗（ETL）2）新老访客状态标记修复（1）前端埋点新老访客状态标记设置规则
小坏讲微服务·2024-09-13 13:22

离线数仓VS实时数仓

离线数据仓库（OfflineDataWarehouse）和实时数据仓库（Real-timeDataWarehouse）的实施有一些相似之处，但也存在显著的差异。以下是两者在几个关键方面的对比：相同点：数据集成：都需要从多个数据源提取、转换和加载数据（ETL/ELT）。都需要处理数据清洗、去重和规范化，以保证数据的一致性和准确性。数据建模：都需要进行数据建模，设计数据仓库的星型或雪花模型，定义事实表
james二次元·2024-09-13 03:14

数仓建模之维度表&指标表

在数据仓库中，维度和指标是两个重要的概念。维度（Dimension）：维度是一种描述业务过程中各种属性的方法，用于对业务过程进行分析和归类。维度包括时间、地点、人员、产品、客户等各种业务属性，是数据分析的基础。指标（Measure）：指标是衡量业务过程效果的标准，是数据分析的重要指标。指标包括数量、金额、时间、比率、百分比等，用于衡量业务过程的各种结果。在数据仓库中，通常会使用维度表和指标表来进行
锵锵锵锵~蒋·2024-09-12 20:01

Apache Doris支持的数据类型详解

目录1.TINYINT2.SMALLINT3.INT4.BIGINT5.LARGEINT6.FLOAT7.DOUBLE8.DECIMAL9.BOOLEAN10.CHAR11.VARCHAR(M)12.STRING13.DATE14.DATETIME15.BITMAP16.HLL(HyperLogLog)1.TINYINT1字节有符号整数，范围：[-128,127]2.SMALLINT2字节有符号整
Bulut0907·2024-09-11 23:44

兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册

ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
vvvae1234·2024-09-11 19:17

Docker部署Doris数据库

Docker部署Doris数据库是一个涉及多个步骤的过程，包括环境准备、Docker镜像拉取、配置文件创建、容器启动与配置、以及后续的数据库操作等。
天蓝蓝23528·2024-09-11 12:51

Docker部署Doris数据库

Docker部署Doris数据库是一个涉及多个步骤的过程，包括环境准备、Docker镜像拉取、配置文件创建、容器启动与配置、以及后续的数据库操作等。
hai40587·2024-09-10 20:03

数据库，数据仓库，数据湖，湖仓一体到底是什么区别

先说下上面的答案，数据仓库和数据湖可以是互相独立存在的，不存在谁是谁的缓存一说，但是如果涉及到湖仓一体的时候，数仓是结构化的数据访问入口，而底层的数据湖是可以作为数仓的底层的存储支持。要了解各个概念
大数据小尘·2024-09-10 14:46

实时数仓之实时数仓架构(Hudi)(1)

目前比较流行的实时数仓架构有两类，其中一类是以Flink+Doris为核心的实时数仓架构方案；另一类是以湖仓一体架构为核心的实时数仓架构方案。
2401_84164527·2024-09-09 19:34

2024年大数据最新实时数仓之实时数仓架构(Hudi)

处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris
2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有
2401_84181221·2024-09-09 19:04

数据仓库系列篇之基本概述

@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录前言什么是数据仓库数据仓库与数据库的区别为什么要建立数据仓库及数仓平台的优势为什么要建立数据仓库大数据数仓平台的特点或优势数据仓库和数据集市的关系前言通过收集资料
小学僧来啦·2024-09-09 09:53

数仓还是湖仓？专家圆桌深度解析

近期，Databricks以超过10亿美元的价格收购了Tabular——ApacheIceberg的商业支持公司，这一动作加剧了Snowflake和Databricks在开放湖仓标准发展上的竞争。这起收购也突显了数据湖表格式在现代数据分析架构中的关键地位。在上月的StarRocksMeetup活动中，四位湖仓技术专家代表ApacheIceberg、ApacheHudi、ApachePaimon和S
StarRocks_labs·2024-09-08 19:49

【面试系列】Doris 高频面试题解答

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏：⭐️全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.⭐️AIGC时代的创新与未来：详细讲解AIGC的概念、核心技术、应用领域等内容。⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋》：涵盖了Pytho
野老杂谈·2024-09-08 10:44

数据仓库之【商品订单数据数仓】10：数据可视化工具：Zeppelin安装部署、Zeppelin使用

一、数据可视化数据可视化这块不是项目的重点，不过为了让大家能有一个更加直观的感受，我们可以选择一些现成的数据可视化工具实现。咱们前面分析过，想要查询hive中的数据可以使用hue，不过hue无法自动生成图表。所以我们可以考虑使用Zeppelin针对一些复杂的图表，可以选择定制开发，使用echarts、finebi组件实现。二、Zeppelin安装部署注意：不要使用Zeppelin0.8.2版本，这
做一个有趣的人Zz·2024-09-05 15:45

【GaussDB(DWS)】数仓部署架构与物理结构分析

数仓架构与物理结构分析一、部署架构二、物理结构三、测试验证一、部署架构华为数据仓库服务DWS，集群版本8.1.3.x集群拓扑结构：上述拓扑结构为DWS单AZ高可靠部署架构，为减少硬件故障对系统可用性的影响
若兰幽竹·2024-09-03 20:06

数仓分层架构：DWS

在数据仓库的分层架构中，"DWS"通常指的是数据仓库的"服务层"或"汇总层"，但这个缩写可能根据不同的上下文有不同的含义。以下是几种可能的解释：1.**数据仓库服务层（DataWarehouseServices）**：-在一些云服务提供商的数据平台中，DWS可能指的是提供数据仓库功能的一组服务，这些服务可能包括数据存储、管理和分析工具。2.**数据仓库星型模式（DataWarehouseStarS
大连赵哥·2024-09-01 16:11

大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统

爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集；（二）使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；（三）使用hive数仓技术建表建库
qq_79856539·2024-09-01 11:16

常见的实时数仓方案

常见的实时数仓架构有三种。第一种是Lambda架构，是目前主流的一套实时数仓架构，存在离线和实时两条链路。
北极冰雨·2024-08-30 05:27

Hive 数据模型切换后的数据验证方案

标签系统一般属于ads集市层加工的模型数据，如果上游（数仓/业务）表进行了切换，比如我们项目最近上游从fdl/gdl切换到了dwd/dws，切换完毕后的数据一般都会出现问题，如何进行数据验证是一个需要好好思考的问题
小菜菜1223·2024-08-29 19:16

数仓之TABLESAMPLE采样

数仓中的抽样方法有很多，这里主要介绍一下：随机抽样、块抽样、桶抽样、分组抽样这四种，话不多说，直接上干货。
Luckyforever%-·2024-08-29 00:39

DORIS - 执行 git submodule update --init --recursive 的目的是什么？

前言以前，我们学习源码的时候只需要执行克隆命令即可，如下：gitclonehttps://github.com/rocky/doris.git当我学习DORIS的时候，发现执行完上面的命令后，还需要执行如下命令
cloneme01·2024-08-28 21:18

（二十）Flink Paimon

从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，建设形成适合
springk·2024-08-27 16:38

Apache Doris 2.0-beta 版本发布：盲测性能 10 倍提升，更统一的多场景极速分析体验

下载链接：https://doris.apache.org/downloadGitHub源码：https://github.com/apache/doris/tre
SelectDB技术团队·2024-08-27 15:51

doris跨hdfs集群迁移数据

官网-数据备份步骤一，在dorisA集群执行：CREATEREPOSITORY`repotestall`WITHBROKER`broker_name`ONLOCATION"hdfs://xx.xx.xx.xx:9000/repotestall"PROPERTIES("username"="user","password"="password");步骤二：BACKUPSNAPSHOTtest.sna
州周·2024-08-27 00:27

钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

钱大妈是社区生鲜连锁品牌的开拓者，经过十一年的稳健运营，已成为行业内的领军品牌，截至2023年7月已全国布局超30多座城市，门店总数3000余家，服务家庭超1000万。近年来，随着业务的高速发展以及门店的快速扩张，钱大妈需要对生鲜产品的采购、销售、库存等数据进行实时监控和分析，以保障食品的新鲜度及品质。同时需要管理众多门店与供应链信息，以了解各区域销售趋势和顾客偏好，从而优化商品结构和库存管理。在
ApacheDoris·2024-08-27 00:57

Apache Doris + Iceberg 快速搭建指南｜Lakehouse 使用手册（三）

湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。ApacheDoris持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍ApacheDoris与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括Hudi、Paimon、Iceberg、OSS、DeltaLake、K
SelectDB技术团队·2024-08-24 10:25

Doris 夺命 30 连问！(下)

Q&A1.Doris如何处理和识别NULL和空，在导入和导出数据时在Doris内，是通过null值与""值来区分的，一个在CSV中是类似\N这样的值，一个是无数据的，一个是空字符串，这两个值在存储到Doris
atbigapp.com·2024-08-23 23:41

谈一谈数据虚拟化的技术核心和应用架构

这一技术方案与过去面对传统数仓的弊端，业界过去经常采取的方式Presto方案有一定相似，但存在明显差别。
Aloudata·2024-08-22 21:31

数开中：SQL递归函数使用场景（70天）

数仓（DataWarehouse）中，SQL递归函数的使用场景多出现在需要处理具有层级或树状结构的数据时。这类数据可能包括商品分类、用户行为路径（如点击流中的页面跳转）、促销活动层级等。
大数据飞总·2024-08-21 20:29

某项目公司-——ETL工程师岗位——二面

1.自我介绍2.如果给你一个数仓项目，你应该从那些方面向你的上级汇报。3.对自己的未来职业生涯规划。4.平常下班之后做那哪些事情。5.对于写PPT,写文档这块是否可以。
劝学-大数据·2024-03-20 06:46

03hive数仓安装与基础使用

hiveHive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，本质上还是一个文件底层是将sql语句转换为MapReduce任务进行运行本质上是一种大数据离线分析工具学习成本相当低，不用开发复杂的mapreduce应用，十分适合数据仓库的统计分析hive可以用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在hadoop
daydayup9527·2024-03-14 13:39

ETL策略

ETL架构的datastage，informatica，以ELT为代表的ODI，再到后来的批处理方式，SQL编码方式，但是其本质还是抽取数据，处理，再加载到目标平台，常用的方式：1.初始化：当我们建立数仓平台时候
朱先生_hfm·2024-03-10 13:11

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

背景：在数仓任务中，经常要解决小文件的问题。
不想起的昵称·2024-03-02 15:03

Apache Doris 2.0.5 版本正式发布

亲爱的社区小伙伴们，ApacheDoris2.0.5版本已于2024年2月27日正式与大家见面。这次更新带来一系列行为变更和功能更新，并进行了若干的改进与优化，旨在为用户提供更为稳定高效的数据查询与分析体验。新版本已经上线，欢迎大家下载体验！行为变更selectchar(0)='\0'返回true，跟MySQL的行为保持一致Export导出数据支持空表新增功能利用过滤条件中的isnull谓词，将O
·2024-02-29 04:43

EMR StarRocks实战——Mysql数据实时同步到SR

下文主要介绍如何使用Flink平台和E-MapReduceStarRocks，通过CTAS&CDAS功能实现实时数仓中TP（TransactionProcessi
爱吃辣条byte·2024-02-28 09:49

Doris ——SQL原理解析

目录前言一、Doris简介二、SQL解析简介2.1词法分析2.2语法分析2.3逻辑计划2.4物理计划三、DorisSQL解析的总体架构四、Parse阶段五、Analyze阶段六、SinglePlan阶段
爱吃辣条byte·2024-02-20 22:14

第3.2章：Doris-2.0数据导入——Compaction机制

目录一、Compaction概述1.1LSM-Tree概述1.2Compaction概述1.3Rowset数据版本1.4Compaction优点1.5Compaction问题1.5.1Compaction速度低1.5.2写放大问题1.6Compaction调优1.6.1业务侧1.6.2运维侧二、Compaction执行方式2.1VerticalCompaction2.1.1概述2.1.2原理2.2
爱吃辣条byte·2024-02-20 20:30

Databend 开源周报第 132 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
·2024-02-20 10:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他