数仓

准备数仓实习面试中回顾SQL题

550-game-play-analysis-ivhttps://leetcode.com/problems/game-play-analysis-iv/description/连续两天登录的比率，2025年6月10日星期二，date_sub#编写解决方案，报告在首次登录的第二天再次登录的玩家的比率，四舍五入到小数点后两位。换句话说，你需要计算从首次登录日期开始至少连续两天登录的玩家的数量，然后除

zhuiQiuMX·2025-07-05 19:23

阿里云SelectDB：开启实时数仓新时代

一、引言在当今大数据时代，数据如同企业的“石油”，蕴含着巨大的价值。随着数据量呈指数级增长，企业对于实时数据分析的需求愈发迫切。实时数据分析能够帮助企业及时捕捉市场动态，快速做出决策，从而在激烈的市场竞争中占据优势。无论是电商企业需要实时分析用户购买行为以进行精准营销，还是金融机构需要实时监测风险以保障资金安全，实时数据分析都发挥着关键作用。阿里云SelectDB作为一款专为实时数据分析打造的云原

云资源服务商·2025-07-04 10:09

储能业 | 低成本部署！DolphinDB 打造抽水蓄能一体化解决方案

导语在电力行业抽水蓄电场景中，电力集团可以基于DolphinDB搭建轻量化实时数仓，有效破解高频数据写入、万亿级数据存储和秒级实时计算等核心难题。

DolphinDB智臾科技·2025-06-29 03:55

实时数仓工具-SelectDB

一、SelectDB简介官网：https://www.selectdb.com/1、ApacheDorisApacheDoris是一款采用MPP架构的实时分布式OLAP数据仓库，专注于高效的实时数据分析。Doris项目于2013年内部开发，2017年正式开源，目前在GitHub上获得了接近13,000星，全球已有超过5,000家企业采用，社区活跃度极高，累计贡献者超过650人，且曾连续数月在大数据

清平乐的技术博客·2025-06-27 04:25

针对数据仓库方向的大数据算法工程师面试经验总结

建模实战题：例如设计电商销售数仓，需明确事实表（订单流水）、维度表（商品、用户、时间），并解释粒度选择（如订单级）。ETL流程与优化增量抽取方案：面试高频题。需掌握基于时间戳、CD

巴基海贼王·2025-06-27 01:05

现代数据湖架构全景解析：存储、表格式、计算引擎与元数据服务的协同生态

一、数据湖架构演进与核心价值数据湖架构演进历程现代数据湖核心价值矩阵维度传统数仓现代数据湖存储成本高（专有硬件）低（对象存储）数据时效性小时/天级分钟/秒级

讲文明的喜羊羊拒绝pua·2025-06-26 00:46

湖仓一体实时数据采集与存储实践

文章目录湖仓一体实时数据采集与存储实践1.实时数仓演进：从传统数仓到湖仓一体1.1传统数仓的局限性：批处理延迟与数据孤岛1.2湖仓一体（Lakehouse）的核心价值1.3典型行业场景解析案例1：金融实时风控案例

danny-IT技术博客·2025-06-25 08:17

maxcomputer 和 hologres中的EXTERNAL TABLE 和 FOREIGN TABLE

在阿里云的大数据和实时数仓产品中，MaxCompute和Hologres都支持类似于EXTERNALTABLE和FOREIGNTABLE的机制，但它们的实现和语义有所不同。

静听山水·2025-06-23 06:37

【StarRocks系列】StarRocks vs Mysql

它诞生于解决现代企业对海量数据进行快速、复杂分析的需求，尤其是在实时数据仓库、用户行为分析、日志分析、统一数仓等场景下表现卓越。核心特性MPP架构：采用无共享架构，计算和

漫步者TZ·2025-06-21 12:05

SPL轻量级多源混合计算

经常要借助逻辑数据仓库，但基于SQL的逻辑数仓不仅能力有限，而且体系过于沉重，经常会比应用本身还复杂，只适合应用于大型场景中，并不适合众多日常的轻量多源混算场景。S

LuckJudy·2025-06-20 13:31

云原生数仓 vs 传统数仓：深度拆解区别、优劣势及主流选型

云原生数仓vs传统数仓：深度拆解区别、优劣势及主流选型在数据驱动业务的当下，数据仓库作为企业数据中枢，承载着核心决策支持使命。随着云技术普及，云原生数仓与传统数仓的选型博弈愈发关键。

limnade·2025-06-19 22:47

血缘系统 datahub + Sqllineage

使用方一般为对数仓表结构不太熟悉的业务/数据经理想要了解有哪些数据。

CesarChoy·2025-06-13 23:10

从 GreenPlum 到镜舟数据库：杭银消费金融湖仓一体转型实践

作者：吴岐诗，杭银消费金融大数据应用开发工程师本文整理自杭银消费金融大数据应用开发工程师在StarRocksSummitAsia2024的分享引言：融合数据湖与数仓的创新之路在数字金融时代，数据已成为金融机构的核心竞争力

镜舟科技·2025-06-13 23:08

Fusion引擎赋能：流利说如何用阿里云Serverless Spark实现数仓计算加速

作者：流利说Ibson（大数据负责人）/Bruce（数据工程师）背景介绍行业流利说是领先的科技驱动的教育公司，公司自主研发了领先的英语口语评测、写作打分引擎和深度自适应学习系统，致力于为用户提供一整套系统性的英语学习解决方案，从听、说、读、写多个维度提升用户的英语水平。业务特征AI打分：利用大数据和人工智能算法对用户英语口语评测、写作打分。个性化推荐：根据用户学习目标及评级，自动推荐专项和强化课程

阿里云大数据AI技术·2025-06-11 23:29

Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速

作者：流利说Ibson（大数据负责人）/Bruce（数据工程师）01背景介绍行业流利说是领先的科技驱动的教育公司，公司自主研发了领先的英语口语评测、写作打分引擎和深度自适应学习系统，致力于为用户提供一整套系统性的英语学习解决方案，从听、说、读、写多个维度提升用户的英语水平。业务特征AI打分：利用大数据和人工智能算法对用户英语口语评测、写作打分。个性化推荐：根据用户学习目标及评级，自动推荐专项和强化

Apache Spark中国社区·2025-06-11 23:28

HAWQ 取代传统数仓实践（十八） —— 层次维度

目录一、层次维度简介二、固定深度的层次三、多路径层次四、参差不齐的层次五、递归一、层次维度简介大多数维度都具有一个或多个层次，例如，示例数据仓库中的日期维度就有一个四级层次：年、季度、月和日，这些级别用date_dim表里的列表示。日期维度是一个单路径层次，因为除了年-季度-月-日这条路径外，它没有任何其他层次。为了识别数据仓库里一个维度的层次，首先要理解维度中列的含义，然后识别两个或多个列是否具

wzy0623·2025-06-10 16:11

数据仓库——如何量化评价一个数据仓库的好坏？

为了回答这个问题，小编特意邀请了我司的数仓专家FrankLi。

辉哥大数据·2025-06-10 16:10

数仓多源异构数据整合策略：融合与分离的实践指南

目录引言第一章问题分析与决策框架1.1典型业务场景1.2关键矛盾点1.3三维决策模型

莫叫石榴姐·2025-06-06 17:46

记一次·Spark读Hbase

记一次·Spark读Hbase一、背景过年回来，数仓发现hive的一个表丢数据了，需要想办法补数据。这个表是flume消费kafka写hive。

·2025-06-06 00:55

Flink进阶之路：解锁大数据处理新境界

基础回顾二、Flink进阶知识深入2.1数据类型与序列化2.2双流Join操作2.3复杂事件处理（CEP）2.4状态管理与优化三、Flink在实际场景中的应用3.1实时智能推荐3.2实时欺诈检测3.3实时数仓与

£菜鸟也有梦·2025-06-05 04:33

Doris实践——叮咚买菜基于OLAP引擎的应用实践

目录前言一、业务需求二、选型与对比三、架构体系四、应用实践4.1实时数据分析4.2B端业务查询取数4.3标签系统4.4BI看板4.5OLAP多维分析五、优化经验六、总结原文大佬介绍的这篇Doris数仓建设实践有借鉴意义的

吵吵叭火·2025-06-04 20:05

开源免费数据同步工具全景解析与实战指南

1.1工具分类矩阵类型代表工具核心能力适用场景开源协议ETL工具DataX、SeaTunnel异构数据源批量同步数据仓库构建Apache2.0CDC工具FlinkCDC、Canal实时数据变更捕获实时数仓

社恐码农·2025-06-04 13:39

最全Doris实战——结合Flink构建极速易用的实时数仓_flink doris

3.6.4执行层查询加速四、行业最佳实践4.1跨境电商4.2运营服务商4.3供应链企业原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。

2301_82241942·2025-06-01 06:36

实时数仓flick+clickhouse启动命令

FlinkCDC环境部署启动flink-yarn模式1、启动zookeeperzk.shstart2、启动DFS，Hadoop集群start-dfs.sh3、启动yarnstart-yarn.sh4、启动kafka（如果需要在启用）启动Kafka集群bin/kafka-server-start.sh-daemonconfig/server.properties查看Kafkatopic列表bin/k

遥遥领先zzl·2025-06-01 06:06

实时数据仓库存储引擎革新：从Lambda到Kappa++架构的底层技术演进

引言：实时数仓的存储革命迫在眉睫在数字化转型浪潮中，企业对数据时效性的需求正从T+1小时向秒级演进。据Gartner最新报告显示，到2025年将有75%的企业将实时数据分析能力作为核心竞争力指标。

尘烬海·2025-06-01 04:20

未来数仓的构想

未来数仓的构想周日再北京参加亚马逊云科技的开发者usergroup会议，下面是一个会议演讲内容，对我很有启发随着大数据的蓬勃发展，数据仓库的架构逐渐从传统的、单一的数据存储结构转向更加智能、灵活的分布式架构

小Tomkk·2025-05-31 19:19

数据仓库实践：使用SQL汇总BOM数据分析维度

将BOM主数据引入数仓，可以保证数据流转和分析过程中保证与制造过程的一致，以确保分析结果的准确。

The_Singing_Towers·2025-05-30 13:37

数据仓库建设：主题域简介

以下是常见的数仓主题域及其对应的功能：1.客户管理

goTsHgo·2025-05-30 06:19

实时数仓和离线数仓的区别是什么？企业如何选择合适的数仓架构？

实时数仓和离线数仓的区别是什么？企业如何选择合适的数仓架构？时数仓和离线数仓都是数据仓库的不同类型，用于存储和管理企业的数据，但它们在数据处理和使用的时间、速度以及用途方面有明显的区别。

数字天下·2025-05-29 05:17

《Spark/Flink/Doris离线&实时数仓开发》目录

欢迎加入《Spark/Flink/Doris离线&实时数仓开发》付费专栏！

大模型大数据攻城狮·2025-05-25 12:32

电商数仓项目(八) Flume(3) 生产者和消费者配置

目录一、生产数据写到kafka二、消费kafka数据写到hdfs本节讲解Flume生产者和消费者配置。源码下载一、生产数据写到kafka将上节生成的flume-interceptor-1.0.0.jar文件上传到$FLUME_HOME/lib目录下在$FLUME_HOME/conf目录中创建file-flume-kafka.conf文件，文件目录：/u01/gmall/data/in/log-da

涛2021·2025-05-24 02:19

数仓开发面试题汇总-数据建模&数据治理

1.如何建设数仓，如何构建主题域数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

话数Science·2025-05-20 17:56

【数据仓库面试题合集③】实时数仓建模思路与实践详解

一、建模原则与数仓分层认知1.实时数仓与离线数仓建模有什么区别？答：维度离线建模实时建模数据来源批量导入，数据快照流式数据，如Kafka数据一致性可批量补数，强一致性补数困难，更强调最终一致

晴天彩虹雨·2025-05-20 17:24

离线数仓01-用户行为日志采集平台

1数据仓库项目1.1数据仓库概念数据仓库（DataWarehouse）①日志采集系统②业务系统数据③爬虫系统等获得的数据进行清洗、转义、分类、重组、合并、拆分、统计等操作。1.2项目需求用户行为数据采集平台的搭建（前端埋点日志数据）业务数据采集平台的搭建（MySQL业务数据）数据仓库维度建模（hive数据分层：ods、dwd、dws、dwt、ads）即席查询工具，随时进行指标分析（es、kiban

最佳第六六六人·2025-05-19 03:14

数仓建模—美团配送数据治理实践

数仓建模—美团配送数据治理实践今天，数据资产日益成为企业的核心竞争力。但如果企业在走向数字化过程中遗忘了数据治理，可能再多的投入都会变成一种“徒劳”。

不二人生·2025-05-15 14:07

BI PaaS化实践：衡石如何通过可插拔数仓加速企业数据湖仓一体？

湖仓一体（Lakehouse）架构试图融合两者的优势——既支持海量原始数据存储（如数据湖的低成本），又提供高效分析能力（如数仓的ACID事务）。

zandy1011·2025-05-14 09:55

数仓建模思想之星型模型、雪花模型、星座模型

数仓建模思想之星型模型、雪花模型、星座模型1.背景在大数据开发中，数据一般是分为事实表，维度表，实体表等表。事实表顾名思义就是记录实际发生的事情如订单表，优惠券使用表等等。

闻香识代码·2025-05-13 07:37

数仓_范式建模/维度建模

范式建模ThirdNormalForm，3NF是数据模型常用的一个方法，主要解决关系型数据库的数据存储。目前关系型数据库的建模方法，大部分采用三范式建模，即通过实体关系（EntityRelationship，ER）模型描述企业业务。是数据仓库之父Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构，即从数据源到数据仓库再到数据集市的（先有数据仓库再有数据市场）一种瀑布流开发方法。第三范式

cllblogs·2025-05-13 07:04

数仓建模—雪花模型和星型模型

数仓建模—雪花模型和星型模型前面我们在学习数仓建模—建模方法论的时候提到了雪花模型和星型模型以及星座模型的这个概念，但是也对这个概念进行了一定的解释，但是那一片是为了介绍方法论，所以重点还是在方法论上面

猫猫姐·2025-05-13 07:32

假期数仓项目笔记

数仓项目笔记sqoop(将数据从传统关系型数据库导出到大数据平台上)测试Sqoop是否能够成功连接数据库bin/sqooplist-databases--connectjdbc:mysql://hadoop102

s_yellowfish·2025-05-12 10:12

在 Flink + Kafka 实时数仓中，如何确保端到端的 Exactly-Once

在Flink+Kafka构建实时数仓时，确保端到端的Exactly-Once（精确一次）需要从数据消费（Source）、处理（Processing）、写入（Sink）三个阶段协同设计，结合Flink的检查点机制

静听山水·2025-05-11 12:58

《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布｜立即下载

作为基于ApacheDoris打造的现代化数据仓库，SelectDB不拘泥于传统数仓的限制，针对日志数据的特点引入了多项创新性技术，使用户可基于SelectDB构建开放、高性能、低成本、统一的日志存储分析平台

SelectDB技术团队·2025-05-10 01:33

基于Flink+Hologres搭建实时数仓

ApachePaimon是一种流批统一的数据湖存储格式，结合Flink及Spark构建流批处理的实时湖仓一体架构。Paimon创新地将湖格式与LSM技术结合起来，给数据湖带来了实时流更新以及完整的流处理能力。借助实时计算Flink版与ApachePaimon，可以快速地在云端OSS上构建数据湖存储服务。ApachePaimon提供以下核心能力：实时入湖能力增强：实时计算Flink版提供了丰富的入湖

soso1968·2025-05-09 08:39

Flink + Kafka 数据血缘追踪与审计机制实战

二、实时数仓中常见的数据血缘诉求场景血缘粒度举例数据来源标识数据级别明确某条

晴天彩虹雨·2025-05-09 05:18

数仓建模—数据模型

数仓建模—数据模型前面我们讲了什么是数据仓库，以及数据仓库的发展历史，从这里开始我们讲解数仓建模，在开始之前我们先了解一下什么是数据模型，以及常见的数据模型都有哪些数据建模的目标是说明系统内使用和存储的数据类型

不二人生·2025-05-06 03:36

【数仓重构】基于StarRocks的敏捷数仓

1.StarRocks建表1.1背景在特定的业务场景下，使用了StarRocks构建数仓越来越流行，尤其在云原生的场景下，StarRocks的BE/CN可以远程挂载分布式文件系统，使得存储计算分离，更加弹性

Sonnie0000001（马库斯）·2025-05-05 20:25

StarRocks实战——vivo基于 StarRocks 构建实时大数据平台

难以满足业务复杂查询需求1.4.运维挑战，用户查询体验需优化二、OLAP选型与实践三、应用实践3.1数据链路优化3.2列更新3.3集群监控告警3.4集群弹性部署四、结语原文大佬写的这篇StarRocks实时数仓建设案例有借鉴意义

吵吵叭火·2025-05-05 20:55

基于Hive + Spark离线数仓大数据实战项目（视频+课件+代码+资料+笔记）

AI方案2025·2025-05-05 16:32

mysql8之前如何实现row_number() over(partition by xxx order by xxx asc/desc)

文章目录背景问题分析难点解决方案：总结公式多字段作为分组如何处理背景最近笔者在进行对广告业务的数据统计时遇到这种情况，业务方嫌弃离线数仓太慢，又无需太高的实时性本该使用即席查询的OLAP去做，但是当前公司调研的

扫地增·2025-05-05 03:28

大数据面试问答-数据湖

2.与数仓对比维度数据仓库数据湖数据存储处理后的结构化数据原始数据（结构化/半结构化/非结构化）Schema处理Schema-on-Write（写入时

孟意昶·2025-05-03 20:14

推荐频道

数仓