数仓（第49页

【大数据面经系列】大数据开发（实时计算方向）面试题（二）

flink两阶段提交以及如何与checkpoint机制结合flink反压机制米哈游一面自我介绍flink作业提交过程算子如何分配slotflinkwatermark业务场景：去重求当天的pv业务场景：实时数仓架构设计

阿烦大64·2022-07-29 19:15

Apache Doris 1.1 特性揭秘：Flink 实时写入如何兼顾高吞吐和低延时

导读：本文基于Flink+ApacheDoris构建实时数仓的业务场景的调研结果，依据用户的面临的挑战和问题对Flink实时写入ApacheDoris的优化实现与未来规划进行了详细的介绍。

·2022-07-29 18:39

【数仓日常踩坑】记录一次特殊符号引发数据异常的排查思路

一条是(app注册用户的user_id,注册的手机号)，redis数据，每天同步全量数据到数仓；另外一条是(user_id，通讯录里的联系人手机号)，mysql的binlog数据，第一次同步全量数据，后续同步增

@Peanut·2022-07-29 13:35

Flink Postgres CDC

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料128篇原创内容公众号1、FlinkJDBC写Postgres添加依赖org.apache.flinkflink-connector-jdbc

hyunbar·2022-07-29 10:27

Docker postgres

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料124篇原创内容公众号1、拉取镜像dockerpullpostgres2、创建本地卷数据卷可以在容器之间共享和重用

hyunbar·2022-07-29 10:56

一站式实时数仓开发：当FLINK SQL遇见ULTRON

女主宣言FLINK是被称为第四代大数据处理引擎的开源利器，近年来在国内各大厂的加持下更是成为了实时计算领域的标准，而ULTRON是360商业化近一年多来在总结自身实时计算场景应用和特点的基础上打造的一款实时作业开发平台，我们一起来看看两者的结合，会擦出怎样的火花吧！PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！1什么是ULTRON背景与痛点对于开发ULTRON的背景，截止

ZVAyIVqt0UFji·2022-07-29 10:25

阿里云云原生一体化数仓 — 湖仓一体新能力解读

简介：本文主要介绍如何通过湖仓一体，打通MaxCompute与Hadoop、DLF/OSS数据湖，以及Hologres、MySQL等数据平台，并通过DataWorks做统一数据开发和治理。分享人：阿里云智能产品专家孟硕没来得及看直播的同学，可以观看直播回放。直播回放：https://developer.aliyun.com/...一、基于MaxCompute的湖仓一体架构更新基于MaxComput

·2022-07-28 18:42

深圳线下报名｜StarRocks on AWS：如何对实时数仓进行极速统一分析

想到实时数仓，很多人的第一印象就是架构复杂、操作困难、维护成本高。可是，一旦企业业务上规模，传统数仓架构又无法满足业务的数据分析需求，实时数仓就特别必要。

·2022-07-28 16:00

数仓维度建模之维度表设计（基础概念一）

数仓维度建模之维度表设计（基础概念一）1、事实&度量对业务过程的度量称为事实2、维度是什么1）维度定义在维度建模中，将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境2）维度属性维度所包含的表示维度的列

小码良·2022-07-28 10:19

数仓建模-埋点设计

一、埋点设计与管理1、埋点的作用开始之前我们先看一下我们为什么要收集埋点数据，埋点都可以做什么，埋点主要用于记录用户行为,几乎是应用必不可少的功能.埋点的作用包括但不限于分析用户转化以及存留例如下载的用户数量,注册的用户数量,一段时间之后的存留用户数量;分析用户偏好例如通过用户行为的分析,可以对用户的偏好做一定的概括,便于投其所好针对特性的用户推送特定的服务,甚至开发不同的用户体验;收集市场反馈例

000X000·2022-07-28 10:18

数仓建模宽表设计

一、宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发

000X000·2022-07-28 10:48

如何设计好数仓？数仓到底是什么？---详解

数据仓库1、什么是数仓？

一只楠喃·2022-07-28 10:17

数仓建模和业务建模对比总结

数仓建模和业务建模对比总结1.背景在大数据开发中，整个流程是数据采集，数据存储，数据传输，数据计算，数据展示。在这个过程中数据存储和数据计算是最关键2个环节。

闻香识代码·2022-07-28 10:47

数仓建模分层详解

数仓各层详解文章目录数仓各层详解前言一、数据引入层（ODS）二、明细粒度事实层(DWD)明细粒度事实表设计原则明细粒度事实表整体设计流程明细粒度事实层（DWD）规范公共汇总粒度事实层（DWS）公共汇总事实表设计原则进行

YET丶张·2022-07-28 10:46

数据仓库与数仓建模

1.数据仓库的概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。2.数据仓库的特点2.1数据仓库的数据是面向主题的与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行

扫地增·2022-07-28 10:43

大数据数仓建模 - 维度建模实战及思路过程（两年数仓建模经验纯干货）

数仓维度建模维度建模方法论:维度建模是以业务过程为驱动先确定某些业务过程围绕业务过程去建立模型通常采用自底向上的方法从明确关键业务过程开始再到明确粒度再到明确维度最后明确事实在我们数仓项目初期我们首先要做的就是一个数仓建模的设计建模也是整个数仓最核心的工作数仓的好坏就取决于你的建模数仓建模四个步骤

SOooodshlie·2022-07-28 10:13

数仓建模的思路步骤

背景通过最近的学习与工作总结，针对不同层级的数仓建模特点，记录数仓建模实战中的一些思路与步骤。

localhost_rachel·2022-07-28 10:42

数仓建模理论与设计

1.什么是数据建模数据建模就是基于对于业务的理解，将各种数据进行整合和关联，并最终使得这些数据可用性、可读性增强，让使用方法快速的获取到自己关系的有价值的信息并及时的作出相应，为公司带来效益。2.为什么要建模数据建模是一套方法论，主要对数据的存储和整合做一些指导，强调从各个角度合理的存储数据。有合适的数据模型，带来的好处：1、查询使用性能提升2、用户效率提高，改善用户体验3、提升数据质量因此大数据

练习时长两年半0·2022-07-28 10:12

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发

不二人生·2022-07-28 10:09

数仓建模—维度表

前面我们介绍了数仓建模中的事实表，具体可以见数仓建模—事实表,除了事实表之外，我们也提到了宽表，可以看数仓建模—宽表的设计,今天我们介绍一下数仓中的维度表，以及在

不二人生·2022-07-28 10:09

数仓建模—埋点设计与管理

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping

大数据技术派·2022-07-28 10:08

数仓建模

两种常见的数仓设计三范式建模尽量减少数据冗余，以关联的形式去关联数据优点：空间占用小，数据冗余少缺点：查询要用很多的JOIN维度建模不在意数据冗余，尽量为了维度而服务优点：查询的时候不需要多数的JOIN

昌昌苦练背后·2022-07-28 10:07

数仓维度建模实例

简介本文将介绍维度建模理论和基于自己经验的实施步骤数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据....只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。一般业务系统报表开发模式是java写sql从业务库算出结果数据，这样是可以快速出来结果，但有几个问题：1）对业务库的影响2）扩展性，比如页面又想加表的量程查询维度3）当数

嘿,木头·2022-07-28 10:36

数仓建模，什么是宽表？如何设计？好处与不足

宽表的设计其实宽表是数仓里面非常重要的一块，宽表主要出现在dwd层和报表层，当然有的人说dws层也有宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是

lz_N_one·2022-07-28 10:36

Flink 在讯飞 AI 营销业务的实时数据分析实践

本篇内容主要分为四个部分：业务简介数仓演进场景实践未来展望点击查看直播回放&演讲PDF一、业务简介构建实时数据分析平台是为了更好的解决业务对更高数据时效性的需求，先简单介绍一下业务流程。

·2022-07-26 12:27

数据仓库：详解维度建模之事实表

事实表基础1、事实表特征事实表作为数仓维度建模的核心，紧紧围绕着业务过程来

·2022-07-25 19:55

以“升舱”之名，谈谈云原生数据仓库AnalyticDB的核心技术

简介：企业级云原生数据仓库AnalyticDB提出了升舱计划，旨在承担和帮助金融、运营商、政务等行业构建下一代数据管理和分析系统，以应对不断增长的数据规模，业务数字化转型，和传统数仓替换升级需求。

·2022-07-25 16:43

电商数仓——（师承尚硅谷）大数据实战项目

数仓实战1.概念技术选型：搭建环境三台ECS创建wts用户：useraddwtspasswdwts输入两边密码cd/home有无wts？

大概是犬青·2022-07-25 12:24

湖仓一体电商项目（一）：项目背景和架构介绍

文章目录项目背景和架构介绍一、项目背景介绍二、项目架构1、实时数仓现状2、项目架构及数据分层3、项目可视化效果项目背景和架构介绍一、项目背景介绍湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台

Lansonli·2022-07-24 07:30

干货：关于云原生数仓存算分离的15个问答

存储是数据的持久化载体，也是数据库系统重要的基础设施。高质量的存储系统设计，对数据库的性能有着至关重要的影响。随着云计算技术的发展，数据库也开始拥抱云原生时代，“存算分离”的概念逐渐为大家所熟知。“存算分离”不仅能节约成本，还可以让资源根据业务需求弹性伸缩。HashData为了追求极致的弹性和扩展性，计算集群和持久化存储严格实行物理分离：计算集群由类似AWSEC2的虚拟机组成，持久化存储则使用对象

·2022-07-22 15:51

数仓数据指标和标签体系区别

先看一个通俗的例子：比如我们要介绍陈老师，可以有三种讲法：指标：陈老师身高180cm，体重200斤标签：陈老师1米8，大胖子标签：陈老师啊，黑旋风李逵听说不？这就是标签和指标的直观区别。数据指标，是用数据对事物的准确描述。比如身高、体重、腰围、手臂长度，这些都是数据指标。标签，则是基于原始数据加工的，带了业务含义的概括性描述。一个“大胖子”，就同时概括了身高和体重，而“长得跟李逵似的”，更是把五官

000X000·2022-07-20 20:13

阿里云云原生一体化数仓 — 数据治理新能力解读

简介：本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。分享人：阿里云智能产品专家唐晨没来得及看直播的同学，可以观看直播回放。直播回放：https://developer.aliyun.com/...一、数据治理中心产品简介阿里云DataWorks：一站式大

·2022-07-20 11:02

大数据入门（一）—— 数据仓库（数仓）基本概念

齐舞647·2022-07-18 19:22

实时BI（三）离线数据与实时数据处理的技术实现

从业务系统批量抽取过来的数据要经过一系列的清洗、转换计算，才能进入商业智能BI数仓，并在最后达到分析展现，这个过程是有时间周期的，存在一个时间窗口，所以是非实时的。

派可数据BI可视化·2022-07-17 22:33

实时数仓建设案例

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能⼒来赋能。

送你秋天的第一杯奶茶·2022-07-16 15:55

数仓拉链表逻辑

全量拉链1、数从源库抽取全量数据，存储于数仓源层表的当日分区（SA表）2、将数仓源层表当日分区的全量数据，转储进历史层当前表（SH表）3、处理数仓历史层拉链表（SH_H表）：将存在于数仓历史层拉链表（SH_H

ZenPower·2022-07-15 09:50

数据库八股文链接待看

记一次蚂蚁金服数据仓库岗位面试经历_玉皇大帝不开心-CSDN博客导读：本文将带你一起走进蚂蚁金服大数据数仓面试。文末加群，即有机会与作者『潇傲江湖』群内沟通，高手对决。

儒雅的晴天·2022-07-13 13:52

数据湖存储的现状和趋势

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。

公众号:肉眼品世界·2022-07-13 08:32

数据仓库(13)大数据数仓经典最值得阅读书籍推荐

从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。

张飞的猪大数据·2022-07-13 08:54

哪个多维分析产品的性能最好

分析来说，普通库一般是行存，数据量小还可以，一旦数据量大就很难提供给多维分析高性能；专业数仓多数采用列存，性能问题不大，但是价格也比较美（ang）丽（gui），建设维护成本非常高，买了以后甚至用不起来；

rqgxy·2022-07-13 08:22

什么是IceBerg

实时数据仓库的发展、架构和趋势这篇文章从实时数仓开始讲到批流一体，谈了谈对大数据架构体系发展趋势的看法。

阳呀么阳阳阳·2022-07-13 08:15

《数据仓库设计与开发.pdf》限时开放下载！

文末获取完整PDF这份PDF涵盖了数仓设计和建设的一些重要概念和知识点，也有很多是面试经常问的，是学习数仓必备的理论知识。

无精疯·2022-07-13 08:38

辨析数仓、大数据、数据中台的实质（内附21张架构图）

关于数仓、数据集市、数据湖、大数据平台以及数据中台，看到一篇从事21年的大佬写的文章分享，将这几者的本质和区别，结合自身经验，讲得偏僻入理，于是转来分享，希望对大家都有所感悟！

Jmayday·2022-07-13 08:36

从数据平台到报表开发，我靠这个零代码报表工具，转行后月薪3W

数仓搭好了之后，天天就是写SQL，一个月28k。在京东待两年，那业务和调优的手法，再熟悉不过了，就是加资源，简单粗暴！

Leo.yuan·2022-07-12 12:25

2022大厂真题盘点！190道大数据高频面试题+答案详解

这里有两个关键趋势：一是实时化，从传统的T+1数仓到实时数仓，全面实时化是一个必然，数据洞察变得更快了。

王知无(import_bigdata)·2022-07-12 12:21

【大数据面经系列】大数据开发（实时计算方向）面试题（一）

阿烦大64·2022-07-12 12:48

阿里云云原生一体化数仓 — 数据建模新能力解读

简介：本文主要介绍DataWorks智能数据建模的核心产品能力。分享人：阿里云智能产品专家闫建丽没来得及看直播的同学，可以观看直播回放。直播回放：https://developer.aliyun.com/...DataWorks智能数据建模-产品建设背景2009年，DataWorks就已经在阿里巴巴集团立项，支撑阿里巴巴数据中台建设，一路见证阿里巴巴大数据建设之路。2020年之前，DataWork

·2022-07-11 17:53

看阿里如何搞定实时数仓高吞吐实时写入与更新

简介：Hologres（原交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析

·2022-07-11 17:50

大数据架构师——音乐数据中心平台离线数仓综合项目（一）

文章目录音乐数据中心平台离线数仓综合项目数据库与ER建模数据库数据库三范式第一范式(1NF)：原子性，字段不可分第二范式(2NF)：唯一性，一个表只能说明一个事物，有主键，非主键字段依赖主键第三范式(3NF

yangwei_sir·2022-07-08 11:05

再见了数仓开发！我选有钱有话语权的大数据架构师！

前段时间，朋友出去面试，还没聊几句面试官就开始直奔主题：“目前的我们的开发遇到了一些困难：过去是烟囱式的开发模式，各个项目组之间的数据资源不互通，也分散了很多小的数仓，可能面临开发规范不一致，数据来源不一致

全栈开发者社区·2022-07-08 11:04

推荐频道

数仓（