数仓学习专栏第43页

企业数仓拉链表制作

一、拉链表定义记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。如果当前信息至今有效，在生效结束日其中填入一个极大值（如：9999-99-99）生效日期=某个日期二、为什么要做拉链表拉链表适合于：数据会发生变化，但是大多数的数据是不变的，即缓慢变化维比如:订单信息从未支付、已支付、未发货、已完成等状态经历了一周，大部分时间是不变化的，如果数据

比格肖·2023-03-09 18:05

数仓建设保姆级教程，离线和实时一网打尽(理论+实战)

本文大纲：因内容较多，带目录的PDF查看是比较方便的：数仓建设保姆级教程PDF文档一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？

园陌·2023-03-09 16:58

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 上

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。

浪尖聊大数据-浪尖·2023-03-01 07:14

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下

文档大纲：本文上半部分之前已经发过了，传送门：50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战)上此篇文章是整个文档的下半部分，将接着上半部分从第五章开始。

浪尖聊大数据-浪尖·2023-03-01 07:14

【SQL开发实战技巧】系列（二十二）：数仓报表场景☞ 从分析函数效率一定快吗聊一聊结果集分页和隔行抽样实现方式

系列文章目录【SQL开发实战技巧】系列（一）:关于SQL不得不说的那些事【SQL开发实战技巧】系列（二）：简单单表查询【SQL开发实战技巧】系列（三）：SQL排序的那些事【SQL开发实战技巧】系列（四）：从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列（五）：从执行计划看IN、EXISTS和INNERJOIN效率，我们要分场景不要死记网上结论【SQ

赵延东的一亩三分地·2023-03-01 07:06

【平台数仓设计——2023】

平台数仓设计——2023前言一、选取大数据平台1、CDH大数据平台2、HDP大数据平台3、CDP大数据平台4、各种云数据中台二、选取调度平台1、DolphinScheduler(海豚调度)2、AzKaban3

BigData_LYT·2023-02-27 18:44

我从银行数仓项目学到了什么

|后台回复“银行数仓”，下载论文数据分析当下十分流行，但能把数据分析出花来的，本文算的上先驱。做数仓的朋友，年底汇报时，写不出总结，在老板面前无功可表时，学学这。

dbLenis·2023-02-26 07:24

银行数仓体系发展之路

银行的数字化实践必须建设好数仓体系。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

易观·2023-02-26 07:54

离线数仓04—— 用户行为数据同步

文章目录第1章实时数仓同步数据第2章离线数仓同步数据2.1用户行为数据同步2.1.1数据通道2.1.2日志消费Flume配置概述2.1.3日志消费Flume配置实操2.1.4日志消费Flume测试2.1.5

就是这个范~·2023-02-26 07:54

维度建模详解

合并2事实表设计2.1明细事实表(dwd)2.1.2案例：2.1.3存储方案2.1.4事实拉链表示例：2.2聚合事实表(dws)2.2.1分类2.2.2案例3数据集市4业务数据案例4.1数据采集4.2数仓设计

Fouradam·2023-02-26 07:23

【实时数仓】介绍、需求分析、统计架构分析和ods层日志行为数据采集

文章目录一电商实时数仓介绍1普通实时计算与实时2实时电商数仓分层二实时数仓需求分析1离线计算与实时计算的比较2应数场景（1）日常统计报表或分析图中需要包含当日部分（2）实时数据大屏监控（3）数据预警或提示

OneTenTwo76·2023-02-26 07:23

36 大数据项目之电商数仓（集群监控Zabbix）

文章目录第1章Zabbix入门1.1Zabbix概述1.2Zabbix基础架构第2章Zabbix部署2.1集群规划2.2准备工作2.2.1关闭集群2.2.2关闭防火墙（3台节点，已关闭）2.2.3关闭SELinux（hadoop102）重启生效2.3配置Zabbixyum源（3台节点）2.3.1安装yum源2.3.2修改为阿里云镜像2.4安装Zabbix2.5配置Zabbix2.5.1创建zabb

普通网友·2023-02-26 07:48

▼ 系列 | 漫谈数仓第四篇NO.4 『BI选型』

大数据时代商业智能（BI）和数据可视化诉求更为强烈，淘宝大屏更是风靡全球！数据可视化是大数据『最后一公里』，BI唤醒沉睡的数据。传统型BI力求大而全的统一综合型报表和分析平台，侧重传统式报表开发，俨然一把屠龙刀。现互联网公司快速迭代的业务发展，需要的却是倚天剑，促使自助式BI和敏捷BI得以迅速发展。时代召唤，传统BI巨头也逐渐向自助式BI和云BI转型。一时间，数据可视化和BI呈现出"百家争鸣，百花

浪尖聊大数据-浪尖·2023-02-26 07:48

维度建模方法论

维度建模方法一、前言本人学习《数仓工具箱》的学习总结，纯学习分享，供大家参考。二、经典数仓架构理论围绕着维度建模，那就不得不了解，早期的数据仓库构架方法。这里介绍一下两个经典的数仓架构理论。

清风和月明·2023-02-26 07:47

数仓建模理论--维度建模

总线架构：维度建模的数据仓库中，有一个概念叫BusArchitecture，中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是一致性维度（ConformedDimension）和一致性事实（ConformedFact）。一致性维度和事实，企业数据仓库应该建立一个一致性维度和事实，而不是为每个部门建立维度和事实。一致性维度：具有一致的维度关键字

Dylan ZhaoHT·2023-02-26 07:47

大数据项目---电商数仓（三）

目录1.即席查询_Presto概述2.即席查询_Presto_Server的部署3.即席查询_Presto_Server启动4.即席查询_命令行客户端说明5.即席查询_LZO说明6.即席查询_Presto_web端口编辑7.即席查询_Presto使用注意事项/优化8.即席查询_Kylin简介9.即席查询_前置概念10.即席查询_Kylin架构11.即席查询_Hbase的一个安装12.即席查询_Ky

ASDWYang·2023-02-26 07:13

实时数据同步工具＜Maxwell入门简介及原理解析、安装部署＞

文章目录一、Maxwell的定义二、Maxwell的工作原理三、Maxwell的安装部署简述：对于离线数仓项目中将MySQL中的数据同步到大数据平台使用的工具是sqoop，而我们在大数据处理中并不是只有离线计算

徐象·2023-02-26 06:36

实时数仓实践（一）之数据库实时增量同步工具-CDC（Change Data Capture）

数据库实时增量同步工具-CDC（ChangeDataCapture）Canal阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前

NuOne_plus·2023-02-26 06:36

阿里云数仓实时同步任务binlog解析文档

背景：阿里云dataworks中有实时同步数据库binlog的任务配置，起源是业务数据库中数据被回滚了，所以借助数仓这边的同步任务数据进行解析和监控更新时间。

Hunter_Young·2023-02-26 06:35

数仓：浅谈银行业的数仓构建实践

文章目录简介一、银行数仓画像二、银行业数仓建设2.1数据总线2.2数据仓库ODM层2.3数据仓库SDM层2.4数据仓库FDM层2.5数据仓库ADM层2.6数据服务三、项目管理简介数据仓库，对从事IT行业的从业者来说并不是个陌生的名词

Freedom3568·2023-02-26 06:04

大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本

文章目录8.实时数仓同步数据9.离线数仓同步数据9.1用户行为数据同步9.1.1数据通道9.1.1.1用户行为数据通道9.1.2日志消费Flume配置概述9.1.2.1日志消费Flume关键配置9.1.3

Redamancy_06·2023-02-26 06:02

使用 Docker 搭建离线数仓环境

文章目录前言一、Docker安装1.1CentosDocker安装1.2UbuntuDocker安装【推荐】1.3MacOsDocker安装1.4WindowsDocker安装【不推荐】二、容器准备2.1拉取镜像2.2启动并创建容器2.3进入容器三、环境准备3.1安装必要软件3.2配置SSH免密登录3.3设置时区3.4关闭防火墙3.5时间同步、静态ip、主机映射四、MySQL安装4.1上传解压安装

Vicky_Tang·2023-02-25 07:18

Tapdata Connector 实用指南：实时数仓场景之数据实时同步至 ClickHouse

【前言】作为中国的“Fivetran/Airbyte”,Tapdata是一个以低延迟数据移动为核心优势构建的现代数据平台，内置60+数据连接器，拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力，以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。随着TapdataConnector的不断增长，我们最新推出《

·2023-02-24 20:37

【离线数仓-5-数据仓库环境准备】

离线数仓-5-数据仓库环境准备离线数仓-5-数据仓库环境准备1.数据仓库运行环境1.Hive环境搭建1.Hive引擎2.HiveonSpark配置2.Yarn环境配置2.数据仓库开发环境3.模拟数据准备离线数仓

Apache Minor Trend·2023-02-24 18:28

大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比

大数据平台实时数仓从0到1搭建之-14Maxwell&Canal对比概述环境数据库配置安装配置启动命令输出结果HA监控web总结概述前两章分别写了maxwell和canal的安装使用，我本人其实是第一次听说这两个工具

这都不是事er·2023-02-24 12:17

大数据平台实时数仓从0到1搭建之 - 12 Maxwell

大数据平台实时数仓从0到1搭建之-12Maxwell概述Maxwellquickstart修改MariaDB配置Maxwelldocker下载maxwell测试stdout：输出控制台kafka后续附客户端代码概述今天学习下

这都不是事er·2023-02-24 12:16

云音乐数据资产化建设的思考与实践

……“咱们的数仓建设得好不好？”，“数仓建设进度到哪儿了？模

·2023-02-24 11:57

数据治理如何做？火山引擎DataLeap帮助这款产品3个月降低计算成本20%

该产品随着用户体量和数据体量不断增长，数仓的任务量、数据量也不断攀升，运维难、成本贵、稳定性等问题在不断凸显。通过使用火山引擎DataLeap的数据治理能力，3个月时间将计算成本大幅缩减20%。

·2023-02-23 16:20

聊聊 HTAP 的前世今生

技术上，由于传统的数仓ETL链路长，延迟大，很难满足业务快速多变的诉求，业务场景的变化也掀起了一股HT

·2023-02-23 15:17

云原生实时数仓 SelectDB 首次产品发布会等你来约！

从结绳记事到竹木简牍，从书于纸墨到印刷成册；数据以千百种姿态承载着人类的文明贯穿历史的长河。时代在更迭，不变的是社会文明对于数据的沉淀和探索。在计算机的帮助下，人类处理信息的速度空前加快，经过指数级的增长，数据已经积累到了前所未有的量级，一轮基于“大数据”的产业革命重塑了个人、企业乃至社会发展的底层逻辑。数字化的征程一往无前，所有的组织都不约而同地迈上了业务数字化和数字业务化的探索之路。大家都在面

·2023-02-22 10:07

WARNING: Running pip as the ‘root‘ user can result in broken permissions and conflicting behaviour w

数仓学习记录1、问题WARNING:Runningpipasthe'root'usercanresultinbrokenpermissionsandconflictingbehaviourwiththesystempackagemanager.Itisrecommendedtouseavirtualenvironmentinstead

祎祎_Yi·2023-02-21 13:23

实时数仓Hologres新一代弹性计算组实例技术揭秘

作者：王奇（花名慧青）阿里云Hologres研发随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。

·2023-02-21 11:30

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。

·2023-02-20 16:42

Teradata退出中国背后：云数仓成为行业主流发展趋势

近日，数据仓库巨头Teradata（天睿公司）内部宣布退出在中国市场，引发业界广泛关注。作为数据仓库行业的明星企业，Teradata进入中国二十余年来，曾经一度占据中国数据仓库市场半壁江山。如今，随着Teradata的退出，中国大数据市场竞争格局也将产生新的变化。业内人士分析，云计算的快速兴起与蓬勃发展是Teradata走下“神坛”的一个重要转折点。云计算的去中心化架构，弹性存储与计算方式，高灵活

·2023-02-20 14:36

Teradata退出中国，您可以相信中国数据库！

继Adobe、Tableau、Salesforce之后，2023年2月15日，数仓软件巨头Teradata宣布将逐步结束在中国的直接运营。

·2023-02-20 14:34

数据治理体系化思考与实践

一、序言美团住宿数据治理团队通过多年数仓建设及数据治理的经验沉淀，并结合业务发展阶段对于数据治理的诉求，将治理的思路逐步从专项、表象、问题驱动的治理，转变为自动化、体系化的治理，并从标准化、数字化、系统化三个方向进行了落地与实践

000X000·2023-02-20 07:58

关于数仓基础知识的超全概括！

周末和大家分享一些数仓基础知识的小集锦，希望能对你有些帮助~1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

浪尖聊大数据-浪尖·2023-02-20 07:24

业务数据治理体系化思考与实践

一、序言美团住宿数据治理团队通过多年数仓建设及数据治理的经验沉淀，

美团技术团队·2023-02-20 07:14

听闻Teradata退出中国，我想起了我经历过的一个数仓项目

昨天，Teradata撤出中国，我想起了我在20年前做的数据仓库项目。想当年Teradata是数据仓库的代名词啊，就如同现在搜索东西好多人说百度一下一样。可惜我没有用过Teradata。2002年，我基于SQLServer的数据仓库+商业智能做了一套所谓的决策支持系统。决策支持系统DSS，这样的名字在当年很流行。（1）20年前的数据来源和现在仍然差不多：不少来自Excel，那就ETL抽进来有些想要

david_lv·2023-02-19 20:28

Flink X Hologres构建企业级Streaming Warehouse

点击查看>>本篇内容主要分为四个部分：一、实时数仓分层的技术需求二、阿里云一站式实时数仓Hologres介绍三、FlinkxHologres：天作之合四、基于FlinkCatalog的StreamingWarehouse

aliyunhologres·2023-02-19 07:49

设计模式学习专栏八--------模板方法模式

设计模式学习专栏八--------模板方法模式名称:模板方法模式(TemplateMethod)价值观念:封装算法场景创建咖啡和茶image最初的设计发现第一步和第三步是相同的步骤,因此将它们抽取到父类中

你的头发真的好长·2023-02-19 06:37

离线电商数仓3.0项目即席查询复盘笔记

离线电商数仓3.0项目即席查询复盘笔记kylin的简介与架构ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据

岁月的眸·2023-02-18 20:49

核桃编程Delta Lake实时数仓应用实践

1.3架构改造前方案现有指标都是将Kafka/Mysql等的数据写入HDFS，使用Hive离线批处理，每10分钟执行一次，循环统计历史累计指标，再定时把数据同步到Mysql，提供给数据后台查询。如下图所示:image1.4遇到的问题随着计算的数据量越来越大，逐渐不能满足业务的更新频率要求。使用ApacheSqoop做全量数据同步，会对业务Mysql库/HDFS造成压力。使用ApacheSqoop做

fat32jin·2023-02-18 20:13

数仓架构发展史

公众号：大数据技术派发展史时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。时间就是一把尺子，它能衡量奋斗者前进的进程；时间就是一架天平，它能衡量奋斗者成果的重量；时间就是一架穿梭机，它能带我们遨游历史长河

大数据技术派·2023-02-18 00:30

数据库、数据仓库和数据湖

数据库和数仓的本质区别？

三半俊秀·2023-02-17 23:01

TeraData数仓数据库埋数

先复制一个原表createtableuco_8.testtable1231assaddle.yuanbiaowithnodata;编写存储过程Createproceduretestzss1()beginDECLAREIINTEGERDEFAULT0;DECLAREo_khbhCHAR(12);loop_table:LOOPSETI=I+1;SETo_khbh=cast(I+10000asVACHA

王者硕·2023-02-17 10:20

数仓巨头在中国落幕，Teradata 退出国内市场！

2月15日，网传数仓巨头公司Teradata宣布将逐步结束在中国的直接运营，后续将进入中国公司关闭程序。其并未直接明确表明退出的原因，只是说此番决定是在「对中国当前和未来商业环境的慎重评估」后做出的。

CSDN资讯·2023-02-17 10:49

可路由计算引擎实现前置数据库

一方面，数仓是前端应用的数据后台，而前端应用不断增多，用户访问的并发数也不断增长。另一方面，数仓还要承担原始数据的批量离线处理，而批量任务不断增加，其数据量和计算量也在不断增大。

石臻臻的杂货铺·2023-02-16 23:56

Flink X Hologres 构建企业级 Streaming Warehouse

本篇内容主要分为四个部分：实时数仓分层的技术需求阿里云一站式实时数仓Hologres介绍FlinkxHologres：天作之合基于FlinkCatalog的StreamingWarehouse实践点击查看直播回放

·2023-02-16 20:14

Flink CEP 在抖音电商的业务实践

摘要：本文整理自抖音电商实时数仓研发工程师张健，在FFA实时风控专场的分享。

·2023-02-16 20:32

推荐频道

数仓学习专栏