数仓学习专栏第25页

数仓学习（一）

数仓概述：数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

孟婆灬来碗汤·2023-08-13 00:54

阿里员工讲数据库、数仓和报表平台的实施步骤，小白和进阶扫盲系列

数仓的知识市面上的书籍和文章不少，但是实际实施依据行业不同，企业核心诉求不同，从技术到方法论各有不同。如何实施数仓项目，本文先以传统行业的数仓切入，从整体上讲下数据仓库的实施方法论！

Leo.yuan·2023-08-12 16:56

实时数仓在滴滴的实践和落地

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖

滴滴技术·2023-08-12 03:36

本地安装hadoop及其依赖组件

bin-hadoop3.2计算框架zookeeperapache-zookeeper-3.5.7-bin分布式服务器hbasehbase-2.4.11列式存储hiveapache-hive-3.1.3-bin数仓元数据启动服务

yyyyjinying·2023-08-11 22:01

【C++奇遇记】智能的函数探幽

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集数据库专栏初阶数据结构欢迎点赞收藏⭐留言如有错误敬请指正！

M malloc·2023-08-11 19:23

实时数仓项目架构分层

一、滴滴实时数仓项目在公司内部，我们数据团队有幸与顺风车业务线深入合作，在满足业务方实时数据需求的同时，不断完善实时数仓内容，通过多次迭代，基本满足了顺风车业务方在实时侧的各类业务需求，初步建立起顺风车实时数仓

公众号:肉眼品世界·2023-08-11 14:50

实时数仓实践以及架构

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

000X000·2023-08-11 14:50

数据仓库实践杂谈（十三）——逻辑数据模型（数仓模型）

整体数据分层第三章：整体实现框架第四章：元数据第五章：ETL第六章：数据校验第七章：数据标准化第八章：去重第九章：增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型

老程序员一叶知秋·2023-08-11 14:45

数仓架构模型设计参考

1、数据技术架构1.1、技术架构1.2、数据分层将数据仓库分为三层，自下而上为：数据引入层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService）。数据仓库的分层和各层级用途如下图所示。●数据引入层ODS（OperationDataStore）：存放未经过处理的原始数据至数据仓库系统，

docsz·2023-08-11 14:14

Flink实时数仓

黑冰vip·2023-08-11 12:53

离线数仓08—— 配置Hive on Spark

文章目录6.1数据仓库运行环境6.1.1Hive环境搭建6.1.2Yarn环境配置上一篇：离线数仓07——数据仓库设计下一篇：离线数仓09——模拟数据准备6.1数据仓库运行环境6.1.1Hive环境搭建

就是这个范~·2023-08-11 00:17

离线数仓15—— 报表数据导出到MySQL

文章目录第12章报表数据导出12.1MySQL建库建表12.1.1创建数据库12.1.2创建表12.2数据导出12.2.1编写DataX配置文件12.2.2DataX配置文件生成脚本12.2.3测试生成的DataX配置文件12.2.4编写每日导出脚本第12章报表数据导出为方便报表应用使用数据，需将ads各指标的统计结果导出到MySQL数据库中。12.1MySQL建库建表12.1.1创建数据库CRE

就是这个范~·2023-08-11 00:17

从0到1搭建数据仓库流程

从0到1搭建数仓，可以概括为6个步骤：业务探查、技术选型、规范制定、主题域划分、数仓分层、模型建设。一、业务探查梳理公司业务系统，业务关心的指标，开发过的需求。

夜希辰·2023-08-11 00:17

离线数仓02——用户行为日志和采集

文章目录第3章用户行为日志3.1用户行为日志概述3.2用户行为日志内容3.2.1页面浏览记录3.2.2动作记录3.2.3曝光记录3.2.4启动记录3.2.5错误记录3.3用户行为日志格式3.3.1页面日志3.3.2启动日志3.4服务器和JDK准备3.4.1服务器准备3.4.2SSH无密登录配置和JDK准备3.4.3环境变量配置说明3.5模拟数据3.5.1使用说明3.5.2集群日志生成脚本第4章用户

就是这个范~·2023-08-11 00:16

离线数仓-03-数仓系统搭建(ODS,DIM,DWD,DWS,ADS)

文章目录数仓分层为什么要分层数据运营层：ODS（OperationalDataStore）数据仓库层：DW（DataWarehouse）维表层：DIM（Dimension）数据明细层：DWD（DataWarehouseDetail

迷雾总会解·2023-08-11 00:45

大数据离线数仓开发项目详细教程

目录一、数据准备/opt/eventdata二、环境准备三、创建Kafka的topic主题四、使用Flume将文件采集到Kafka(一)在/opt/soft/flume190/conf/目录下创建events文件夹，并创建5个conf文件(二)events.conf(三)ea.conf1.ea.conf脚本内容：2开启flume3.复制文件到指定目录4.查看event_attendees_raw主

雷神乐乐·2023-08-11 00:44

数仓项目——在线教育平台离线数据仓库效果展示

ECS云服务器搭建了在线教育平台的离线数据仓库，本文仅用于记录最终的效果，从0到1的实现过程后续进行补充，由于抢占式实例的云服务器按量进行每小时计费，为了避免持续的收费，所以我急于展示结果，也就有了此文（数仓已经搭建完成

Vigoroushui·2023-08-11 00:44

【从0开始离线数仓项目】——数据仓库的环境搭建（1）

目录一、服务器环境准备1.2编写集群分发脚本xsync1.3SSH无密登录配置1.4JDK准备1.5环境变量配置说明二、集群所有进程查看脚本三、Zookeeper安装3.1分布式安装部署3.2ZK集群启动停止脚本3.3客户端命令行操作一、服务器环境准备CentOS7怎么从命令行模式切换到图形界面模式切换至root权限：sudosu-准备三台虚拟机，虚拟机配置要求如下：（1）单台虚拟机：内存4G，硬

Lingxw_w·2023-08-11 00:13

Flink—读Hive表数据写入Kafka

引言场景数仓Hive中的数据需要读取后写入Kafka中进行数据服务输出。选型选用Flink进行读Hive写Kafka，因为其拥有丰富的connector可选择。

Hughman·2023-08-10 22:26

不会Elasticsearch标准查询语句，如何分析数仓数据？

1Elasticsearch的查询语句ES中提供了一种强大的检索数据方式,这种检索方式称之为QueryDSL,QueryDSL是利用RestAPI传递JSON格式的请求体(RequestBody)数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。1.1查询预发#GET/索引名/_doc/_search{json格式请求体数据}#GET/索引名/_search{json格式请求

贝小贝貝·2023-08-10 21:32

Mysql表通过存储过程删除生产表数据

在建设实时数仓的过程中，用到了Mysql存放增量的结果数据，所以需要定时清理历史数据，为了避免影响的线上的实时数据写入，采用了按照最后更改时间，分段删除的方法。

风筝flying·2023-08-10 14:54

大数据开发：Hive列式存储ORC、Parquet的优点

众所周知，作为Hive列式存储提供了高性能的存储方式，面对大规模的数据存储任务，也能高效快速地完成，这也是Hive作为数仓工具受到肯定的一大优点。

成都加米谷大数据·2023-08-10 10:12

尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于ApachePaimon构建流批一体湖仓，主要分享：整库入湖，TB级数据近实时入湖基于Flink+Paimon的数仓批ETL建设基于Flink+Paimon的数仓流ETL建设数仓OLAP与数据地图点击进入

Apache Flink·2023-08-10 10:28

5 小时玩转阿里云 Flink 实时湖仓，速速报名！

小时玩转阿里云Flink实时湖仓，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的FlinkCDC，Paimon，StarRocks等核心技术，收获完整实时数仓与流式数据湖构建经验

Apache Flink·2023-08-10 07:31

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL

Apache Flink·2023-08-10 07:26

数据血缘落地实践

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping

大数据技术派·2023-08-10 06:58

大屏实时计算深度剖析(Flink 入门技术体系剖析实战数据处理设计方案核心技术点)

大屏实时计算深度剖析大屏实时计算深度剖析1.实时计算应用场景1.1智能推荐1.2实时数仓1.3大数据分析应用2.Flink快速入门2.1Flink概述2.2Flink基础案例2.3Flink部署配置2.4Flink

Ybb_studyRecord·2023-08-10 05:25

Flink sql 创建视图-view

1.场景是通过flinksql对表的操作，通过添加多个算子对结果的操作如图：例子不是很恰当主要是我们在创建数仓表时，通过先将一个函数的结果集放到一个视图中，在通过一个一个函数将结果放入到下一个视图中，然后在通过视图

wudl·2023-08-10 00:41

Databend 开源周报第 105 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

Databend·2023-08-09 07:49

搭建企业级BI系统有多快？奥威BI表现惊人

主要有搭建环境、建设数仓和分析模型、设计数据可视化报表。

qq_43696218·2023-08-09 07:11

两个用字符串表示的大数字的和

文章目录题目详情Java实现分析Java怎么获取到字符串中的对应位置的数字值Java完整代码测试验证python实现python怎么获取到字符串中的对应位置的数字值python完整代码总结这是遇到的一道快手数仓岗位的面试题目

富有一文·2023-08-09 07:04

Nebula Exchange 工具 Hive 数据导入的踩坑之旅

www-cdn.nebula-graph.com.cn/nebula-blog/nebula-exchange-hive-import-best-practice.png)]摘要：本文由社区用户xrfinbj贡献，主要介绍Exchange工具从Hive数仓导

图数据库NebulaGraph·2023-08-09 06:01

基于 Flink x TiDB，智慧芽打造实时分析新方案

摘要：本文整理自智慧芽数据仓库架构师曲明星在FlinkForwardAsia2021实时数仓专场的分享。

Flink中文社区·2023-08-09 02:20

顺丰科技数据治理实践

十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。

产品经理自我修养·2023-08-08 19:09

离线数仓之Kerberos基本使用及问题记录

离线数仓之Kerberos基本使用及问题记录文章目录离线数仓之Kerberos基本使用及问题记录0.写在前面1.Kerberos基本使用0.启动Kerberos相关服务1.安全模式下启动Hadoop集群

WHYBIGDATA·2023-08-08 13:54

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据

大数据技术派·2023-08-08 12:26

怎么快速搭建BI？奥威BI系统做出了表率

搭建BI系统有两大关键，分别是环境搭建和数仓建设。这两点不管是哪一个都相当地费时费力，那要怎么才能快速搭建BI平台，顺利实现全企业数字化运营决策？奥威BI系统+方案，你值得拥有！

qq_43696218·2023-08-08 07:32

【C++奇遇记】函数探幽(上)

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集数据库专栏初阶数据结构欢迎点赞收藏⭐留言如有错误敬请指正！

M malloc·2023-08-07 14:45

京东实时数据产品应用实践

.流批一体化产品体系4.产品运营：实时数据链路三道防线01京东实时产品概况1.实时数据产品支撑业务场景京东实时产品的应用涵盖集团范围内的各个体系，包括零售、物流、健康等都有实时数据的应用场景，例如实时数仓

学而知之@·2023-08-07 02:30

唯品会亿级数据服务平台落地实践

作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的DB来访问，提供统一的API接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。

qianshanding0708·2023-08-07 02:59

大数据常见应用场景及架构改进

它和传统的数仓不太一样。因为传统数仓它只能解决中小规模的数据存储与分析问题。大数据这一块要能承接海量的数据。我们来看一下它们的基本架

桥路丶·2023-08-07 02:29

Doris Sequence 列

ApacheDoris在约苗数据平台的实时数仓建设实践dorissequence列sequence列目前只支持Uniq模型。

胖胖胖胖胖虎·2023-08-06 11:05

数据仓库分层设计

美团配送数据治理实践美团配送数据治理实践-美团技术团队数据仓库分层没有绝对的规范，适合的就是最好的，特别是企业已经有一个初版的数仓的时候，需要做好改造成本和可理解性之间的平衡。

javastart·2023-08-05 15:06

【hive经典指标，离线数仓指标，ADS层指标分析】最近7日内连续3日下单用户数

1.建表语句DROPTABLEIFEXISTSads_order_continuously_user_count;CREATEEXTERNALTABLEads_order_continuously_user_count(`dt`STRINGCOMMENT'统计日期',`recent_days`BIGINTCOMMENT'最近天数,7:最近7天',`order_continuously_user_c

青云游子·2023-08-05 05:03

风很大的“云数仓”到底怎么用？三家企业交出答卷

为了解决上述问题，云原生数仓（以下简称云数仓）应运而生。与传统方案不同的是：云数仓借助于云平

字节数据平台·2023-08-04 22:23

关于数据仓库那些事 - 数据质量和数仓主题

数仓主题是什么数据仓库主题是指透过“上帝视角”将企业不同业务流程信息进行汇总、分类然后对其进行分析利用的一个抽象化的概念。也是指企业中某一分析领域具体的分析对象，这样一来，每

派可数据BI可视化·2023-08-04 17:16

大数据开发：数据仓库建模方法与模型

数仓建模方法数据仓库中几种经典的数据模型，包括关系建模、维度建模、DataVault模型。在实际工作中，通常会根据业务场景选择一种或几种模型。1、关系建模关系建模，是数据仓库之父In

成都加米谷大数据·2023-08-04 13:24

基于 Flink & Paimon 实现 Streaming Warehouse 数据一致性管理

本篇内容主要分为四个部分：背景方案设计当前进展未来规划点击查看原文视频&演讲PPT一、背景早期的数仓生产体系主要以离线数仓为主，业务按照自己的业务需求将数仓分为不同的层次，例如DWD、DWS、ADS等。

Apache Flink·2023-08-04 11:03

实时数仓分层介绍

ODS:原始数据，日志和业务数据。可通过Kafka进行收集。DWD:根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中。DIM:维度数据。可存储在HBase中。DWM:对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS:根据某个主题将多个事实数据轻度聚合，形成主题宽表。可存储在Doris、ClickHouse、Ela

csdn-延·2023-08-03 20:21

x仔的北漂实习日记-day01-02

负责的主要是某公司的日志采集系统，我负责的就是离线日志的采集和分析（之前学的是数仓，现在这个还用不到数仓，有点小失望，后续慢慢在看），而且

kiritobryant·2023-08-03 14:09

推荐频道

数仓学习专栏