数仓学习专栏第48页

【统一数据开发平台】-OLAP分析平台和实时数仓实践和优化

一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍BIGO大数据平台及其所面临的问题。BIGO大数据平台的数据流转图如下所示：用户在APP，W

Impl_Sunny·2023-01-08 10:16

基于 Flink 的实时数仓建设实践

实时平台初期架构在实时数据系统建设初期，由于对实时数据的需求较少，形成不了完整的数据体系。我们采用的是“一路到底”的开发模式：通过在实时计算平台上部署Storm作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。图1初期实时数据架构但是，随着产品和业务人员对实时数据需求的不断增多，新的挑战也随之发生。数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。需求越来越多，有的需要明细数据，

高个子男孩·2023-01-08 10:15

知乎案例分享: 万字详解用户画像与实时数仓的架构与实践

文章目录1.前言1.1名词解释1.2实时数据与用户画像与各业务的结合2.面临的挑战和痛点2.1有价值2.2数据实效性2.3接口实时性2.4复杂性3.实践及经验分享3.1整体业务架构3.2实时数据的数据架构选型3.3应用层建设经验分享3.3.1实时数据系统01业务场景02面临的困难03解决方案3.3.2用户画像系统DMP01业务场景02面临的困难03解决方案04效果05待提升3.4工具层建设经验分享

Pushkin.·2023-01-08 10:44

实时数仓方案

2、实时数仓方案2.1、为何需要实时数仓架构随着数据量的增大，传统数据的方案在时效性上和数据维护上变得越来越困难。实时数仓架构应运而生。

jerry-89·2023-01-08 10:41

数仓建设规范指南

本文将全面讲解数仓建设规范，从数据模型规范，到数仓公共规范，数仓各层规范，最后到数仓命名规范，包括表命名，指标字段命名规范等！

jerry-89·2023-01-08 10:41

数仓分层、设计、建模、架构

一、数仓分层误区数仓层内部的划分不是为了分层而分层，分层是为了解决ETL任务及工作流的组织、数据的流向、读写权限的控制、不同需求的满足等各类问题。

jerry-89·2023-01-08 10:11

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。同样地，ClickHouse是OLAP在线分析领域的一颗冉冉新星，它拥有极其出众的查询性能，以及丰富的分析函数，可以助力分析师灵活而迅速地挖掘海量数据的价值。然而金无足赤，人无完人，每个组件都有自己擅长和不擅长的

腾讯云大数据·2023-01-08 10:10

腾讯云原生实时数仓建设实践

腾讯云原生实时数仓建设实践实时数仓面临的挑战实时数仓被广泛应用于腾讯各大业务，涉及的平台众多，从统计信息中可以看出，集群规模庞大，数据量极大。

腾讯云大数据·2023-01-08 10:10

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

chiweiwei2710·2023-01-08 10:10

Hologres助力AliExpress双11实时数仓升级

简介：本篇将重点介绍Hologres在阿里巴巴AliExpress的最佳实践，并助力AliExpress实时数仓升级，节约成本近50%，提效300%。

阿里开发者·2023-01-08 10:39

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。

StarRocks_labs·2023-01-08 10:09

黑马Hive+Spark离线数仓工业项目-任务流调度工具AirFlow（2）

Oracle与MySQL调度方法目标：了解Oracle与MySQL的调度方法实施Oracle调度：参考《oracle任务调度详细操作文档.md》-step1：本地安装Oracle客户端-step2：安装AirFlow集成Oracle库-step3：创建Oracle连接-step4：开发测试query_oracle_task=OracleOperator( task_id='oracle_o

骨灰级收藏家·2023-01-08 10:37

实时数仓，为什么不可代替？

什么是实时数据仓库？它有哪些不可替代之处？大数据时代中，数据仓库解决了商业智能分析过程中的数据管理问题，但是存在烟囱式、冗余高的弊端随着商业智能的兴起和数据时代的到来，越来越多的企业开始汇总、整合和分析自身的业务大数据，从中挖掘出有价值的知识信息，支撑商业决策。相比于早年的信息初时代，不由让人感叹一句，时代变了。大数据时代的一个显著特征就是企业会面临数据源多、结构复杂的问题，为了更好地业务大数据实

jerry-89·2023-01-08 10:05

数据分析师的个人感悟

文章目录一、数据分析师特点二、技术要求2.1数仓2.2SQL2.3python数据分析2.4数据可视化2.5报告呈现2.6数据产品化2.7小结三、从业务角度看数分类型3.1运营岗3.2商业分析岗3.3产品分析

赵杰_2022·2023-01-07 19:48

指标分析的步骤

1、思考产品类型，梳理业务流程许多数仓的项目，前期做的需求分析，包括demo设计，功能性需求和非功能性需求。指标来源有两个，一个是各部门提供的文档需求，一个是跟业务部门沟通后产生的。

qq_37301790·2023-01-07 14:27

【新年新姿势第一弹】腾讯云EMR数仓建设教程发布——与尚硅谷强强联手带你全方位了解大数据组件

腾讯云开发者社区带着干货来了，腾讯云×尚硅谷大数据研究院强强联手，重磅推出新年第一弹：腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达：腾讯云开发者公开课-腾讯云开发者社区-腾讯云这套教程由腾讯云官方与尚硅谷大数据研究院联合推出

·2023-01-06 16:56

出行平台如何基于 StarRocks 构建实时数仓？

首汽约车（以下简称“首约”）是首汽集团为响应交通运输部号召，积极拥抱互联网，推动传统出租车行业转型升级，加强建设交通强国而打造的网约车出行平台。在用车服务方面，包括了即时用车、预约用车、多日接送、包车业务、接送机、国际用车、城际拼车等用车服务场景，提供出租、畅享、舒适、商务、豪华、巴士等丰富车型。首汽约车还通过数据整合和智能科技陆续推出了学生用车、老人用车等产品来满足不同人群的出行需求。随着5G时

·2023-01-06 16:26

火山引擎 DataLeap 数据调度实例的 DAG 优化方案

在数仓研发中，不同的表之间会存在依赖关系，而产生表数据的任务实例，也会因此存在依赖关系。只有在上游实例运行成功、下游实例到达设定的运行时间且资源充

·2023-01-06 11:29

【机器学习项目实战10例】（二）：利用LightGBM实现天气变化的时间序列预测

『精品学习专栏导航帖』最适合入门的100个深度学习实战项目【PyTorch深度学习项目实战100例目录】项目详解+数据集+完整源码【机器学习入门项目10例目录】项目详解+数据集+完整源码【机器学习项目实战

Bi 8 Bo·2023-01-06 10:03

数据仓库的构建

目录一.数据仓库的定义二.数仓构建规范2.1数仓设计原则2.2数据层次划分2.3数仓层次调用规定2.4ODS层规范2.5CDW层规范2.6ADS层规范三.数据仓库构建步骤3.1ODS层3.2CDW层3.3ADS

emPoint·2023-01-06 01:54

平台工具+数仓构建数据产品（二）

接：业务数仓建模，平台工具+数仓构建数据产品01引言滴滴橙心优选主要做社区电商，笔主主要负责电商中商城用户行为数据建设。

数据掘金者·2023-01-06 01:54

数仓构建-架构与模型设计

数仓分层在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（O

胜利的曙光·2023-01-06 01:24

离线数仓搭建_01_数仓概念与项目框架说明

P13)2.0项目需求及架构设计2.1项目需求2.2项目框架2.2.1技术选型2.2.2系统数据流程设计2.2.3框架版本选型2.2.4服务器选型2.2.5集群规模2.2.6集群资源规划设计下文访问：离线数仓搭建

Fang GL·2023-01-06 01:23

怎么从0到1构建大厂企业级数仓

我也没闲着，假期抽空整理了企业级数仓建设方案。

大数据兵工厂·2023-01-06 01:23

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。

javastart·2023-01-06 01:52

实时数仓之 Kappa 架构与 Lambda 架构

大家好，我是球球。今天，我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍数据仓库概念离线大数据架构Lambda架构Kappa架构Lambda架构与Kappa架构的对比1数据仓库概念数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓

智慧化智能化数字化方案·2023-01-06 01:22

简单搞定数仓搭建:架构与模型设计(二)

上期引用：https://mp.csdn.net/mp_blog/creation/editor/118491690数据模型目录数据引入层（ODS）数据引入层表设计建表示例数据引入层存储缓慢变化维度明细粒度事实层（DWD）明细粒度事实表设计原则明细粒度事实层（DWD）规范建表示例公共汇总粒度事实层（DWS）公共汇总事实表设计原则公共汇总事实表规范建表示例公共维度汇总层（DIM）定义维度设计维表公共

白枭·2023-01-06 01:22

基于Flink构建全场景实时数仓

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，

普通网友·2023-01-06 01:22

数仓实践：总线矩阵架构设计

如何设计一套切实可行的数据仓库呢？我们要明白，对于数据仓库的设计是不能完全依赖于业务的需求，但往往又必须要服务于业务的价值。因此，在构建数据仓库前，我们往往会通过总线矩阵设计，来快速理解业务并规划数据仓库体系。以求从宏观的角度来描述企业的业务和数据现状，并指导后续的数据仓库建模。不妨先来看看，祖师爷Kimball在书中对总线矩阵的定义：总线矩阵：提供一种分解企业DW/BI规划任务的合理方式，行是业

云祁·2023-01-06 01:51

数仓构建维表--行政区域维度表的构建

前言为啥子要花时间搞这个呢？就是写sql的时候，想要一个省市区维表，在网上找啊找啊找，不是要钱，就是要C币，或者就是别的，竟然没有公益的，共享一下不好吗？太抠了，今天我来分享一个，哈哈...搞个维表很简单de呦，下面说一下我做的方法：咱也用把（3W）方法来进行分析下。获取行政区域数据What？行政区域数据是什么呢?其实就是国，省（自治区），市，区县，镇/街道，街、路、巷等区域地址信息。Why?为什

MrZhangBaby·2023-01-06 01:51

数仓构建准备

1、数据集市和数据仓库的区别1、数据集市通常来说，数仓的构建会从整个企业的业务作为出发点，自上而下的进行构建，但这种方式因为涉及到多部门业务，难度较大。

月暖.如梵音·2023-01-06 01:21

4种数据仓库建模方法

4种数据仓库建模方法1数据仓库的前世今生数仓建模的目的是什么？

JaquanC·2023-01-05 22:23

基于Delta Lake构建数据湖仓体系

全文将围绕以下四个部分展开：DeltaLake的基本概念和发展历程，以及2.0版本的关键特性DeltaLake的内核解析以及关键技术围绕DeltaLake湖格式的生态建设DeltaLake在数仓领域的经典案例

·2023-01-05 18:29

直播 | StarRocks 联合腾讯云分享 EMR-StarRocks 的降本增效之路

用户无需将数据导入到StarRocks中，无需构建昂贵的数仓，即可实现亚秒级的查询速度，统一分析离线和实时数据，全面发挥湖仓架构的潜在优势。

·2023-01-05 18:26

火山引擎工具技术分享：用 AI 完成数据挖掘，零门槛完成 SQL 撰写

同时，对于专业数仓团队来说，相同主题的数据内容面临“重复建设，使用和管理时相对分散”的问题——究竟有没有办法在一个任务里同时生产，同主题不同内容的

·2023-01-03 19:47

复杂查询响应速度提升10+倍，度言软件基于 Apache Doris 实时数仓建设实践

作者|杭州度言软件大数据团队杭州度言软件有限公司（度言软件）成立于2014年，是信贷不良资产处置技术服务供应商，以“智能科技赋能不良资产处置，推动贷后行业合规高效发展”为使命，运用云通讯、大数据、人工智能等智能科技为信贷不良资产处置业务赋能，提供贷后管理通信能力支撑，实现了催收作业的智能化管理，客户群体为银行、消费金融公司、AMC等金融机构和为这些机构提供人力资源外包服务的相关公司，目前已拥有20

·2023-01-03 19:47

Deep CORAL: Correlation Alignment for Deep Domain Adaptation

本篇是迁移学习专栏介绍的第十六篇论文，由BU完成发表在ECCV2016上。Abstract深度神经网络能够从大量标记的输入数据中学习强大的表示，但是它们不能很好地概括输入分布的变化。

gdtop818·2023-01-02 14:05

机器学习专栏——（五）线性模型之基础概念

线性模型——基本概念线性模型是机器学习中应用最广泛的模型，是通过样本特征的线性组合累进行预测的模型。假设有一个DDD维的样本x={x1,x2,...,xD}\bf{x}=\{x_1,x_2,...,x_D\}x={x1,x2,...,xD}，其线性组合表示为f(x;w)=w1x1+w2x2+...+wDxD=wTx+bf({\bfx;w})=w_1x_1+w_2x_2+...+w_Dx_D

CheckOneA·2023-01-02 13:02

算法模板学习专栏之总览（会慢慢陆续更新ing）

博主欢迎转载，但请给出本文链接，我尊重你，你尊重我，谢谢~http://www.cnblogs.com/chenxiwenruo/p/7495310.html特别不喜欢那些随便转载别人的原创文章又不给出链接的所以不准偷偷复制博主的博客噢~~数据结构和算法模板系列之总览很早前就打算将自己学过的数据结构和算法等知识和模板做个整理，但一直没有抽出时间来弄。现在打算抽空一点时间陆陆续续地将自己平时用的模板

weixin_30617561·2023-01-02 07:23

536. 迎风飞扬，回顾2022，展望2023

首先一定要说的就是云技术，一个是openstack、另一个是kubernetes，公司云数仓产品

七镜·2023-01-02 06:57

花费数小时，带你学透Java数组，这些常用方法你还记得吗？

橙子!·2023-01-02 04:14

【Java编程进阶】面向对象思想初识

橙子!·2023-01-02 04:14

【Java编程进阶】方法初识

橙子!·2023-01-02 04:44

【Java编程进阶】流程控制结构详解

橙子!·2023-01-02 03:09

【Matplotlib绘制图像大全】（十八）：Matplotlib绘制条形码

正在更新中~✨我的项目环境：平台：Windows10语言环境：python3.7编译器：PyCharmMatplotlib版本：3.1.3『精品学习专栏导航帖』【Matplotlib绘制图像目录】Python

Bi 8 Bo·2022-12-31 22:05

SS00021.PBpositions——|Hadoop&PB级离线数仓.v03|——|Atlas.v03|Atlas与电商业务集成|血缘关系|

一、与电商业务集成###---电商业务集成环境准备~~~开发(建库、建表)=>导入数据=>执行Hive脚本~~~导入Hive的血缘关系二、电商业务建表###---电商业务建表语句(可省略)：~~~#创建DataBases;CREATEDATABASEODS;CREATEDATABASEDIM;CREATEDATABASEDWD;CREATEDATABASEDWS;CREATEDATABASEADS

yanqi_vip·2022-12-31 16:39

离线数仓17—— Superset可视化

第1章Superset入门1.1Superset概述ApacheSuperset是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义仪表盘。1.2环境说明本课程使用的服务器操作系统为CentOS7，Superset对接的数据源为MySQL数据库。第2章Superset安装Superset官网地址：http:/

就是这个范~·2022-12-31 16:09

CC00031.bdpositions——|Hadoop&实时数仓.V11|——|项目.v11|DWD层处理|数据仓库层数据处理.V1|

一、DW层处理###---DW层处理~~~DW(DataWarehouse数据仓库层)。~~~包含DWD、DWS、DIM层，由ODS层数据加工而成。主要完成数据加工与整合，~~~建立一致性的维度，~~~构建可复用的面向分析和统计的明细事实表，~~~以及汇总公共粒度的指标。~~~DWD(DataWarehouseDetail细节数据层)，是业务层与数据仓库的隔离层。~~~以业务过程作为建模驱动，基于

yanqi_vip·2022-12-31 16:09

离线数仓07—— 数据仓库设计

章数据仓库设计5.1数据仓库分层规划5.2数据仓库构建流程5.2.1数据调研5.2.2明确数据域5.2.3构建业务总线矩阵5.2.4明确统计指标5.2.5维度模型设计5.2.6汇总模型设计上一篇：离线数仓

就是这个范~·2022-12-31 16:38

离线数仓总结

离线数仓总结一、1、背景介绍（某APP上线后，由于业务模式新颖，市场需求量大，经过一段时间的精心运营后，逐渐积累起了上千万会员，以及三四百万的日活量，app的业务功能和产品种类、数量也急速膨胀；主要问题有

wywwyx090104·2022-12-31 16:38

推荐频道

数仓学习专栏