数仓学习专栏

出行平台如何基于 StarRocks 构建实时数仓？

首汽约车（以下简称“首约”）是首汽集团为响应交通运输部号召，积极拥抱互联网，推动传统出租车行业转型升级，加强建设交通强国而打造的网约车出行平台。在用车服务方面，包括了即时用车、预约用车、多日接送、包车业务、接送机、国际用车、城际拼车等用车服务场景，提供出租、畅享、舒适、商务、豪华、巴士等丰富车型。首汽约车还通过数据整合和智能科技陆续推出了学生用车、老人用车等产品来满足不同人群的出行需求。随着5G时
·2023-01-06 16:26

火山引擎 DataLeap 数据调度实例的 DAG 优化方案

在数仓研发中，不同的表之间会存在依赖关系，而产生表数据的任务实例，也会因此存在依赖关系。只有在上游实例运行成功、下游实例到达设定的运行时间且资源充
·2023-01-06 11:29

【机器学习项目实战10例】（二）：利用LightGBM实现天气变化的时间序列预测

『精品学习专栏导航帖』最适合入门的100个深度学习实战项目【PyTorch深度学习项目实战100例目录】项目详解+数据集+完整源码【机器学习入门项目10例目录】项目详解+数据集+完整源码【机器学习项目实战
Bi 8 Bo·2023-01-06 10:03

数据仓库的构建

目录一.数据仓库的定义二.数仓构建规范2.1数仓设计原则2.2数据层次划分2.3数仓层次调用规定2.4ODS层规范2.5CDW层规范2.6ADS层规范三.数据仓库构建步骤3.1ODS层3.2CDW层3.3ADS
emPoint·2023-01-06 01:54

平台工具+数仓构建数据产品（二）

接：业务数仓建模，平台工具+数仓构建数据产品01引言滴滴橙心优选主要做社区电商，笔主主要负责电商中商城用户行为数据建设。
数据掘金者·2023-01-06 01:54

数仓构建-架构与模型设计

数仓分层在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（O
胜利的曙光·2023-01-06 01:24

离线数仓搭建_01_数仓概念与项目框架说明

P13)2.0项目需求及架构设计2.1项目需求2.2项目框架2.2.1技术选型2.2.2系统数据流程设计2.2.3框架版本选型2.2.4服务器选型2.2.5集群规模2.2.6集群资源规划设计下文访问：离线数仓搭建
Fang GL·2023-01-06 01:23

怎么从0到1构建大厂企业级数仓

我也没闲着，假期抽空整理了企业级数仓建设方案。
大数据兵工厂·2023-01-06 01:23

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
javastart·2023-01-06 01:52

实时数仓之 Kappa 架构与 Lambda 架构

大家好，我是球球。今天，我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍数据仓库概念离线大数据架构Lambda架构Kappa架构Lambda架构与Kappa架构的对比1数据仓库概念数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓
智慧化智能化数字化方案·2023-01-06 01:22

简单搞定数仓搭建:架构与模型设计(二)

上期引用：https://mp.csdn.net/mp_blog/creation/editor/118491690数据模型目录数据引入层（ODS）数据引入层表设计建表示例数据引入层存储缓慢变化维度明细粒度事实层（DWD）明细粒度事实表设计原则明细粒度事实层（DWD）规范建表示例公共汇总粒度事实层（DWS）公共汇总事实表设计原则公共汇总事实表规范建表示例公共维度汇总层（DIM）定义维度设计维表公共
白枭·2023-01-06 01:22

基于Flink构建全场景实时数仓

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，
普通网友·2023-01-06 01:22

数仓实践：总线矩阵架构设计

如何设计一套切实可行的数据仓库呢？我们要明白，对于数据仓库的设计是不能完全依赖于业务的需求，但往往又必须要服务于业务的价值。因此，在构建数据仓库前，我们往往会通过总线矩阵设计，来快速理解业务并规划数据仓库体系。以求从宏观的角度来描述企业的业务和数据现状，并指导后续的数据仓库建模。不妨先来看看，祖师爷Kimball在书中对总线矩阵的定义：总线矩阵：提供一种分解企业DW/BI规划任务的合理方式，行是业
云 祁·2023-01-06 01:51

数仓构建维表--行政区域维度表的构建

前言为啥子要花时间搞这个呢？就是写sql的时候，想要一个省市区维表，在网上找啊找啊找，不是要钱，就是要C币，或者就是别的，竟然没有公益的，共享一下不好吗？太抠了，今天我来分享一个，哈哈...搞个维表很简单de呦，下面说一下我做的方法：咱也用把（3W）方法来进行分析下。获取行政区域数据What？行政区域数据是什么呢?其实就是国，省（自治区），市，区县，镇/街道，街、路、巷等区域地址信息。Why?为什
MrZhangBaby·2023-01-06 01:51

数仓构建准备

1、数据集市和数据仓库的区别1、数据集市通常来说，数仓的构建会从整个企业的业务作为出发点，自上而下的进行构建，但这种方式因为涉及到多部门业务，难度较大。
月暖.如梵音·2023-01-06 01:21

4种数据仓库建模方法

4种数据仓库建模方法1数据仓库的前世今生数仓建模的目的是什么？
JaquanC·2023-01-05 22:23

基于Delta Lake构建数据湖仓体系

全文将围绕以下四个部分展开：DeltaLake的基本概念和发展历程，以及2.0版本的关键特性DeltaLake的内核解析以及关键技术围绕DeltaLake湖格式的生态建设DeltaLake在数仓领域的经典案例
·2023-01-05 18:29

直播 | StarRocks 联合腾讯云分享 EMR-StarRocks 的降本增效之路

用户无需将数据导入到StarRocks中，无需构建昂贵的数仓，即可实现亚秒级的查询速度，统一分析离线和实时数据，全面发挥湖仓架构的潜在优势。
·2023-01-05 18:26

火山引擎工具技术分享：用 AI 完成数据挖掘，零门槛完成 SQL 撰写

同时，对于专业数仓团队来说，相同主题的数据内容面临“重复建设，使用和管理时相对分散”的问题——究竟有没有办法在一个任务里同时生产，同主题不同内容的
·2023-01-03 19:47

复杂查询响应速度提升10+倍，度言软件基于 Apache Doris 实时数仓建设实践

作者|杭州度言软件大数据团队杭州度言软件有限公司（度言软件）成立于2014年，是信贷不良资产处置技术服务供应商，以“智能科技赋能不良资产处置，推动贷后行业合规高效发展”为使命，运用云通讯、大数据、人工智能等智能科技为信贷不良资产处置业务赋能，提供贷后管理通信能力支撑，实现了催收作业的智能化管理，客户群体为银行、消费金融公司、AMC等金融机构和为这些机构提供人力资源外包服务的相关公司，目前已拥有20
·2023-01-03 19:47

Deep CORAL: Correlation Alignment for Deep Domain Adaptation

本篇是迁移学习专栏介绍的第十六篇论文，由BU完成发表在ECCV2016上。Abstract深度神经网络能够从大量标记的输入数据中学习强大的表示，但是它们不能很好地概括输入分布的变化。
gdtop818·2023-01-02 14:05

机器学习专栏——（五）线性模型之基础概念

线性模型——基本概念    线性模型是机器学习中应用最广泛的模型，是通过样本特征的线性组合累进行预测的模型。假设有一个DDD维的样本x={x1,x2,...,xD}\bf{x}=\{x_1,x_2,...,x_D\}x={x1,x2,...,xD}，其线性组合表示为f(x;w)=w1x1+w2x2+...+wDxD=wTx+bf({\bfx;w})=w_1x_1+w_2x_2+...+w_Dx_D
CheckOneA·2023-01-02 13:02

算法模板学习专栏之总览（会慢慢陆续更新ing）

博主欢迎转载，但请给出本文链接，我尊重你，你尊重我，谢谢~http://www.cnblogs.com/chenxiwenruo/p/7495310.html特别不喜欢那些随便转载别人的原创文章又不给出链接的所以不准偷偷复制博主的博客噢~~数据结构和算法模板系列之总览很早前就打算将自己学过的数据结构和算法等知识和模板做个整理，但一直没有抽出时间来弄。现在打算抽空一点时间陆陆续续地将自己平时用的模板
weixin_30617561·2023-01-02 07:23

536. 迎风飞扬，回顾2022，展望2023

首先一定要说的就是云技术，一个是openstack、另一个是kubernetes，公司云数仓产品
七镜·2023-01-02 06:57

花费数小时，带你学透Java数组，这些常用方法你还记得吗？

推荐学习专栏：Java编程进阶之路【从入门到精通】文章目录1.数组2.一维数组2.1声明2.2初始化2.3使用3.二维数组3.1声明3.2初始化3.3使用4.数组在内存中的分布5.数组常用的方法5.1Arrays.toString
橙子!·2023-01-02 04:14

【Java编程进阶】面向对象思想初识

推荐学习专栏：Java编程进阶之路【从入门到精通】文章目录1.面向对象初识2.类和对象2.1类的定义2.2对象的创建和使用3.构造方法4.方法重载5.static关键字5.1static方法5.2static
橙子!·2023-01-02 04:14

【Java编程进阶】方法初识

推荐学习专栏：Java编程进阶之路【从入门到精通】文章目录1.Java方法初识2.方法的创建与使用3.方法的分类3.1无参无返回值3.2无参带返回值3.3有参无返回值3.4有参带返回值4.递归方法5.总结
橙子!·2023-01-02 04:44

【Java编程进阶】流程控制结构详解

推荐学习专栏：Java编程进阶之路【从入门到精通】文章目录1.流程控制结构2.顺序结构3.分支结构3.1单分支3.2双分支3.3多分支(if-else)3.4嵌套if3.5多分支结构(switch)4.
橙子!·2023-01-02 03:09

【Matplotlib绘制图像大全】（十八）：Matplotlib绘制条形码

正在更新中~✨我的项目环境：平台：Windows10语言环境：python3.7编译器：PyCharmMatplotlib版本：3.1.3『精品学习专栏导航帖』【Matplotlib绘制图像目录】Python
Bi 8 Bo·2022-12-31 22:05

SS00021.PBpositions——|Hadoop&PB级离线数仓.v03|——|Atlas.v03|Atlas与电商业务集成|血缘关系|

一、与电商业务集成###---电商业务集成环境准备~~~开发(建库、建表)=>导入数据=>执行Hive脚本~~~导入Hive的血缘关系二、电商业务建表###---电商业务建表语句(可省略)：~~~#创建DataBases;CREATEDATABASEODS;CREATEDATABASEDIM;CREATEDATABASEDWD;CREATEDATABASEDWS;CREATEDATABASEADS
yanqi_vip·2022-12-31 16:39

离线数仓17—— Superset可视化

第1章Superset入门1.1Superset概述ApacheSuperset是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义仪表盘。1.2环境说明本课程使用的服务器操作系统为CentOS7，Superset对接的数据源为MySQL数据库。第2章Superset安装Superset官网地址：http:/
就是这个范~·2022-12-31 16:09

CC00031.bdpositions——|Hadoop&实时数仓.V11|——|项目.v11|DWD层处理|数据仓库层数据处理.V1|

一、DW层处理###---DW层处理~~~DW(DataWarehouse数据仓库层)。~~~包含DWD、DWS、DIM层，由ODS层数据加工而成。主要完成数据加工与整合，~~~建立一致性的维度，~~~构建可复用的面向分析和统计的明细事实表，~~~以及汇总公共粒度的指标。~~~DWD(DataWarehouseDetail细节数据层)，是业务层与数据仓库的隔离层。~~~以业务过程作为建模驱动，基于
yanqi_vip·2022-12-31 16:09

离线数仓07—— 数据仓库设计

章数据仓库设计5.1数据仓库分层规划5.2数据仓库构建流程5.2.1数据调研5.2.2明确数据域5.2.3构建业务总线矩阵5.2.4明确统计指标5.2.5维度模型设计5.2.6汇总模型设计上一篇：离线数仓
就是这个范~·2022-12-31 16:38

离线数仓总结

离线数仓总结一、1、背景介绍（某APP上线后，由于业务模式新颖，市场需求量大，经过一段时间的精心运营后，逐渐积累起了上千万会员，以及三四百万的日活量，app的业务功能和产品种类、数量也急速膨胀；主要问题有
wywwyx090104·2022-12-31 16:38

离线数仓01——概念与设计思路

文章目录第1章数据仓库概念第2章项目需求及架构设计2.1项目需求分析2.2项目框架2.2.1技术选型2.2.2系统数据流程设计2.2.3框架版本选型2.2.4服务器选型2.2.5集群资源规划设计下一篇：离线数仓
就是这个范~·2022-12-31 16:08

离线数仓10—— 数仓开发之ODS层

文章目录第7章数仓开发之ODS层7.1日志表7.2业务表7.2.1活动信息表（全量表）7.2.2活动规则表（全量表）7.2.3一级品类表（全量表）7.2.4二级品类表（全量表）7.2.5三级品类表（全量表
就是这个范~·2022-12-31 16:08

离线数仓12—— 数仓开发之DWD层

文章目录第9章数仓开发之DWD层9.1交易域加购事务事实表9.2交易域下单事务事实表9.3交易域取消订单事务事实表9.4交易域支付成功事务事实表9.5交易域退单事务事实表9.6交易域退款成功事务事实表9.7
就是这个范~·2022-12-31 16:08

浅谈数仓模型（维度建模）

数仓架构的原则：1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层
公众号:肉眼品世界·2022-12-31 16:37

数据查询和业务流分开_滴滴实时数仓逐层剖解：实时与离线数据误差<0.5%

原标题：滴滴实时数仓逐层剖解：实时与离线数据误差<作者介绍潘澄，资深软件开发工程师。负责实时数据仓库建设，多年数据相关工作经验，专注数据建模、数据仓库、实时数据技术等领域。朱峰，高级软件开发工程师。
weixin_39733812·2022-12-31 16:07

阿里云DataWorks学习——数仓架构设计

（一）技术架构选型在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系
zhisheng_blog·2022-12-31 16:36

离线数仓搭建_07_数仓建模理论

点击右下方：专栏目录查看全文文章目录第三部分：数据仓库系统8.0数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名1.3.3表字段类型9.0数仓理论
Fang GL·2022-12-31 16:35

离线电商数仓建模学习笔记

1.数据仓库概述1.1数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2数据仓库核心架构2.数据仓库建模概述2.1数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它们在书
阳宝宝的向日葵·2022-12-31 16:05

离线数仓搭建_11_DWD层用户行为日志创建

文章目录13.0数仓搭建-DWD层13.1DWD层（用户行为日志）13.1.1日志解析思路13.1.2get_json_object函数使用13.1.3启动日志表13.1.4页面日志表13.1.5动作日志表
Fang GL·2022-12-31 16:05

离线数仓 (九) --------- 数仓理论

目录一、范式理论1.范式概念2.函数依赖3.三范式区分二、关系建模与维度建模1.关系建模2.维度建模三、维度表和事实表(重点)1.维度表2.事实表四、维度模型分类1.星型模型2.雪花模型3.星座模型4.模型的选择五、数据仓库建模1.ODS层2.DIM层和DWD层3.DWS层与DWT层4.ADS层一、范式理论1.范式概念定义数据建模必须遵循一定的规则，在关系建模中，这种规则就是范式。目的采用范式，可
在森林中麋了鹿·2022-12-31 16:34

离线数仓11—— 数仓开发之DIM层

文章目录第8章数仓开发之DIM层8.1商品维度表8.2优惠券维度表8.3活动维度表8.4地区维度表8.5日期维度表8.6用户维度表8.7数据装载脚本8.7.1首日装载脚本8.7.2每日装载脚本上一篇：离线数仓
就是这个范~·2022-12-31 16:01

ETL过程中数据清洗(脏数据处理)小结

但凡你真正的做过数仓，我认为这些都是轻车熟路的，因为这是数据研发的必经之路我在对候选人进行考察的时候，也经常会问到这个问题，主要是看一下候选人有没有真实工作经验，然后在开发过程中有没
派可数据BI可视化·2022-12-31 10:26

电商离线数仓项目-DWD层ETL数据清洗,最大亮点之自定义UDF函数

ODS层所得到的数据,是最原始的数据,保持原貌,不做任何的改变,例如id:1name:zhangsan类型字段加上字段值。在导入DWD层的时候,我们要对这个数据做处理,只取到value值,去除字段的名称。这里面用到UDF(一进一出)和UDTF(一进多出)。展示一条最初始的数据:这条数据,红色框起来的部分是基本字段对应一对一出。而蓝色框起来的部分是一进多出。所要的格式如下:要对获取到的日志数据进行处
梦里Coding·2022-12-31 10:55

FFA 2022 主会场 Keynote：Flink Towards Streaming Data Warehouse

本篇内容主要分为四个部分：实时流计算全球范围事实标准2022数据实时化技术创新不止StreamingDataWarehouse流式数仓DemoTips：点击「阅读原文」查看原文视频&演讲ppt01实时流计算全球范围事实标准
Apache Flink·2022-12-30 22:52

智能湖仓架构实践：利用 Amazon Redshift 的流式摄取构建实时数仓

AmazonRedshift是一种快速、可扩展、安全且完全托管的云数据仓库，可以帮助用户通过标准SQL语言简单、经济地分析各类数据。相比其他任何云数据仓库，AmazonRedshift可实现高达三倍的性能价格比。数万家客户正在借助AmazonRedshift每天处理EB级别的数据，借此为高性能商业智能（BI）报表、仪表板应用、数据探索和实时分析等分析工作负载提供强大动力。我们很激动地为Amazon
亚马逊云开发者·2022-12-30 17:59

亚马逊云科技智能湖仓架构实践：利用Amazon Redshift的流式摄取构建实时数仓

AmazonRedshift是一种快速、可扩展、安全且完全托管的云数据仓库，可以帮助用户通过标准SQL语言简单、经济地分析各类数据。相比其他任何云数据仓库，AmazonRedshift可实现高达三倍的性能价格比。数万家客户正在借助AmazonRedshift每天处理EB级别的数据，借此为高性能商业智能（BI）报表、仪表板应用、数据探索和实时分析等分析工作负载提供强大动力。我们很激动地为Amazon
m0_72973530·2022-12-30 17:28
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他