DWS

数仓建模宽表设计

宽表主要出现在dwd层和报表层，当然有的人说dws层也有，宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是dws/dw
000X000·2022-07-28 10:48

数仓建模分层详解

数仓各层详解文章目录数仓各层详解前言一、数据引入层（ODS）二、明细粒度事实层(DWD)明细粒度事实表设计原则明细粒度事实表整体设计流程明细粒度事实层（DWD）规范公共汇总粒度事实层（DWS）公共汇总事实表设计原则进行
YET丶张·2022-07-28 10:46

数仓建模的思路步骤

涉及到的数仓分层有：ODS层、DWD层、DWS层/DWT层、ADS层，其中ODS层属于业务数据库贴源层，存放的数据与业务系统源表保持一致，所以此处不做讲解。
localhost_rachel·2022-07-28 10:42

数仓建模—宽表的设计

宽表主要出现在dwd层和报表层，当然有的人说dws层也有，宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是dws/dwd表
不二人生·2022-07-28 10:09

数仓建模，什么是宽表？如何设计？好处与不足

宽表的设计其实宽表是数仓里面非常重要的一块，宽表主要出现在dwd层和报表层，当然有的人说dws层也有宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是
lz_N_one·2022-07-28 10:36

一文读懂数仓中的pg_stat

摘要：GaussDB(DWS)在SQL执行过程中，会记录表增删改查相关的运行时统计信息，并在事务提交或回滚后记录到共享的内存中。
华为云开发者联盟·2022-07-07 10:00

数据仓库理论与实践

数据库和数据仓库的区别1.2数据建模理论1.3维度建模的步骤二、数据采集2.1通用数据采集框架2.2日志服务器日志采集工具(Flume)三、Hive离线数仓实践3.1数仓分层与意义3.2ODS层3.3DWD层3.3DWS
oahaijgnahz·2022-07-04 12:51

数仓理论- 02 数据仓库架构

3架构3.1架构图3.1.1说明不同企业存在差异，例如：命名不一样，或者是定制的，主流以阿里的参考3.1.2内容ETL,ODS,CDM(DWS,DWD),ADS3.1.3ETL:数据同步模块从业务数据库
:Concerto·2022-07-04 12:18

细说GaussDB(DWS)复杂多样的资源负载管理手段

本文分享自华为云社区《GaussDB(DWS)资源负载管理：并发管控以及CPU管控效果实测以及分析说明【这次高斯不是数学家】》，作者：Malick。背景GaussDB
华为云开发者联盟·2022-06-29 18:00

数仓的字符截取三胞胎：substrb、substr、substring

本文分享自华为云社区《GaussDB(DWS)中的字符截取三胞胎》，作者：我站在北方的天空下。
华为云开发者联盟·2022-06-27 16:00

7.Flink实时项目之独立访客开发

DWM层主要服务DWS，因为部分需求直接从DWD层到
www_xuhss_com·2022-06-17 13:07

10个常见触发IO瓶颈的高频业务场景

本文分享自华为云社区《GaussDB(DWS)性能优化之业务降IO优化》，作者：along_2020。IO高？业务慢？在DWS实际业务场景中因IO高、IO瓶颈导致的性能问题非常多，其
华为云开发者联盟·2022-06-09 18:00

什么是算子下盘？

本文分享自华为云社区《GaussDB(DWS)什么是算子下盘》，作者：Arrow0lf。处理性能问题时我们经常听到“下盘”这个概念，本文简单介绍什么是算子下盘、哪些算子会发生下盘、
华为云开发者联盟·2022-06-08 16:00

数仓（十）从0到1简单搭建加载数仓DWS层

数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六）从0到1简单搭建数仓ODS层(埋点日志+业务数据)数仓（七）从0到1简单搭建加载数仓DIM层以及拉链表处理数仓（八）从0到1简单搭建加载数仓DWD层（用户行为日志数据解析）上一次我们讲解了DWD层（关于用户交易
浪尖聊大数据-浪尖·2022-06-08 07:51

详解SQL操作的窗口函数

本文分享自华为云社区《GaussDB(DWS)SQL进阶之SQL操作之窗口函数》，作者：两杯咖啡。窗口函数是聚集函数的延伸，是更高级的SQL语言操作，主要用于AP场景下对数据进行
华为云开发者社区·2022-05-27 14:00

单片机传文件到服务器,单片机向远程服务器上传数据库

单片机向远程服务器上传数据库内容精选换一换将GaussDB(DWS)提供的ODBCDRIVER(psqlodbcw.so)配置到数据源中便可使用。
芬格尔m~~~·2022-05-23 21:33

深入解读SQL的聚集函数

摘要：本文从基本聚集操作入手，介绍常用的SQL语法，以及一些扩展的聚集功能，同时会讲到在GaussDB(DWS)里聚集相关的一些优化思路。
华为云开发者社区·2022-05-23 16:00

华为云数据“黑科技”，赋能社群电商领跑者“云”出道

【摘要】为支撑电商公司梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景，华为云云原生数据湖使用数据湖探索DLI+数据仓库DWS作为基础数据处理层支持离线、实时、交互式场景，并无缝对接上层AI
·2022-05-18 09:17

解析数仓OLAP函数：ROLLUP、CUBE、GROUPING SETS

摘要：GaussDB(DWS)ROLLUP，CUBE，GROUPINGSETS等OLAP函数的原理解析。本文分享自华为云社区《GaussDB(DWS)OLAP函数浅析》，作者：DWS_Jack_2。
华为云开发者社区·2022-04-27 11:00

华为云大数据：企业的“寻宝鼠”

华为云FusionInisght智能数据湖为企业客户提供完整的大数据云服务产品组合，有单集群最大支持5W节点的云原生数据湖MRS服务和全球最大的商用部署的云数据仓库DWS服务，MRS和DWS既可以灵活按需部署
·2022-04-16 09:17

数据仓库(6)数仓分层设计

分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。
张飞的猪·2022-04-14 12:00

5、数据仓库抽象ODS/DW/DWS

在对大数据的发展历程，整体架构和其中涉及到的相关组件有了一个初步的理解后。我们可以知道所谓的大数据实际上就是系统在运行过程中产生的各种日志的汇总集合，那么为了更进一步使数据能高复用，产生了数据仓库的概念，本章就是笔者结合自己的工作经历梳理数据仓库中的抽象层级，以便于加深对大数据架构的理解。数据仓库层级需要了解数据仓库，那么首先就要了解几个基本概念：（1）DB（数据库）：即DataBase的简称，在
朗如行玉山_5b30·2022-04-11 15:26

中国唯一 | 华为云GaussDB(DWS)获得CC安全认证

2022年3月8日，华为GaussDB200（即“华为云GaussDB(DWS)”）正式获得全球权威信息技术安全性评估标准CCEAL2+ALC_FLR.2级别认证，这是中国数据仓库产品首次获得的国际安全认证
·2022-03-29 13:22

教你识别一些sequence的相关问题

摘要：通过一些自定义的视图或者查询语句，批量识别集群的sequence相关问题本文分享自华为云社区《GaussDB(DWS)运维--sequence常见运维操作》，作者：譡里个檔。
华为云开发者社区·2022-03-28 14:00

数仓如何设置大小写不敏感函数

摘要：本文旨在介绍DWS中存在的一些大小写不敏感函数，介绍大小写敏感GUC参数设置的使用和对应大小写敏感函数的结果展示。
华为云开发者社区·2022-03-25 14:00

从读写角度，带你了解数仓的IO基本框架

本文分享自华为云社区《GaussDB(DWS)基本IO框架》，作者：Naibaoofficial。行存IO管理框架存储结构OID(Objectidentifiers):对象的唯一标识。
华为云开发者社区·2022-03-16 15:00

为什么他们选择了GaussDB

数据0丢失，1000+扩展能力，PB级海量存储；以及云数据仓库GaussDB(DWS)服务，支持一站式分析，性能、容量无限扩展，守护高价值数据
·2022-03-13 12:02

7.Flink实时项目之独立访客开发

DWM层主要服务DWS，因为部分需求直接从DWD层到DWS层中间会有一定的计算量，而且这部分计算的结果很有可能被多个DWS层主题复用，所以部分DWD会形成一层DWM，我们这里主要涉及业务：访问UV计算跳出明细计算订单宽表支付宽表因为实时计算与离线不同
选手一号位·2022-03-05 22:00

深度剖析数仓CN增量备份技术

本文分享自华为云社区《GaussDB(DWS)备份容灾之CN增量备份》，作者：zxy_db。
华为云开发者社区·2022-03-04 10:00

为什么要做数仓分层，不做行吗？

01经典的数仓分层首先跟大家聊一个经典的数仓分层结构，主要包括ODS、DWS、DW、APP四层。ODS：抽取的原始业务数据，结构一般和原始业务数据库表结构或者抽取的业务日志数据结构保持一致。
数据社·2022-02-28 15:08

数据仓库第二讲-数据仓库建模

数据仓库建模1.ODS层建模方法2.DIM层和DWD层3.DWS层与DWT层4.ADS1.ODS层建模方法1.HDFS用户行为数据创建一个表日志表，里面只需要一个字段就行了。这个表然后就是按天分区。
大数据学习爱好者·2022-02-28 10:58

电商离线数仓项目-数仓分层哪几层?/数仓为什么要分层?

3、DWS层（服务数据层）以DWD为基础，进行轻度汇总。一般聚集到以用户当日，设备当日，
梦里Coding·2022-02-28 09:10

[SQL]DWS SQL 优化

在DWS上面存储过程执行过程中，因为优化器执行的问题会导致SQL变慢，目前有2种优化方式。
幽灵鬼手·2022-02-18 07:34

尚硅谷数据仓库实战之3数仓搭建

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS：https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新·2021-12-18 19:10

尚硅谷数据仓库实战之2数仓分层+维度建模

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS：https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新·2021-12-18 19:30

数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS：https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新·2021-12-18 19:15

数仓建模—宽表的设计

宽表主要出现在dwd层和报表层，当然有的人说dws层也有，宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是dws/dwd表
大数据技术派·2021-12-02 12:00

尚硅谷数仓实战之3数仓搭建

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS尚硅谷数仓实战之1项目需求及架构设计尚硅谷数仓实战之2数仓分层+维度建模尚硅谷数仓实战之3数仓搭建尚硅谷数据仓库4.0
·2021-12-01 17:03

尚硅谷数仓实战之1项目需求及架构设计

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS尚硅谷数仓实战之1项目需求及架构设计尚硅谷数仓实战之2数仓分层+维度建模尚硅谷数仓实战之3数仓搭建尚硅谷数据仓库4.0
·2021-12-01 17:02

尚硅谷数仓实战之2数仓分层+维度建模

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS尚硅谷数仓实战之1项目需求及架构设计尚硅谷数仓实战之2数仓分层+维度建模尚硅谷数仓实战之3数仓搭建尚硅谷数据仓库4.0
·2021-12-01 17:02

尚硅谷数仓实战之1项目需求及架构设计

章项目需求及架构设计需求分析项目框架技术选型数据流程设计框架版本选型服务器选型集群规模集群资源规划设计第3章数据生成模块目标数据页面事件曝光启动错误数据埋点主流埋点方式（了解）埋点数据上报时机埋点数据日志结构数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS
好奇新·2021-12-01 16:26

数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

@TOC数据流向应用示例何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-lineAnalyticalProcessing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。目前行业比较流行的有
·2021-11-30 18:39

数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS

数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS数据流向何为数仓DW主要特点与数据库的对比为何要分层数据分层数据运营层ODS数据仓库层数据细节层DWD数据中间层DWM数据服务层DWS
好奇新·2021-11-30 15:11

最强最全面的数仓建设规范指南

数据模型架构原则数仓分层原则主题域划分原则数据模型设计原则二、数仓公共开发规范层次调用规范数据类型规范数据冗余规范NULL字段处理规范指标口径规范数据表处理规范表的生命周期管理三、数仓各层开发规范ODS层设计规范公共维度层设计规范DWD明细层设计规范DWS
五分钟学大数据·2021-11-11 12:00

Hive SQL查询left join下on条件和where条件区别

是对联表后的数据的过滤条件，但hivesql查询有个特殊点需要关注，那就是对于leftjoin中的单独针对左表的ON过滤条件有可能会被忽略，比如SELECTDISTINCTa.dtFROMwlxdw.dws_tuid_cheat_diaLEFTJOINwlxdw.apps_tuid_device_map_dsbONa.tuid
代码一天不写我浑森蓝廋·2021-10-20 23:00

带你了解数仓安全测试的TLS协议

本文分享自华为云社区《GaussDB(DWS)安全测试之TLS协议》，作者：ACBD。
·2021-10-06 12:22

如何将外链接向内连接转换？

本文分享自华为云社区《GaussDB(DWS)外连接向内连接的转换》，作者：wangxiaojuan8。
·2021-09-23 18:27

带你认识数据库视图对象，下次不要再认成“表”了

摘要：本文介绍GaussDB(DWS)的数据库视图对象，我们将讨论使用数据库视图的优点和缺点，以及如何使用系统视图解决一些问题。
·2021-09-07 14:33

数仓出现“wait in ccn queue”的时候，怎么迅速定位处理？

本文分享自华为云社区《GaussDB(DWS)waitinccnqueue的时候，怎么迅速定位处理？》，作者：Malick。前言现网在使用动态负载管理的时候，经常
·2021-08-31 13:52

带你了解WDR-GaussDB(DWS) 的性能监测报告

本文分享自华为云社区《WDR-GaussDB(DWS)的性能监测报告》，作者：ZhangJingyao。
·2021-07-30 11:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他