E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
dws
零基础学习MTK平台camera引脚配置
目录一、MTK平台的GPIO配置1.MTK平台GPIO驱动程序提供了两个接口:2.配置
dws
文件3.配置dts文件二、MTK平台camera模块的GPIO配置一、MTK平台的GPIO配置1.MTK平台GPIO
Dead_John
·
2022-11-19 03:59
驱动开发
[hive]维度模型分类:星型模型,雪花模型,星座模型|范式|纬度建模|数仓分层
数仓(十八)数仓建模以及分层总结(ODS、DIM、DWD、
DWS
、DWT、ADS层)-墨天轮一、维度模型分类:星型模型,雪花模型,星座模型1、星型模型星型模型中只有一张事实表,以及0张或多张维度表,事实与纬度表通过主键外键相关联
胖胖学编程
·
2022-11-09 18:57
数仓
hive
hadoop
数据仓库
大数据常见术语,你了解多少?
大数据常见术语一览主要内容包含以下(收藏,转发给你身边的朋友)雪花模型、星型模型和星座模型事实表维度表上钻与下钻维度退化数据湖UV与PV画像ETL机器学习大数据杀熟SKU与SPU即席查询数据湖数据中台ODS,DWD,
DWS
大数据左右手
·
2022-11-03 11:54
面试
大数据
5.2.1 电商离线数仓项目实战 【下】(电商分析-核心交易 :Mysql转入ODS层--全量导入、增量导入,维表、拉链表、周期性事实表,DIM、DWD、
DWS
、ADS层数据加载)
电商离线数仓项目实战【下】文章目录电商离线数仓项目实战【下】第一部分电商分析之--核心交易第1节业务需求第2节业务数据库表结构第3节数据导入3.1、全量数据导入**1、产品分类表****2、商家店铺表****3、商家地域组织表**3.2增量数据导入**1、订单表****2、订单明细表**3、产品明细表第4节ODS层建表与数据加载4.1ODS层建表4.2ODS层数据加载第5节缓慢变化维与周期性事实表
weixin_47134119
·
2022-09-23 15:40
数据仓库
Flink电商实时数仓项目02-DWD层
比如直接从dwd、dim、dwm、
dws
取数据。
最佳第六六六人
·
2022-09-23 15:31
大数据项目实战
Flink
电商数仓
Flink电商实时数仓项目01-ODS层
Flink电商实时数仓项目-数据采集1电商实时数仓项目概述1.1数据分层分析离线数仓项目的分层为:ODS、DWD、
DWS
、DWT、ADSflink实时数仓项目的分层为:ODS、DWD、DIM、DWM、
DWS
最佳第六六六人
·
2022-09-23 15:00
大数据项目实战
flink
电商数仓
详解GaussDB(
DWS
) 资源监控
本文分享自华为云社区《GaussDB(
DWS
)资源监控之用户、队列资源监控》,作者:一只菜菜鸟。
华为云开发者联盟
·
2022-08-26 10:00
一文读懂数据仓库~~~
数据库2.3、数据仓库、数据集市3数仓分层架构3.1、ODS(操作型数据层)3.2、DW(数据仓库层)3.2.1、DIM(公共维度层)3.2.2、DWD(细节数据层)3.2.3、DWB:(数据基础层),
DWS
Provence°_博
·
2022-08-23 14:56
大数据
数据仓库
数据库
大数据
hive
数仓4.0笔记——数仓建模
1数仓分层数仓命名规范ODS层命名为ods_表名DIM层命名为dim_表名DWD层命名为dwd_表名
DWS
层命名为
dws
_表名DWT层命名为dwt_表名ADS层命名为ads_表名临时表命名为tmp_表名脚本命名数据源
丝丝呀
·
2022-08-05 14:06
数据库
sql
mysql
大数据电商离线数仓项目-下篇
上一篇:电商数仓系统1文章目录第5章数仓搭建-
DWS
层5.1业务术语5.2系统函数5.2.1nvl函数5.2.2日期处理函数5.2.3复杂数据类型定义5.3
DWS
层5.3.1每日设备行为5.3.2每日会员行为
工藤-新二
·
2022-08-05 14:02
离线数仓
数据仓库
hive
大数据
【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第一节
6.为什么要做拉链表1.数据仓库概念1.1原始数据备份到ODS中1.2DWD完成数据的清洗1.3join形成大的分表(
DWS
,DWT)1.4A
在学习的王哈哈
·
2022-08-05 14:31
大数据项目
大数据
数仓4.0(三)------数据仓库系统
2.2.1关系建模2.2.2维度建模2.3维度表和事实表(重点)2.3.1维度表2.3.2事实表2.4维度模型分类2.5数据仓库建模(绝对重点)2.5.1ODS层2.5.2DIM层和DWD层2.5.3
DWS
JiaXingNashishua
·
2022-08-05 14:58
数据仓库
数据仓库(06)数仓分层设计
分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(
dws
)和数据集市层(dm)。
·
2022-08-04 19:22
数仓建模宽表设计
宽表主要出现在dwd层和报表层,当然有的人说
dws
层也有,宽表,从字面意义上讲就是字段比较多的数据库表,通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是
dws
/dw
000X000
·
2022-07-28 10:48
数据分析
数据仓库
数据建模
数据仓库
big
data
hadoop
数仓建模宽表设计
数仓建模分层详解
数仓各层详解文章目录数仓各层详解前言一、数据引入层(ODS)二、明细粒度事实层(DWD)明细粒度事实表设计原则明细粒度事实表整体设计流程明细粒度事实层(DWD)规范公共汇总粒度事实层(
DWS
)公共汇总事实表设计原则进行
YET丶张
·
2022-07-28 10:46
hadoop
数据仓库
hive
数据库
数仓建模的思路步骤
涉及到的数仓分层有:ODS层、DWD层、
DWS
层/DWT层、ADS层,其中ODS层属于业务数据库贴源层,存放的数据与业务系统源表保持一致,所以此处不做讲解。
localhost_rachel
·
2022-07-28 10:42
数仓建设
数仓建模
数仓建模—宽表的设计
宽表主要出现在dwd层和报表层,当然有的人说
dws
层也有,宽表,从字面意义上讲就是字段比较多的数据库表,通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是
dws
/dwd表
不二人生
·
2022-07-28 10:09
#
数仓建模
数仓建模,什么是宽表?如何设计?好处与不足
宽表的设计其实宽表是数仓里面非常重要的一块,宽表主要出现在dwd层和报表层,当然有的人说
dws
层也有宽表,从字面意义上讲就是字段比较多的数据库表,通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是
lz_N_one
·
2022-07-28 10:36
Hive基础
数据仓库
大数据
数据仓库
数据挖掘
一文读懂数仓中的pg_stat
摘要:GaussDB(
DWS
)在SQL执行过程中,会记录表增删改查相关的运行时统计信息,并在事务提交或回滚后记录到共享的内存中。
华为云开发者联盟
·
2022-07-07 10:00
数据仓库理论与实践
数据库和数据仓库的区别1.2数据建模理论1.3维度建模的步骤二、数据采集2.1通用数据采集框架2.2日志服务器日志采集工具(Flume)三、Hive离线数仓实践3.1数仓分层与意义3.2ODS层3.3DWD层3.3
DWS
oahaijgnahz
·
2022-07-04 12:51
大数据相关
面试
flink
hadoop
大数据
经验分享
数据仓库
数仓理论- 02 数据仓库架构
3架构3.1架构图3.1.1说明不同企业存在差异,例如:命名不一样,或者是定制的,主流以阿里的参考3.1.2内容ETL,ODS,CDM(
DWS
,DWD),ADS3.1.3ETL:数据同步模块从业务数据库
:Concerto
·
2022-07-04 12:18
数据仓库
架构
数据挖掘
细说GaussDB(
DWS
)复杂多样的资源负载管理手段
本文分享自华为云社区《GaussDB(
DWS
)资源负载管理:并发管控以及CPU管控效果实测以及分析说明【这次高斯不是数学家】》,作者:Malick。背景GaussDB
华为云开发者联盟
·
2022-06-29 18:00
数仓的字符截取三胞胎:substrb、substr、substring
本文分享自华为云社区《GaussDB(
DWS
)中的字符截取三胞胎》,作者:我站在北方的天空下。
华为云开发者联盟
·
2022-06-27 16:00
7.Flink实时项目之独立访客开发
DWM层主要服务
DWS
,因为部分需求直接从DWD层到
www_xuhss_com
·
2022-06-17 13:07
it
golang
开发语言
后端
计算机
10个常见触发IO瓶颈的高频业务场景
本文分享自华为云社区《GaussDB(
DWS
)性能优化之业务降IO优化》,作者:along_2020。IO高?业务慢?在
DWS
实际业务场景中因IO高、IO瓶颈导致的性能问题非常多,其
华为云开发者联盟
·
2022-06-09 18:00
什么是算子下盘?
本文分享自华为云社区《GaussDB(
DWS
)什么是算子下盘》,作者:Arrow0lf。处理性能问题时我们经常听到“下盘”这个概念,本文简单介绍什么是算子下盘、哪些算子会发生下盘、
华为云开发者联盟
·
2022-06-08 16:00
数仓(十)从0到1简单搭建加载数仓
DWS
层
数仓(一)简介数仓,OLTP和OLAP数仓(二)关系建模和维度建模数仓(三)简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓(四)数据仓库分层数仓(五)元数据管理系统解析数仓(六)从0到1简单搭建数仓ODS层(埋点日志+业务数据)数仓(七)从0到1简单搭建加载数仓DIM层以及拉链表处理数仓(八)从0到1简单搭建加载数仓DWD层(用户行为日志数据解析)上一次我们讲解了DWD层(关于用户交易
浪尖聊大数据-浪尖
·
2022-06-08 07:51
数据仓库
数据分析
大数据
hive
数据建模
详解SQL操作的窗口函数
本文分享自华为云社区《GaussDB(
DWS
)SQL进阶之SQL操作之窗口函数》,作者:两杯咖啡。窗口函数是聚集函数的延伸,是更高级的SQL语言操作,主要用于AP场景下对数据进行
华为云开发者社区
·
2022-05-27 14:00
单片机传文件到服务器,单片机向远程服务器上传数据库
单片机向远程服务器上传数据库内容精选换一换将GaussDB(
DWS
)提供的ODBCDRIVER(psqlodbcw.so)配置到数据源中便可使用。
芬格尔m~~~
·
2022-05-23 21:33
单片机传文件到服务器
深入解读SQL的聚集函数
摘要:本文从基本聚集操作入手,介绍常用的SQL语法,以及一些扩展的聚集功能,同时会讲到在GaussDB(
DWS
)里聚集相关的一些优化思路。
华为云开发者社区
·
2022-05-23 16:00
华为云数据“黑科技”,赋能社群电商领跑者“云”出道
【摘要】为支撑电商公司梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景,华为云云原生数据湖使用数据湖探索DLI+数据仓库
DWS
作为基础数据处理层支持离线、实时、交互式场景,并无缝对接上层AI
·
2022-05-18 09:17
程序员
解析数仓OLAP函数:ROLLUP、CUBE、GROUPING SETS
摘要:GaussDB(
DWS
)ROLLUP,CUBE,GROUPINGSETS等OLAP函数的原理解析。本文分享自华为云社区《GaussDB(
DWS
)OLAP函数浅析》,作者:
DWS
_Jack_2。
华为云开发者社区
·
2022-04-27 11:00
华为云大数据:企业的“寻宝鼠”
华为云FusionInisght智能数据湖为企业客户提供完整的大数据云服务产品组合,有单集群最大支持5W节点的云原生数据湖MRS服务和全球最大的商用部署的云数据仓库
DWS
服务,MRS和
DWS
既可以灵活按需部署
·
2022-04-16 09:17
程序员
数据仓库(6)数仓分层设计
分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(
dws
)和数据集市层(dm)。
张飞的猪
·
2022-04-14 12:00
5、数据仓库抽象ODS/DW/
DWS
在对大数据的发展历程,整体架构和其中涉及到的相关组件有了一个初步的理解后。我们可以知道所谓的大数据实际上就是系统在运行过程中产生的各种日志的汇总集合,那么为了更进一步使数据能高复用,产生了数据仓库的概念,本章就是笔者结合自己的工作经历梳理数据仓库中的抽象层级,以便于加深对大数据架构的理解。数据仓库层级需要了解数据仓库,那么首先就要了解几个基本概念:(1)DB(数据库):即DataBase的简称,在
朗如行玉山_5b30
·
2022-04-11 15:26
中国唯一 | 华为云GaussDB(
DWS
)获得CC安全认证
2022年3月8日,华为GaussDB200(即“华为云GaussDB(
DWS
)”)正式获得全球权威信息技术安全性评估标准CCEAL2+ALC_FLR.2级别认证,这是中国数据仓库产品首次获得的国际安全认证
·
2022-03-29 13:22
程序员
教你识别一些sequence的相关问题
摘要:通过一些自定义的视图或者查询语句,批量识别集群的sequence相关问题本文分享自华为云社区《GaussDB(
DWS
)运维--sequence常见运维操作》,作者:譡里个檔。
华为云开发者社区
·
2022-03-28 14:00
数仓如何设置大小写不敏感函数
摘要:本文旨在介绍
DWS
中存在的一些大小写不敏感函数,介绍大小写敏感GUC参数设置的使用和对应大小写敏感函数的结果展示。
华为云开发者社区
·
2022-03-25 14:00
从读写角度,带你了解数仓的IO基本框架
本文分享自华为云社区《GaussDB(
DWS
)基本IO框架》,作者:Naibaoofficial。行存IO管理框架存储结构OID(Objectidentifiers):对象的唯一标识。
华为云开发者社区
·
2022-03-16 15:00
为什么他们选择了GaussDB
数据0丢失,1000+扩展能力,PB级海量存储;以及云数据仓库GaussDB(
DWS
)服务,支持一站式分析,性能、容量无限扩展,守护高价值数据
·
2022-03-13 12:02
程序员
7.Flink实时项目之独立访客开发
DWM层主要服务
DWS
,因为部分需求直接从DWD层到
DWS
层中间会有一定的计算量,而且这部分计算的结果很有可能被多个
DWS
层主题复用,所以部分DWD会形成一层DWM,我们这里主要涉及业务:访问UV计算跳出明细计算订单宽表支付宽表因为实时计算与离线不同
选手一号位
·
2022-03-05 22:00
深度剖析数仓CN增量备份技术
本文分享自华为云社区《GaussDB(
DWS
)备份容灾之CN增量备份》,作者:zxy_db。
华为云开发者社区
·
2022-03-04 10:00
为什么要做数仓分层,不做行吗?
01经典的数仓分层首先跟大家聊一个经典的数仓分层结构,主要包括ODS、
DWS
、DW、APP四层。ODS:抽取的原始业务数据,结构一般和原始业务数据库表结构或者抽取的业务日志数据结构保持一致。
数据社
·
2022-02-28 15:08
大数据
java
数据仓库
数据分析
人工智能
数据仓库第二讲-数据仓库建模
数据仓库建模1.ODS层建模方法2.DIM层和DWD层3.
DWS
层与DWT层4.ADS1.ODS层建模方法1.HDFS用户行为数据创建一个表日志表,里面只需要一个字段就行了。这个表然后就是按天分区。
大数据学习爱好者
·
2022-02-28 10:58
数据仓库
数据仓库
big
data
hadoop
电商离线数仓项目-数仓分层哪几层?/数仓为什么要分层?
3、
DWS
层(服务数据层)以DWD为基础,进行轻度汇总。一般聚集到以用户当日,设备当日,
梦里Coding
·
2022-02-28 09:10
Hive
数仓
数据仓库
[SQL]
DWS
SQL 优化
在
DWS
上面存储过程执行过程中,因为优化器执行的问题会导致SQL变慢,目前有2种优化方式。
幽灵鬼手
·
2022-02-18 07:34
尚硅谷数据仓库实战之3数仓搭建
@TOC数仓笔记数据仓库和数据集市详解:ODS、DW、DWD、DWM、
DWS
、ADS:https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新
·
2021-12-18 19:10
尚硅谷数据仓库实战之2数仓分层+维度建模
@TOC数仓笔记数据仓库和数据集市详解:ODS、DW、DWD、DWM、
DWS
、ADS:https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新
·
2021-12-18 19:30
数据仓库和数据集市:ODS、DW、DWD、DWM、
DWS
、ADS
@TOC数仓笔记数据仓库和数据集市详解:ODS、DW、DWD、DWM、
DWS
、ADS:https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新
·
2021-12-18 19:15
数仓建模—宽表的设计
宽表主要出现在dwd层和报表层,当然有的人说
dws
层也有,宽表,从字面意义上讲就是字段比较多的数据库表,通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是
dws
/dwd表
大数据技术派
·
2021-12-02 12:00
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他