E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
dws
大数据数仓从入门到精通
书写建库,建表语句2.数据仓库分层:ODS层、DWD层、
DWS
层、DM层事实表、维度表事实表:用于记录事实上产生数据的表,记录其动作维度表:对于事实表的说明星型模型:适用于业务简单、
风满楼i
·
2021-03-29 21:53
大数据
数据仓库
数据加密:你应该知道的数仓安全
作为信息系统的核心,GaussDB(
DWS
)数仓也提供数据加密功能,包括透明加密和使用SQL函数加密。本文分享自华为云社区《你应该知道的数仓安全——加密函数》,原文作者:zhangkunhn。
·
2021-03-27 17:29
带你了解数据库的“吸尘器”:VACUUM
摘要:在GaussDB(
DWS
)中,VACUUM的本质就是一个“吸尘器”,用于吸收“尘埃”。下面将从VACUUM的作用、用法、原理等方面进行介绍。
·
2021-03-24 10:40
数据库数据华为云GaussDB
带你了解数据库的“吸尘器”:VACUUM
摘要:在GaussDB(
DWS
)中,VACUUM的本质就是一个“吸尘器”,用于吸收“尘埃”。下面将从VACUUM的作用、用法、原理等方面进行介绍。
·
2021-03-24 10:02
数据库数据华为云GaussDB
做好数据库运维,资源管理技术必须要掌握
本文分享自华为云社区《GaussDB(
DWS
)资源管理技术浅析》,原文作者:门前一棵葡萄树。1资源管理是什么?
·
2021-03-22 14:40
做好数据库运维,资源管理技术必须要掌握
本文分享自华为云社区《GaussDB(
DWS
)资源管理技术浅析》,原文作者:门前一棵葡萄树。1资源管理是什么?
·
2021-03-22 14:46
数仓集群管理:单节点故障RTO机制分析
本文分享自华为云社区《GaussDB(
DWS
)集群管理系列:单节点故障RTO机制分析(集群状态恢复篇)》,原文作者:CloudGanker。一、前言GaussDB(
DWS
)产品采用分布式架构设计。
·
2021-03-18 13:02
数据库集群华为云GaussDB
数仓集群管理:单节点故障RTO机制分析
本文分享自华为云社区《GaussDB(
DWS
)集群管理系列:单节点故障RTO机制分析(集群状态恢复篇)》,原文作者:CloudGanker。一、前言GaussDB(
DWS
)产品采用分布式架构设计。
·
2021-03-18 12:01
数据库集群华为云GaussDB
某大厂大数据开发工程师(偏数据仓库)社招面经
ods-dwd/
dws
-dm,每一层大致介绍一下作用是什么。最后说一下这么分层的好处。4、有没有听过cube表。5、事务性数
FengYuxin0706
·
2021-03-11 00:43
数据仓库
社招面试
一文带你了解GaussDB(
DWS
) 的Roach逻辑备份实现原理
摘要:Roach工具是GaussDB(
DWS
)推出的一款主力的备份恢复工具,包含物理与逻辑备份两种主要能力,本文着重于讲解Roach逻辑备份的实现原理。
·
2021-02-26 09:00
备份
【文末彩蛋】数据仓库服务 GaussDB(
DWS
)单点性能案例集锦
摘要:介绍了13种GaussDB(
DWS
)单点性能的案例。一、数据倾斜1.1问题描述某局点SQL执行慢,涉及大表的SQL执行不出来结果。
华为云
·
2021-02-25 15:38
华为助力企业上云
数据仓库
sql
数据
GaussDB
案例
【文末彩蛋】数据仓库服务 GaussDB(
DWS
)单点性能案例集锦
摘要:介绍了13种GaussDB(
DWS
)单点性能的案例。1.1数据倾斜1.1.1问题描述某局点SQL执行慢,涉及大表的SQL执行不出来结果。
·
2021-02-25 11:21
sql数据数据仓库
处理XML数据应用实践
摘要:GaussDB(
DWS
)支持XML数据类型及丰富的XML解析函数,可实现关系数据和XML数据的映射管理功能。
·
2021-02-25 11:11
xml数据库数据
处理XML数据应用实践
摘要:GaussDB(
DWS
)支持XML数据类型及丰富的XML解析函数,可实现关系数据和XML数据的映射管理功能。
·
2021-02-25 11:11
xml数据库数据
【文末彩蛋】数据仓库服务 GaussDB(
DWS
)单点性能案例集锦
摘要:介绍了13种GaussDB(
DWS
)单点性能的案例。1.1数据倾斜1.1.1问题描述某局点SQL执行慢,涉及大表的SQL执行不出来结果。
·
2021-02-25 11:24
sql数据数据仓库
处理XML数据应用实践
摘要:GaussDB(
DWS
)支持XML数据类型及丰富的XML解析函数,可实现关系数据和XML数据的映射管理功能。
华为云
·
2021-02-25 10:48
技术交流
程序员
xml
数据库
GaussDB
XML文档
数据
关于GaussDB(
DWS
)的正则表达式知多少?人人都能看得懂的详解来了!
摘要:GaussDB(
DWS
)除了支持标准的POSIX正则表达式句法,还拥有一些特殊句法和选项,这些你可了解?本文便为你讲解这些特殊句法和选项。
·
2021-02-24 10:48
正则表达式GaussDB
hive建模分析
不完整数据过期或者无效数据2.转换create_time->年月日或时间戳3.可以适当维度退化,减少表的关联DWM:中间层进一步对明细层进行聚合,譬如可以将日的记录先合并,在后期记录月时可以更方便的合并
DWS
·
2021-02-24 02:52
hadoophive
hive建模分析
不完整数据过期或者无效数据2.转换create_time->年月日或时间戳3.可以适当维度退化,减少表的关联DWM:中间层进一步对明细层进行聚合,譬如可以将日的记录先合并,在后期记录月时可以更方便的合并
DWS
·
2021-02-24 01:42
hadoophive
关于GaussDB(
DWS
)的正则表达式知多少?人人都能看得懂的详解来了!
摘要:GaussDB(
DWS
)除了支持标准的POSIX正则表达式句法,还拥有一些特殊句法和选项,这些你可了解?本文便为你讲解这些特殊句法和选项。
·
2021-02-23 15:08
正则表达式GaussDB
关于GaussDB(
DWS
)的正则表达式知多少?人人都能看得懂的详解来了!
摘要:GaussDB(
DWS
)除了支持标准的POSIX正则表达式句法,还拥有一些特殊句法和选项,这些你可了解?本文便为你讲解这些特殊句法和选项。
华为云
·
2021-02-23 14:40
程序员
正则表达式
GaussDB
数据库的两个好帮手:pagehack和pg_xlogdump
随着技术的演进,数据也发生了巨大的变化,数据规模越来愈大、数据种类呈现多样性,数据处理的时效性要求也越来越高,GaussDB(
DWS
)实时数仓当前面临着巨大的机遇,也面临着巨大的挑战。
·
2021-02-20 12:26
数据库故障
数据库的两个好帮手:pagehack和pg_xlogdump
随着技术的演进,数据也发生了巨大的变化,数据规模越来愈大、数据种类呈现多样性,数据处理的时效性要求也越来越高,GaussDB(
DWS
)实时数仓当前面临着巨大的机遇,也面临着巨大的挑战。
·
2021-02-20 12:26
数据库故障
数据库的两个好帮手:pagehack和pg_xlogdump
随着技术的演进,数据也发生了巨大的变化,数据规模越来愈大、数据种类呈现多样性,数据处理的时效性要求也越来越高,GaussDB(
DWS
)实时数仓当前面临着巨大的机遇,也面临着巨大的挑战。
华为云
·
2021-02-20 09:59
程序员
gaussdb
数据库
故障
pagehack
pg_xlogdump
数据仓库项目(第六节)电商业务数仓指标分析实例、拉链表的创建和使用
目录电商业务数仓分析实例GMV什么是GMV转化率什么是转化率ADS层之新增用户占日活跃用户比率ADS层之用户行为漏斗分析品牌复购率什么是品牌复购率
DWS
层——用户购买商品明细表(宽表)ADS层——品牌复购率结果表品牌复购率结果输出到
hwq317622817
·
2021-02-13 19:49
数据仓库
hive
大数据
5步教你将MRS数据导入
DWS
摘要:GaussDB(
DWS
)支持在相同网络中,配置一个GaussDB(
DWS
)集群连接到一个MRS集群,然后将数据从HDFS中的文件读取到GaussDB(
DWS
)。
·
2021-02-04 14:04
集群数据
5步教你将MRS数据导入
DWS
摘要:GaussDB(
DWS
)支持在相同网络中,配置一个GaussDB(
DWS
)集群连接到一个MRS集群,然后将数据从HDFS中的文件读取到GaussDB(
DWS
)。
华为云
·
2021-02-04 11:48
华为助力企业上云
技术交流
mrs
数据库
DWS
GaussDB
集群
数据库运维家中常备:上限约400MB/s,比COPY等工具还好用的数据利器
1.GDS定位GDS是GaussDB(
DWS
)提供的一个数据导入导出工具,可在支持多种场景下的数据迁移业务,如异型数据库之间、两个集群之间等。
·
2021-01-22 15:12
数据数据迁移GaussDB
GaussDB(
DWS
)性能调优系列实现篇六:十八般武艺Plan hint运用
摘要:本文介绍GaussDB(
DWS
)另一种可以人工干预计划生成的功能--planhint。前言数据库的使用者在书写SQL语句时,会根据自己已知的情况尽力写出性能很高的SQL语句。
华为云开发者社区
·
2021-01-14 14:30
数据库
sql
性能优化
GaussDB(
DWS
)性能调优系列实现篇六:十八般武艺Plan hint运用
摘要:本文介绍GaussDB(
DWS
)另一种可以人工干预计划生成的功能--planhint。前言数据库的使用者在书写SQL语句时,会根据自己已知的情况尽力写出性能很高的SQL语句。
华为云开发者社区
·
2021-01-14 14:30
数据库
sql
性能优化
十八般武艺玩转GaussDB(
DWS
)性能调优:路径干预
摘要:路径生成是表关联方式确定的主要阶段,本文介绍了几个影响路径生成的要素:cost_param,scan方式,join方式,stream方式,并从原理上分析如何干预路径的生成。一、cost模型选择顾名思义,cost_param是控制cost相关的一个参数。在了解cost_param之前,先回顾一下选择率的概念,GaussDB优化器中的选择率是指,当一个表有一个过滤或关联条件时,通过该条件能被选中
华为云开发者社区
·
2021-01-14 14:22
数据库
sql
性能调优
十八般武艺玩转GaussDB(
DWS
)性能调优:路径干预
摘要:路径生成是表关联方式确定的主要阶段,本文介绍了几个影响路径生成的要素:cost_param,scan方式,join方式,stream方式,并从原理上分析如何干预路径的生成。一、cost模型选择顾名思义,cost_param是控制cost相关的一个参数。在了解cost_param之前,先回顾一下选择率的概念,GaussDB优化器中的选择率是指,当一个表有一个过滤或关联条件时,通过该条件能被选中
华为云开发者社区
·
2021-01-13 14:39
数据库
sql
性能调优
十八般武艺玩转GaussDB(
DWS
)性能调优:路径干预
摘要:路径生成是表关联方式确定的主要阶段,本文介绍了几个影响路径生成的要素:cost_param,scan方式,join方式,stream方式,并从原理上分析如何干预路径的生成。一、cost模型选择顾名思义,cost_param是控制cost相关的一个参数。在了解cost_param之前,先回顾一下选择率的概念,GaussDB优化器中的选择率是指,当一个表有一个过滤或关联条件时,通过该条件能被选中
华为云
·
2021-01-13 10:57
技术交流
程序员
数据库
性能调优
sql
GaussDB
算子
十八般武艺玩转GaussDB(
DWS
)性能调优:SQL改写
摘要:本文将系统介绍在GaussDB(
DWS
)系统中影响性能的坏味道SQL及SQL模式,帮助大家能够从原理层面尽快识别这些坏味道SQL,在调优过程中及时发现问题,进行整改。
华为云开发者社区
·
2021-01-11 17:48
数据库
sql
数据库性能优化
十八般武艺玩转GaussDB(
DWS
)性能调优:SQL改写
摘要:本文将系统介绍在GaussDB(
DWS
)系统中影响性能的坏味道SQL及SQL模式,帮助大家能够从原理层面尽快识别这些坏味道SQL,在调优过程中及时发现问题,进行整改。
华为云开发者社区
·
2021-01-11 11:43
数据库
sql
数据库性能优化
由两个问题引发的对GaussDB(
DWS
)负载均衡的思考
摘要:GaussDB(
DWS
)的负载均衡通过LVS+keepAlived实现。对于这种方式,需要思考的问题是,CN的返回结果是否会经过LVS,然后再返回给前端应用?
法规和规范化股份
·
2021-01-10 14:32
数据库
仅4步,就可通过SQL进行分布式死锁的检测与消除
摘要:本文主要介绍在GaussDB(
DWS
)中,如何通过SQL语句,对分布式死锁进行检测和恢复。
法规和规范化股份
·
2021-01-10 14:32
数据库
仅4步,就可通过SQL进行分布式死锁的检测与消除
摘要:本文主要介绍在GaussDB(
DWS
)中,如何通过SQL语句,对分布式死锁进行检测和恢复。
法规和规范化股份
·
2021-01-10 14:35
数据库
基于GaussDB(
DWS
)的全文检索特性,了解一下?
摘要:全文检索是在互联网场景下应用非常广泛的特性,搜索引擎、站内搜索、电商搜索等场景下都会使用到,GaussDB(
DWS
)同样也支持全文检索功能,是基于GIN索引实现的,下面给大家详细介绍一下GaussDB
华为云开发者社区
·
2021-01-04 16:53
数据
数据库
数据仓库
仅4步,就可通过SQL进行分布式死锁的检测与消除
摘要:本文主要介绍在GaussDB(
DWS
)中,如何通过SQL语句,对分布式死锁进行检测和恢复。
华为云开发者社区
·
2021-01-04 16:07
sql
数据库
死锁
基于GaussDB(
DWS
)的全文检索特性,了解一下?
摘要:全文检索是在互联网场景下应用非常广泛的特性,搜索引擎、站内搜索、电商搜索等场景下都会使用到,GaussDB(
DWS
)同样也支持全文检索功能,是基于GIN索引实现的,下面给大家详细介绍一下GaussDB
华为云开发者社区
·
2021-01-04 16:20
数据
数据库
数据仓库
仅4步,就可通过SQL进行分布式死锁的检测与消除
摘要:本文主要介绍在GaussDB(
DWS
)中,如何通过SQL语句,对分布式死锁进行检测和恢复。
华为云开发者社区
·
2020-12-31 21:51
sql
数据库
死锁
由两个问题引发的对GaussDB(
DWS
)负载均衡的思考
摘要:GaussDB(
DWS
)的负载均衡通过LVS+keepAlived实现。对于这种方式,需要思考的问题是,CN的返回结果是否会经过LVS,然后再返回给前端应用?
华为云开发者社区
·
2020-12-31 15:48
数据
数据库
负载
由两个问题引发的对GaussDB(
DWS
)负载均衡的思考
摘要:GaussDB(
DWS
)的负载均衡通过LVS+keepAlived实现。对于这种方式,需要思考的问题是,CN的返回结果是否会经过LVS,然后再返回给前端应用?
华为云开发者社区
·
2020-12-30 21:40
数据
数据库
负载
GaussDB(
DWS
)磁盘维护:vacuum full执行慢怎么办?
摘要:在数据库中用于维护数据库磁盘空间的工具是VACUUM,其重要的作用是删除那些已经标示为删除的数据并释放空间。vacuum的功能回收空间数据库总是不断地在执行删除,更新等操作。良好的空间管理非常重要,能够对性能带来大幅提高。执行delete操作后,表中的记录只是被标示为删除状态,并没有释放空间,在以后的update或insert操作中该部分的空间是不能够被重用的。在数据库中用于维护数据库磁盘空
华为云开发者社区
·
2020-12-14 20:56
数据
数据库
dwz
GaussDB(
DWS
)应用实践丨负载管理与作业排队处理方法
摘要:本文用来总结一些GaussDB(
DWS
)在实际应用过程中,可能出现的各种作业排队的情况,以及出现排队时,我们应该怎么去判断是否正常,调整一些参数,让资源分配与负载管理更符合当前的业务;或者在作业阻塞的时候
华为云开发者社区
·
2020-12-14 14:38
数据库
数据
负载
GaussDB(
DWS
)应用实践丨负载管理与作业排队处理方法
摘要:本文用来总结一些GaussDB(
DWS
)在实际应用过程中,可能出现的各种作业排队的情况,以及出现排队时,我们应该怎么去判断是否正常,调整一些参数,让资源分配与负载管理更符合当前的业务;或者在作业阻塞的时候
华为云开发者社区
·
2020-12-14 14:39
数据库
数据
负载
大数据开发-数仓ads层指标计算
1.会员分析案例1.1数据准备表结构如下,其中此表是
dws
层以天为维度的会员表,比如每天的会员信息汇总,usedws;droptableifexistsdws.
dws
_member_start_day;
Hoult丶吴邪
·
2020-12-14 03:47
大数据
大数据开发-数仓ads层指标计算
1.会员分析案例1.1数据准备表结构如下,其中此表是
dws
层以天为维度的会员表,比如每天的会员信息汇总,usedws;droptableifexistsdws.
dws
_member_start_day;
Hoult丶吴邪
·
2020-12-14 03:11
大数据
技术应用丨
DWS
空间释放(vacuum full) 最佳实践
1、背景目前根据某项目情况,其
DWS
的磁盘IO性能低、库内数据量大、对象多、数据膨胀严重。
华为云开发者社区
·
2020-12-02 17:24
数据库
磁盘
内存
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他