E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
dws
技术应用丨
DWS
空间释放(vacuum full) 最佳实践
1、背景目前根据某项目情况,其
DWS
的磁盘IO性能低、库内数据量大、对象多、数据膨胀严重。
华为云开发者社区
·
2020-12-02 17:24
数据库
磁盘
内存
DWS
开发的五大要点
摘要:高效使用数据库是一个合格的开发工程师的必备技能,如何使用
DWS
进行高效开发,提升应用效率,技术干货来喽~~~高效使用数据库是一个合格的开发工程师的必备技能,如何使用
DWS
进行高效开发,提升应用效率
华为云开发者社区
·
2020-12-02 17:00
数据库
sql
分区
技术应用丨
DWS
空间释放(vacuum full) 最佳实践
1、背景目前根据某项目情况,其
DWS
的磁盘IO性能低、库内数据量大、对象多、数据膨胀严重。
华为云开发者社区
·
2020-12-02 16:45
数据库
磁盘
内存
DWS
开发的五大要点
摘要:高效使用数据库是一个合格的开发工程师的必备技能,如何使用
DWS
进行高效开发,提升应用效率,技术干货来喽~~~高效使用数据库是一个合格的开发工程师的必备技能,如何使用
DWS
进行高效开发,提升应用效率
华为云开发者社区
·
2020-12-01 19:55
数据库
sql
分区
从数据仓库双集群系统模式探讨,看GaussDB(
DWS
)的容灾设计
摘要:本文主要是探讨OLAP关系型数据库框架的数据仓库平台如何设计双集群系统,即增强系统高可用的保障水准,然后讨论一下GaussDB(
DWS
)的容灾应该如何设计。
华为云开发者社区
·
2020-11-28 11:21
数据库
数据仓库
数据
从数据仓库双集群系统模式探讨,看GaussDB(
DWS
)的容灾设计
摘要:本文主要是探讨OLAP关系型数据库框架的数据仓库平台如何设计双集群系统,即增强系统高可用的保障水准,然后讨论一下GaussDB(
DWS
)的容灾应该如何设计。
华为云开发者社区
·
2020-11-26 19:27
数据库
数据仓库
数据
【云图说】第189期 初识数据仓库服务
【摘要】数据仓库服务(DataWarehouseService,简称
DWS
)是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。
华为云开发者社区
·
2020-11-19 17:14
数据库
数据仓库
【云图说】第189期 初识数据仓库服务
【摘要】数据仓库服务(DataWarehouseService,简称
DWS
)是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。
华为云开发者社区
·
2020-11-19 16:24
数据库
数据仓库
详解GaussDB(
DWS
) explain分布式执行计划的示例
摘要:本文主要介绍如何详细解读GaussDB(
DWS
)产生的分布式执行计划,从计划中发现性能调优点。
·
2020-11-13 10:51
数据仓库——下篇
文章目录六、
DWS
层6.1业务术语6.1.1用户6.1.2新增用户6.1.3活跃用户6.1.4周(月)活跃用户6.1.5月活跃率6.1.6沉默用户6.1.7版本分布6.1.8本周回流用户6.1.9连续n
平平无奇小码农
·
2020-11-05 23:28
笔记
大数据
数据仓库——上篇
文章目录一、数仓分层1.1数仓的分层1.1.1ODS(原始数据层)层1.1.2DWD(数据明细层)层1.1.3
DWS
(数据服务层)1.1.4DWT(数据主题层)1.1.5ADS(数据应用层)1.1.6总结二
平平无奇小码农
·
2020-11-05 23:13
笔记
大数据
DWS
全自动称重扫描体积测量系统功能简介
针对客户的这些问题,广州沃港智能推出了
DWS
全自动
新手seo
·
2020-10-11 08:49
Hadoop推荐阅读
q=hadoop&v=18&en=utf&lang=zh&cc=cn&sn=dw&
dws
=cndw&hpp=20ibm的文章质量都是不错的,面试之前可以看看
Albert陈凯
·
2020-10-10 20:06
光大银行刘淼:基于华为云GaussDB(
DWS
) 数据仓库创新实践
摘要:面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(
DWS
)未来作为数据仓库唯一平台,数据链路实现从数据湖直接到华为云GaussDB(
DWS
)数据仓库。
华为云开发者社区
·
2020-10-09 19:54
华为
数据库
数据仓库
光大银行刘淼:基于华为云GaussDB(
DWS
) 数据仓库创新实践
摘要:面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(
DWS
)未来作为数据仓库唯一平台,数据链路实现从数据湖直接到华为云GaussDB(
DWS
)数据仓库。
华为云开发者社区
·
2020-10-09 19:54
华为
数据库
数据仓库
GaussDB(
DWS
)应用实战:对被视图引用的表进行DDL操作
摘要:GaussDB(
DWS
)是从Postgres演进过来的,像Postgres一样,如果表被视图引用的话,特定场景下,部分DDL操作是不能直接执行的。
华为云开发者社区
·
2020-10-09 12:37
数据库
dll
postgresql
【大数据架构】大数据数据仓库与数据中台架构
名词解释数据仓库(DataWarehouse,DW)数据分层:ods层:存储原始数据dwd层:清洗数据,去除空值、脏数据,超过极限范围的数据,数据脱敏,得到干净的数据
dws
层:轻度汇总,形成数据宽表(有数据冗余
魏晓蕾
·
2020-09-17 03:37
BigData
数据仓库分层模型
DWM层(数据中间层)在DWD层基础上,进行轻度汇总,结合常用维度(时间,地点,组织层级,用户,商品等)
DWS
层(数据汇总
威风少侠
·
2020-09-16 15:18
hive
大数据
数仓
数仓分层
数据仓库
谈笑间学会数仓—开发规范
谈笑间学会数仓—开发规范文章目录谈笑间学会数仓—开发规范前言数据库/表命名规范数据库公共维表dim公共明细层dwd公共汇总层
dws
应用数据层ads临时存储层tmp字段命名规范关键字字段类型规范常用系统词汇
MrZhangBaby
·
2020-09-14 03:14
谈笑间学会数据仓库
Hive
谈笑间学会大数据
数据仓库
大数据
MTK android配置LCD背光和LED,调试方法
背光和LED配置文件alps/custom/lk/cust_leds.calps/custom//kernel/leds/mt65xx/cust_leds.cdrvgen.exe编辑修改codegen.
dws
碎片记录
·
2020-09-11 16:19
MTK
android
数据仓库-元数据浅析
比如:以大数据数仓常见的架构为例:源数据通常通过ETL工具如kettle或canal或其他工具将数据抽到大数据平台中,存储在hdfs上,再经过数据分析(经典数仓按照ods->dwd->
dws
->ads)
anickname
·
2020-09-11 14:05
元数据
数据仓库
元数据管理
GaussDB(
DWS
)应用实战:对被视图引用的表进行DDL操作
摘要:GaussDB(
DWS
)是从Postgres演进过来的,像Postgres一样,如果表被视图引用的话,特定场景下,部分DDL操作是不能直接执行的。
华为云
·
2020-09-11 12:14
技术交流
GaussDB
ddl
视图
postgres
字段
行为数仓分层案例ODS& DWD&
DWS
&DM& ADS
本案例只是举例了一个通常的模型,有的项目会比现有的层数多或者少。一、数仓分层ODS:OperationDataStore原始数据DWD(数据清洗/DWI)datawarehousedetail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表PS:DWB:datawarehousebase基础数据层,有的会进一步细分额外加一层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层
清平の乐
·
2020-08-25 16:22
大数据开发
数仓设计和数据处理
shell执行hive sql 中文乱码,hue执行中文正常
在CDH集群搭建完成后开始搭建数仓部分,首先是在HUE下执行sql等,一个产品线由ods->dwb->dwd->
dws
就绪后开始配置脚本,可是在脚本中有些是对中文字段的处理,定时执行后的脚本中文全部乱码
xuewen_1008
·
2020-08-24 12:22
hive
shell
大数据实战(三十三):电商数仓(二十六)之用户行为数据仓库(十二)用户新增主题
1
DWS
层(每日新增设备明细表)1)建表语句hive(gmall)>droptableifexistsdws_new_mid_day;createexternaltabledws_new_mid_day
秋华
·
2020-08-21 18:00
04 电商数仓(用户行为数据仓库
DWS
/ADS层)
电商数仓(用户行为数据仓库
DWS
/ADS层)文章目录电商数仓(用户行为数据仓库
DWS
/ADS层)1.业务知识准备1.1业务术语1.2系统函数1.2.1collect_set函数1.2.2日期处理函数2.
朱古力...
·
2020-08-21 06:44
Hadoop相关项目总结
一文带你学习
DWS
数据库用户权限设计与管理
前言本文将介绍
DWS
基于RBAC(Role-BasedAccessControl,基于角色的访问控制)的数据库用户权限管理。简单地说,一个用户拥有若干角色,每一个角色拥有若干权限。
华为云开发者社区
·
2020-08-21 04:15
数据
用户权限
权限控制
数据安全
数据管理
GaussDB for
DWS
:内存自适应控制技术总结
1.技术背景在SQL语句复杂、处理数据量大的AP场景下,单个查询对内存的需求越来越大,多个语句的并发很容易将系统的内存吃满,造成内存不足的问题。为了应对这种问题,GaussDBforDWS引入了内存自适应控制的技术,在上述场景下能够对运行的作业进行内存级的管控,避免高并发场景下内存不足产生的各种问题。2.GaussDB的静态内存管理机制及缺陷GaussDB的执行引擎继承自PG,对于优化器生成的执行
华为云开发者社区
·
2020-08-21 03:37
大数据
内存管理
数据存储
sql
华为云
华为云GaussDB(
DWS
)内存知识点,你知道吗?
此次博文主要向大家分享一些华为云数仓GaussDB(
DWS
)内存的基本框架以及基本视图的使用,以便遇到内存问题后可以有一个基本的判断。
华为云开发者社区
·
2020-08-21 03:44
华为云
数据库
内存
dwz
数据
【华为云技术分享】DLI跨源|当DLI遇见MongoDB
搭配华为云上DDS服务提供的MongoDB,DLI无需数据搬迁,便可以直接使用SQL分析,并且将分析后的数据导入OBS,RDS,
DWS
等更多的云上数据存储。当DLI
华为云开发者社区
·
2020-08-20 17:14
mongodb
dlib
数据库
数据存储
华为云
【华为云技术分享】DLI跨源|当DLI遇见MongoDB
搭配华为云上DDS服务提供的MongoDB,DLI无需数据搬迁,便可以直接使用SQL分析,并且将分析后的数据导入OBS,RDS,
DWS
等更多的云上数据存储。当DLI
华为云开发者社区
·
2020-08-20 17:14
mongodb
dlib
数据库
数据存储
华为云
Python 匹配多个字符前缀
问题背景:最近需要批量初始化表结构,要从MaxCompute上将所有项目下的所有表结构都拉下来,其中只需要将满足部分前缀的表,像ads,dwd,
dws
,cdm等,一开始是想到用startswith,但是查了下
橘猫吃不胖
·
2020-08-20 11:29
2020-08-17
数仓项目我们的数仓项目从数据来源来说分为两类,用户行为日志(web端,微信小程序,APP,前端页面埋点)和业务数据库,从技术架构上说,分为ods,dwd,
dws
,ads层.(1)ODS层是一个数据采集汇聚层
想当兵的荷包蛋
·
2020-08-19 06:58
大数据
项目
数仓项目我们的数仓项目从数据来源来说分为两类,用户行为日志(web端,微信小程序,APP,前端页面埋点)和业务数据库,从技术架构上说,分为ods,dwd,
dws
,ads层.(1)ODS层是一个数据采集汇聚层
想当兵的荷包蛋
·
2020-08-19 06:08
数仓
例如经典四层架构:ods->dwd->
dws
-ads,bdl->fdl->gdl->adl等。
weixin_47209187
·
2020-08-18 12:52
数仓
数据仓库系列(10):数据仓库分层模型
(一)写在前面的话数据仓库中,我们常听到要做分层计算,包括ads、dwd、
dws
、ads、dim,那为什么要这么区分,有什么意义?今天就来好好讲述一下。
晓阳的数据小站
·
2020-08-18 11:01
数据仓库
剑指数据仓库-项目篇(四) -
DWS
层&&ADS层指标计算
一、项目回顾二、首先做的是
DWS
轻度汇总层2.1、案例:抽取数据过程中遇到的问题2.1.1、
DWS
调度2.2、如何在ADS层做指标计算2.3、分组求TopN2.4、Hive的行转列&&Dbeaver数据导出三
Spark on yarn
·
2020-08-18 10:30
剑指数据仓库-项目篇
数据仓库(二) 数仓理论(重点核心)
文章目录数据仓库(二)数仓理论(重点核心)数仓分层数据仓库分层ODS层DWD层
DWS
层DWT层ADS层数据仓库分层的好处关系建模与维度建模关系建模维度建模星型模型雪花模型星型模型与雪花模型的区别星座模型模型的选择维度表和事实表
溜三丝耶
·
2020-08-18 10:57
项目开发
项目介绍
项目介绍项目整体介绍1.项目模型搭建此项目为数据仓库项目,主要是做离线计算的项目模型:项目分为流量域和业务域两个主题域,为了方便管理这么多数据,又将每个主题域划分为五个层级,分别是ODS层,DWD层,
DWS
StudyEverydayForward
·
2020-08-18 10:47
数据仓库分层中的ODS、DWD、
DWS
1.数据仓库DW1.1简介Datawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-lineAnalyticalProcessing),支持复杂的分析操作,侧重决策支持,听且提供直观
品途旅游
·
2020-08-16 23:47
编程语言
.Net
数据仓库分层中的ODS、DWD、
DWS
1.数据仓库DW1.1简介Datawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-lineAnalyticalProcessing),支持复杂的分析操作,侧重决策支持,听且提供直观
AmyZYX
·
2020-08-16 17:00
数据仓库分层中的ODS、DWD、
DWS
1.数据仓库DW1.1简介Datawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-lineAnalyticalProcessing),支持复杂的分析操作,侧重决策支持,听且提供直观
AmyZYX
·
2020-08-16 17:00
DWS
:去中心化的共享Wi-Fi网络
(阿姆斯特丹的开合桥)在互联网时代,有一个APP叫Wi-Fi万能钥匙,长期位居APPStore排行榜前列,虽然蓝狐笔记本人对它的需求不强烈,因此没有多少实际体验,但后来看到统计,在2016年底它的安装用户数就已经达到9亿,月活用户数超过5亿,在国内的用户量仅次于微信和QQ,用户覆盖超过200多个国家和地区,在49个国家和地区排名GooglePlay工具榜的位居前列。后来分析发现它在二三四线城市的需
蓝狐笔记
·
2020-08-15 07:00
大数据基础知识科普--数据分层(ETL、ODS、DW、DWD、DWM、
DWS
、DIM)
OperationalDataStore)二、数据仓库层:DW(DataWarehouse)1.数据明细层:DWD(DataWarehouseDetail)2.数据中间层:DWM(DataWareHouseMiddle)3.数据服务层:
DWS
bamboo70s
·
2020-08-14 16:31
大数据
数据分层
ODS& DWD&
DWS
& ADS 数仓分层
数仓分层ODS:OperationDataStore原始数据DWD(数据清洗/DWI)datawarehousedetail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表
DWS
(宽表-用户行为
GOD_WAR
·
2020-08-14 04:22
数据仓库
数仓1.2 分层| ODS& DWD&
DWS
& ADS| 行为数仓
数仓分层ODS:OperationDataStore原始数据DWD(数据清洗/DWI)datawarehousedetail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表
DWS
(宽表-用户行为
weixin_30699463
·
2020-08-14 03:29
IO•字节流
里面写入内容:
dws
选择流选择字节流还是字符流操作选择程序的读入或读出关闭输入或者输出流(也称是释放资源)代码实现:packagecom.test.io;importjava.io.File;importjava.io.FileInputStream
懒惰的小黑
·
2020-08-11 00:45
Java基础笔记
java
MTK代码如何修改gpio的初始状态
关于MTK代码如何修改gpio的初始状态,记录如下:首先,MTK代码在开机的时候,会先根据
DWS
文件的配置去初始化GPIO,但是当跑到lk的时候,有些gpio的状态会再次发生变化。
半天org
·
2020-08-09 02:36
mtk
MT6735平台GPIO中断调试记录
dws
文件配置:kernel-3.10/tools/dct/drvgen.exebootable/bootloader/lk/target/mt6735_66t_a19/dct/dct/codegen.dwsbootable
kynge136
·
2020-08-08 18:48
android
linux
input
关于mtk GPIO口的定制
如果需要定制GPIO口呢,需要使用mediatek/dct/DrvGen.exe工具,点击Open,选择mediatek/custom/project_dir/kernel/dct/dct/codegen.
dws
mcgrady_tracy
·
2020-08-08 18:29
mtk开发
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他