E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
DWS
光大银行刘淼:基于华为云GaussDB(
DWS
) 数据仓库创新实践
摘要:面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(
DWS
)未来作为数据仓库唯一平台,数据链路实现从数据湖直接到华为云GaussDB(
DWS
)数据仓库。
华为云开发者社区
·
2020-10-09 19:54
华为
数据库
数据仓库
光大银行刘淼:基于华为云GaussDB(
DWS
) 数据仓库创新实践
摘要:面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(
DWS
)未来作为数据仓库唯一平台,数据链路实现从数据湖直接到华为云GaussDB(
DWS
)数据仓库。
华为云开发者社区
·
2020-10-09 19:54
华为
数据库
数据仓库
GaussDB(
DWS
)应用实战:对被视图引用的表进行DDL操作
摘要:GaussDB(
DWS
)是从Postgres演进过来的,像Postgres一样,如果表被视图引用的话,特定场景下,部分DDL操作是不能直接执行的。
华为云开发者社区
·
2020-10-09 12:37
数据库
dll
postgresql
【大数据架构】大数据数据仓库与数据中台架构
名词解释数据仓库(DataWarehouse,DW)数据分层:ods层:存储原始数据dwd层:清洗数据,去除空值、脏数据,超过极限范围的数据,数据脱敏,得到干净的数据
dws
层:轻度汇总,形成数据宽表(有数据冗余
魏晓蕾
·
2020-09-17 03:37
BigData
数据仓库分层模型
DWM层(数据中间层)在DWD层基础上,进行轻度汇总,结合常用维度(时间,地点,组织层级,用户,商品等)
DWS
层(数据汇总
威风少侠
·
2020-09-16 15:18
hive
大数据
数仓
数仓分层
数据仓库
谈笑间学会数仓—开发规范
谈笑间学会数仓—开发规范文章目录谈笑间学会数仓—开发规范前言数据库/表命名规范数据库公共维表dim公共明细层dwd公共汇总层
dws
应用数据层ads临时存储层tmp字段命名规范关键字字段类型规范常用系统词汇
MrZhangBaby
·
2020-09-14 03:14
谈笑间学会数据仓库
Hive
谈笑间学会大数据
数据仓库
大数据
MTK android配置LCD背光和LED,调试方法
背光和LED配置文件alps/custom/lk/cust_leds.calps/custom//kernel/leds/mt65xx/cust_leds.cdrvgen.exe编辑修改codegen.
dws
碎片记录
·
2020-09-11 16:19
MTK
android
数据仓库-元数据浅析
比如:以大数据数仓常见的架构为例:源数据通常通过ETL工具如kettle或canal或其他工具将数据抽到大数据平台中,存储在hdfs上,再经过数据分析(经典数仓按照ods->dwd->
dws
->ads)
anickname
·
2020-09-11 14:05
元数据
数据仓库
元数据管理
GaussDB(
DWS
)应用实战:对被视图引用的表进行DDL操作
摘要:GaussDB(
DWS
)是从Postgres演进过来的,像Postgres一样,如果表被视图引用的话,特定场景下,部分DDL操作是不能直接执行的。
华为云
·
2020-09-11 12:14
技术交流
GaussDB
ddl
视图
postgres
字段
行为数仓分层案例ODS& DWD&
DWS
&DM& ADS
本案例只是举例了一个通常的模型,有的项目会比现有的层数多或者少。一、数仓分层ODS:OperationDataStore原始数据DWD(数据清洗/DWI)datawarehousedetail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表PS:DWB:datawarehousebase基础数据层,有的会进一步细分额外加一层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层
清平の乐
·
2020-08-25 16:22
大数据开发
数仓设计和数据处理
shell执行hive sql 中文乱码,hue执行中文正常
在CDH集群搭建完成后开始搭建数仓部分,首先是在HUE下执行sql等,一个产品线由ods->dwb->dwd->
dws
就绪后开始配置脚本,可是在脚本中有些是对中文字段的处理,定时执行后的脚本中文全部乱码
xuewen_1008
·
2020-08-24 12:22
hive
shell
大数据实战(三十三):电商数仓(二十六)之用户行为数据仓库(十二)用户新增主题
1
DWS
层(每日新增设备明细表)1)建表语句hive(gmall)>droptableifexistsdws_new_mid_day;createexternaltabledws_new_mid_day
秋华
·
2020-08-21 18:00
04 电商数仓(用户行为数据仓库
DWS
/ADS层)
电商数仓(用户行为数据仓库
DWS
/ADS层)文章目录电商数仓(用户行为数据仓库
DWS
/ADS层)1.业务知识准备1.1业务术语1.2系统函数1.2.1collect_set函数1.2.2日期处理函数2.
朱古力...
·
2020-08-21 06:44
Hadoop相关项目总结
一文带你学习
DWS
数据库用户权限设计与管理
前言本文将介绍
DWS
基于RBAC(Role-BasedAccessControl,基于角色的访问控制)的数据库用户权限管理。简单地说,一个用户拥有若干角色,每一个角色拥有若干权限。
华为云开发者社区
·
2020-08-21 04:15
数据
用户权限
权限控制
数据安全
数据管理
GaussDB for
DWS
:内存自适应控制技术总结
1.技术背景在SQL语句复杂、处理数据量大的AP场景下,单个查询对内存的需求越来越大,多个语句的并发很容易将系统的内存吃满,造成内存不足的问题。为了应对这种问题,GaussDBforDWS引入了内存自适应控制的技术,在上述场景下能够对运行的作业进行内存级的管控,避免高并发场景下内存不足产生的各种问题。2.GaussDB的静态内存管理机制及缺陷GaussDB的执行引擎继承自PG,对于优化器生成的执行
华为云开发者社区
·
2020-08-21 03:37
大数据
内存管理
数据存储
sql
华为云
华为云GaussDB(
DWS
)内存知识点,你知道吗?
此次博文主要向大家分享一些华为云数仓GaussDB(
DWS
)内存的基本框架以及基本视图的使用,以便遇到内存问题后可以有一个基本的判断。
华为云开发者社区
·
2020-08-21 03:44
华为云
数据库
内存
dwz
数据
【华为云技术分享】DLI跨源|当DLI遇见MongoDB
搭配华为云上DDS服务提供的MongoDB,DLI无需数据搬迁,便可以直接使用SQL分析,并且将分析后的数据导入OBS,RDS,
DWS
等更多的云上数据存储。当DLI
华为云开发者社区
·
2020-08-20 17:14
mongodb
dlib
数据库
数据存储
华为云
【华为云技术分享】DLI跨源|当DLI遇见MongoDB
搭配华为云上DDS服务提供的MongoDB,DLI无需数据搬迁,便可以直接使用SQL分析,并且将分析后的数据导入OBS,RDS,
DWS
等更多的云上数据存储。当DLI
华为云开发者社区
·
2020-08-20 17:14
mongodb
dlib
数据库
数据存储
华为云
Python 匹配多个字符前缀
问题背景:最近需要批量初始化表结构,要从MaxCompute上将所有项目下的所有表结构都拉下来,其中只需要将满足部分前缀的表,像ads,dwd,
dws
,cdm等,一开始是想到用startswith,但是查了下
橘猫吃不胖
·
2020-08-20 11:29
2020-08-17
数仓项目我们的数仓项目从数据来源来说分为两类,用户行为日志(web端,微信小程序,APP,前端页面埋点)和业务数据库,从技术架构上说,分为ods,dwd,
dws
,ads层.(1)ODS层是一个数据采集汇聚层
想当兵的荷包蛋
·
2020-08-19 06:58
大数据
项目
数仓项目我们的数仓项目从数据来源来说分为两类,用户行为日志(web端,微信小程序,APP,前端页面埋点)和业务数据库,从技术架构上说,分为ods,dwd,
dws
,ads层.(1)ODS层是一个数据采集汇聚层
想当兵的荷包蛋
·
2020-08-19 06:08
数仓
例如经典四层架构:ods->dwd->
dws
-ads,bdl->fdl->gdl->adl等。
weixin_47209187
·
2020-08-18 12:52
数仓
数据仓库系列(10):数据仓库分层模型
(一)写在前面的话数据仓库中,我们常听到要做分层计算,包括ads、dwd、
dws
、ads、dim,那为什么要这么区分,有什么意义?今天就来好好讲述一下。
晓阳的数据小站
·
2020-08-18 11:01
数据仓库
剑指数据仓库-项目篇(四) -
DWS
层&&ADS层指标计算
一、项目回顾二、首先做的是
DWS
轻度汇总层2.1、案例:抽取数据过程中遇到的问题2.1.1、
DWS
调度2.2、如何在ADS层做指标计算2.3、分组求TopN2.4、Hive的行转列&&Dbeaver数据导出三
Spark on yarn
·
2020-08-18 10:30
剑指数据仓库-项目篇
数据仓库(二) 数仓理论(重点核心)
文章目录数据仓库(二)数仓理论(重点核心)数仓分层数据仓库分层ODS层DWD层
DWS
层DWT层ADS层数据仓库分层的好处关系建模与维度建模关系建模维度建模星型模型雪花模型星型模型与雪花模型的区别星座模型模型的选择维度表和事实表
溜三丝耶
·
2020-08-18 10:57
项目开发
项目介绍
项目介绍项目整体介绍1.项目模型搭建此项目为数据仓库项目,主要是做离线计算的项目模型:项目分为流量域和业务域两个主题域,为了方便管理这么多数据,又将每个主题域划分为五个层级,分别是ODS层,DWD层,
DWS
StudyEverydayForward
·
2020-08-18 10:47
数据仓库分层中的ODS、DWD、
DWS
1.数据仓库DW1.1简介Datawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-lineAnalyticalProcessing),支持复杂的分析操作,侧重决策支持,听且提供直观
品途旅游
·
2020-08-16 23:47
编程语言
.Net
数据仓库分层中的ODS、DWD、
DWS
1.数据仓库DW1.1简介Datawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-lineAnalyticalProcessing),支持复杂的分析操作,侧重决策支持,听且提供直观
AmyZYX
·
2020-08-16 17:00
数据仓库分层中的ODS、DWD、
DWS
1.数据仓库DW1.1简介Datawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-lineAnalyticalProcessing),支持复杂的分析操作,侧重决策支持,听且提供直观
AmyZYX
·
2020-08-16 17:00
DWS
:去中心化的共享Wi-Fi网络
(阿姆斯特丹的开合桥)在互联网时代,有一个APP叫Wi-Fi万能钥匙,长期位居APPStore排行榜前列,虽然蓝狐笔记本人对它的需求不强烈,因此没有多少实际体验,但后来看到统计,在2016年底它的安装用户数就已经达到9亿,月活用户数超过5亿,在国内的用户量仅次于微信和QQ,用户覆盖超过200多个国家和地区,在49个国家和地区排名GooglePlay工具榜的位居前列。后来分析发现它在二三四线城市的需
蓝狐笔记
·
2020-08-15 07:00
大数据基础知识科普--数据分层(ETL、ODS、DW、DWD、DWM、
DWS
、DIM)
OperationalDataStore)二、数据仓库层:DW(DataWarehouse)1.数据明细层:DWD(DataWarehouseDetail)2.数据中间层:DWM(DataWareHouseMiddle)3.数据服务层:
DWS
bamboo70s
·
2020-08-14 16:31
大数据
数据分层
ODS& DWD&
DWS
& ADS 数仓分层
数仓分层ODS:OperationDataStore原始数据DWD(数据清洗/DWI)datawarehousedetail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表
DWS
(宽表-用户行为
GOD_WAR
·
2020-08-14 04:22
数据仓库
数仓1.2 分层| ODS& DWD&
DWS
& ADS| 行为数仓
数仓分层ODS:OperationDataStore原始数据DWD(数据清洗/DWI)datawarehousedetail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表
DWS
(宽表-用户行为
weixin_30699463
·
2020-08-14 03:29
IO•字节流
里面写入内容:
dws
选择流选择字节流还是字符流操作选择程序的读入或读出关闭输入或者输出流(也称是释放资源)代码实现:packagecom.test.io;importjava.io.File;importjava.io.FileInputStream
懒惰的小黑
·
2020-08-11 00:45
Java基础笔记
java
MTK代码如何修改gpio的初始状态
关于MTK代码如何修改gpio的初始状态,记录如下:首先,MTK代码在开机的时候,会先根据
DWS
文件的配置去初始化GPIO,但是当跑到lk的时候,有些gpio的状态会再次发生变化。
半天org
·
2020-08-09 02:36
mtk
MT6735平台GPIO中断调试记录
dws
文件配置:kernel-3.10/tools/dct/drvgen.exebootable/bootloader/lk/target/mt6735_66t_a19/dct/dct/codegen.dwsbootable
kynge136
·
2020-08-08 18:48
android
linux
input
关于mtk GPIO口的定制
如果需要定制GPIO口呢,需要使用mediatek/dct/DrvGen.exe工具,点击Open,选择mediatek/custom/project_dir/kernel/dct/dct/codegen.
dws
mcgrady_tracy
·
2020-08-08 18:29
mtk开发
MTK平台GPIO的使用与调试
一,
DWS
的配置打开
dws
文件的工具DrvGen.exe有新和旧两种,不同平台使用的工具可能不一样,新平台大多使用新的DrvGen.exe,两种工具只是打开的方式和界面不一样,其实GPIO的配置项两个都大同小异
Tonghua_D
·
2020-08-08 15:22
MTK
中断配置_
dws
_dts
一、以计步器为例平台:androidN,MTK6737芯片:qma69811.查看硬件连接或excel表格,确定中断脚:GPIO602.配置
dws
:GPIO60:M0Def.Dir:INInGPIO_GSE
zhigouliu
·
2020-08-07 22:12
mtk驱动
7. keypad调试日志
一、配置key主要指:powervolumeupvolumedown查看原理图:KROW0KROW1KCOL0volumeupcameraKCOL1volumedown在
dws
中配置:Column0Column1Column2Row0volumeupvolumedownRow1cameraRow2
zhigouliu
·
2020-08-07 22:11
mtk驱动
MTK 中断配置_
dws
_dts
一、以计步器为例平台:androidN,MTK6737芯片:qma69811.查看硬件连接或excel表格,确定中断脚:GPIO602.配置
dws
:GPIO60:M0Def.Dir:INInGPIO_GSE
小浩09
·
2020-08-07 22:33
MTK驱动
5. MTK 平台使用DTS的方式兼容不同gsensor的修改
GSENSOR_180_c_m\update\alps\kst\drv\dct\dct\old_dct\I2C_YuSu.cmpGSENSORGSENSOR_1这样在使用DrvGen.exe打开codegen.
dws
weixin_30345577
·
2020-08-07 19:48
Android UART问题解决
但有时出于功能需要,会使用UART3来连接其他device,这样便需要将原本的UART3修改为其他UARTport(通常是修改为UART2)[Solution](1).Codegen.
dws
的修改对于GB2
不老头子
·
2020-08-07 19:12
android
如何配置LCD背光和LED,调试方法
背光和LED配置文件alps/custom/lk/cust_leds.calps/custom//kernel/leds/mt65xx/cust_leds.cdrvgen.exe编辑修改codegen.
dws
曹纪乾
·
2020-08-07 17:15
android
mt6739 GPIO复用为PWM模式
本案使用GPIO27,查资料可知,gpio27可能用作PWM2的输出1.
dws
设置2.查看背光如何使用PWM,仿照查可得:kernel-4.4\drivers\misc\mediatek\leds\mt6739
还是那个街___
·
2020-08-07 16:02
MTK驱动
MTK开发板设备树的修改---I2C设备 3.18内核
修改kernel-3.18\drivers\misc\mediatek\mach\mt6797\amt6797_evb_m\dct\dct\codegen.
dws
目录下的
DWS
文件,在对应的I2C_CHANNEL
happy987818
·
2020-08-07 14:14
linux驱动
Linux设备树
MTK开发板
linux
设备树
i2c驱动
MTK Camera驱动移植
上电时序;4、修改i2c控制器;硬件电路:1、GPIO配置打开mediatek\dct\DrvGen.exe选择mediatek\custom\xiaoxi\kernel\dct\dct\codegen.
dws
冷冻的彩虹
·
2020-08-04 18:21
MTK
android
【MTK】camera移植
硬件IO口配置2.打开vendor/mediatek/proprietary/bootable/bootloader/lk/target/sm6737t_66_n/dct/dct/codegen.
dws
sws_looper
·
2020-08-04 18:22
Android
linux
MTK
MTK camera bring up
MTKcamerabringupMTKcamerabringup一
DWS
配置根据硬件连接对照HWinterface部分配置cam各pinexample二config配置文件ConfigurecamerasensorhaldriverinProjectConfigmkAddcamerasensorkerneldriverprojectconfigproject_defconfig
koson_L
·
2020-08-04 15:55
camera
MTK camera AF bring up
MTKcameraAFbringupMTKcameraAFbringup一
DWS
配置二config配置文件ConfigurecameraAFhaldriverinProjectConfigmk三kernel
koson_L
·
2020-08-04 15:23
camera
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他