E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
关于
数仓
的DWD层的讲解和拉链表讲解以及进行JOIN优化
讲清楚即可贴和项目可以以其中一个表举例三、JOIN优化的三种方案mapjoinBucketMapJoinSMBJoin优化面试题(希望大家掌握):前言在
数仓
的构建DWD层的时候有些数据需要去转化成拉链表来经行处理所以在今天我会着重讲解拉链表的使用以及在
云屋探案社.
·
2022-06-08 07:26
big
data
数据仓库
大数据
如何保障
数仓
数据质量?
导读有赞数据报表中心为商家提供了丰富的数据指标,包括30+页面,100+数据报表以及400+不同类型的数据指标,它们帮助商家更合理、科学地运营店铺,同时也直接提供分析决策方法供商家使用。并且,每天在跑的底层任务和涉及的数据表已经达到千级别。面对如此庞大的数据体系,作为测试如何制定质量保障策略呢?
五分钟学大数据
·
2022-06-07 16:00
Hive参数与性能企业级调优
但是如果我们只局限于会使用Hive,而不考虑性能问题,就难搭建出一个完美的
数仓
,所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。H
五分钟学大数据
·
2022-06-06 11:00
活动回顾|Apache Doris 向量化技术实现与后续规划
数仓
/OLAP分析是大数据领域的一个基本课题,近几年随着实时性诉求越来越强烈,如何对性能进行提升变得更加重要,涌现出了非常多的技术,从各维度进行创新。
ApacheDoris
·
2022-06-01 09:51
数据库
大数据
编程语言
python
机器学习
SQL Server携程核心系统无感迁移到MySQL实战
目录前言一、架构综述二、应用场景1、新单秒级各端同步2、自动发单与工作台3、查询与数据分析三、系统升级实践1、分布式订单缓存2、无损迁移工艺3、
数仓
衔接四、核心问题精编1、SQLServer&MySQL
·
2022-05-31 12:18
数据湖架构开发-Hudi入门教程
当下大数据技术在工业环境中应用,主要构建离线
数仓
和实时
数仓
,进行大规模数据管理和分析。为了更好管理数据,出现数据湖DataLake:用来存储大量的原始数据。
是一只萨摩耶
·
2022-05-31 07:10
big
data
hudi
数据湖
大数据
数据仓库
数据仓库(04)基于维度建模的
数仓
KimBall架构
基于维度建模的KimBall架构,将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用,如下图。 操作型源系统,指的就是面向用户的各类系统,如app、网站、ERP、CRM等系统。这一块就是我们数据仓库的数据来源,并且这类数据往往有各自的格式和内容,我们同步过来之后,需要对数据进行清洗和规范化。 ETL系统,指的就是获取、转换、加载的(ExtractTran
·
2022-05-31 00:27
数据仓库大数据etlbi
理“ Druid 元数据”之乱
由于Druid能够同时提供离线和实时数据的查询,因此Druid最常用作为GUI分析、业务监控、实时
数仓
的数据存储系统。
·
2022-05-30 08:09
大数据druidolap
Clickhouse实时
数仓
建设
今天,笔者就为大家介绍如何使用Clickhouse来构建实时
数仓
,来满足一些实时性要求较高的使用场景。2.内容2.1什么是OLAP场景在介绍Click
哥不是小萝莉
·
2022-05-29 21:00
【
数仓
】大数据开发全流程 - 实习总结
工作了快一个月了,今天简单说一下大数据开发的整个流程。假设就以自己这个公众号为例,这样不会抽象,比较直观。1.数据源前端会对用户行为进行埋点,并上报后端服务器。埋点会记录一些信息,比如:用户id:标记一个用户,后面可以根据这个算一段时间的UV(独立访客),也就是selecctcount(distinctuid)fromtable_namewheredate>=t1anddate<=t2,比如我
大风在睡觉
·
2022-05-27 07:26
面试
大数据
数据仓库
java
数据仓库
一文读懂云原生一体化
数仓
本文大纲一、云原生一体化
数仓
的发布背景1市场情况2挑战和痛点二、云原生一体化
数仓
是什么三、云原生一体化
数仓
的技术理念1离线实时一体2湖仓一体3分析服务一体4全链路数据治理一、云原生一体化
数仓
的发布背景1
阿里云技术
·
2022-05-27 07:22
云原生
big
data
cloud
native
一文读懂
数仓
建设和数据治理
点击上方"大数据肌肉猿"关注,星标一起成长点击下方链接,进入高质量学习交流群今日更新|950个转型案例分享-大数据交流群本文分为两大节介绍,第一节是
数仓
建设,第二节是数据治理,内容较长,还请耐心阅读!
无精疯
·
2022-05-27 07:32
数据仓库
大数据
编程语言
人工智能
数据分析
如何简单、高效的进行留存和漏斗分析
Databend是一个使用Rust研发、开源的、完全面向云架构的新式
数仓
,致力于提供极速的弹性扩展能力,打造按需、按量的DataCloud产品体验。
·
2022-05-26 18:45
后端数据库云原生
Tech Talk · 云技术有话聊 | 基于多场景计算分析的融合
数仓
基础架构
5月26日,信服云大数据研发技术专家Kevin在信服云《TechTalk·云技术有话聊》系列直播课上分享了《基于多场景计算分析的融合
数仓
基础架构》,详细介绍了信服云
数仓
Dipper如何在复杂场景下提升查询效率
·
2022-05-26 17:02
后端
数仓
血缘关系数据的存储与读写
为方便数据治理、元数据管理及数据质量监控,将调度系统生成的
数仓
血缘保存起来。而本文由来自NebulaGraph社区的用户shixingr带来他的实践分享。
NebulaGraph
·
2022-05-26 11:00
数仓
血缘关系数据的存储与读写
本文首发于NebulaGraphCommunity公众号一、选择Nebula的原因性能优越查询速度极快架构分离,易扩展(目前的机器配置低,后续可能扩展)高可用(由于是分布式,所以从使用到现在没有出现过宕机情况)上手容易介绍全(熟悉架构和性能)部署快(经过手册的洗礼,快速部署简单的集群)使用简便(遇到需要的数据,查询手册获取对应的GNQL,针对性查询)答疑优秀(遇到问题,可以先翻论坛,如果没有,那就
·
2022-05-26 11:51
数据库知识图谱
离线
数仓
建设,企业大数据的业务驱动与技术实现
文章原文:直播预告|离线
数仓
建设,企业大数据的业务驱动与技术实现报名链接:https://app.jingsocial.com/mi...一、课程介绍随着企业的高速发展,业务范围不断扩展,企业数据量暴增
·
2022-05-25 14:06
数仓
选型必列入考虑的OLAP列式数据库ClickHouse(中)
ELK作为老一代日志分析技术栈非常成熟,可以说是最为流行的大数据日志和搜索解决方案,而新一代日志监控选型以MPP架构为主如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战,不乏有许多的大公司如携程,快手已开始把自己的日志解决方案从ES迁移到了Clickhouse,本篇将以一个完整实际日志采集的场景进一步打开Clickhouse的技术大门
itxiaoshen
·
2022-05-22 02:00
数仓
选型必列入考虑的OLAP列式数据库ClickHouse(上)
又多一款
数仓
选型,虽然ClickHouse从性能上比不上前面的StarRocks,但还是有其使用场景,技多也不压身。
itxiaoshen
·
2022-05-21 01:00
为什么他们选择了GaussDB
数据库和
数仓
是承载金融等企业核心交易业务与数据处理的基石。华为云Stack为政企客户提供基于openGauss开放生态的企业级分布式
·
2022-05-19 10:52
程序员
数据仓库(03)
数仓
建模之星型模型与维度建模
维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的
数仓
建模方式,它将客观世界划分为度量和上下文。
·
2022-05-18 17:44
数据仓库大数据etl数据
业务数据治理体系化思考与实践
一、序言美团住宿数据治理团队通过多年
数仓
建设及数据治理的经验沉淀,
·
2022-05-17 23:35
美团数据
云原生离线实时一体化
数仓
建设与实践
简介:本篇内容分享了云原生离线实时一体化
数仓
建设与实践。
·
2022-05-17 14:09
云原生hadoop
基于 FlinkSQL 构建流批一体准实时
数仓
id=1693281284582715430&wfr=spider&for=pc一、背景基于Hive的离线
数仓
往往是企业大数据生产系统中不可缺少的一环。
四月天03
·
2022-05-17 11:16
Flink实时数仓
大数据项目实战
hive
flink
big
data
云原生
数仓
如何破解大规模集群的关联查询性能问题?
简介:AnalyticDBforPostgreSQL(以下简称ADBPG)是一款PB级的MPP架构云原生数据仓库。本文从ADBPG架构设计的角度出发,探讨RuntimeFilter在ADBPG中的实现方案,并介绍了基于BloomFilter的ADBPGDynamicJoinFilter功能技术细节。作者|宇毅来源|阿里开发者公众号前言近年来,数据库系统服务的数据量呈指数级增长,同时也面临处理的业务
·
2022-05-16 10:40
云原生数据库
国产开源优秀新一代MPP数据库StarRocks入门之旅-
数仓
新利器(中)
在上一篇已部署StarRocks集群环境基础上,本篇以列式存储、稀疏索引开始对StarRocks表设计进一步学习,进而理解排序键、物化视图、位图索引、布隆过滤器索引,全面理解加速数据处理,并通过动手实操示例巩固效果
itxiaoshen
·
2022-05-14 01:00
数据仓库—开发规范
数据仓库系列文章(持续更新)
数仓
架构发展史
数仓
建模方法论
数仓
建模分层理论
数仓
建模—宽表的设计
数仓
建模—指标体系数据仓库之拉链表
数仓
—数据集成
数仓
—数据集市
数仓
—商业智能系统
数仓
—埋点设计与管理
数仓
—IDMapping
·
2022-05-13 09:22
数据仓库
国产开源优秀新一代MPP数据库StarRocks入门之旅-
数仓
新利器(上)
没错,国产之强大,越来越多像新时代云原生的ApachePulsar一样把性能优化极致的正在快速崛起,本篇从StarRocks由来开始,了解其特性和使用场景、架构和原理、组成部分,然后部署了一个FE和3个BE集群,最后通过一个简单建表正式迈入实操
itxiaoshen
·
2022-05-12 22:00
数据仓库—开发规范
数据仓库系列文章(持续更新)
数仓
架构发展史
数仓
建模方法论
数仓
建模分层理论
数仓
建模—宽表的设计
数仓
建模—指标体系数据仓库之拉链表
数仓
—数据集成
数仓
—数据集市
数仓
—商业智能系统
数仓
—埋点设计与管理
数仓
—IDMapping
大数据技术派
·
2022-05-12 19:00
数据仓库(02)
数仓
、大数据与传统数据库的区别
数据仓库(
数仓
)与大数据区别,数据仓库(
数仓
)与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。
·
2022-05-11 21:34
数据仓库大数据数据库etl
从 Git 到 Databend Fuse Engine 存储引擎
Databend是一个使用Rust研发、开源的、完全面向云架构的新式
数仓
,致力于提供极速的弹性扩展能力,打造按需、按量的DataCloud产品体验。
·
2022-05-11 17:54
大数据云原生开源
Atlas2.2.0编译、安装及使用(集成ElasticSearch,导入Hive数据)
在
数仓
项目中,我们常常会选择ApacheAtlas进行数据的治理。本文结合笔者在生产环境中遇到的常见问题及解决方法,整合出完整的Atlas编译、部署及使用过程。
榆天紫夏
·
2022-05-11 15:00
基于MaxCompute的大数据安全方案
做为大数据云
数仓
解决方案的领导者,阿里云MaxCompute在安全体系上也做了很多特性,本文给大家简单介绍下MaxCompute关于数据安全的一些能力。
·
2022-05-11 11:45
安全架构
项目一实时
数仓
数据采集
2.3.4注册域名2.4日志数据采集2.4.1nginx服务器的搭建2.4.2启动nginx,并测试2.4.3配置管理中心2.4.4日志切分2.4.5编写flume的采集方案2.4.6自定义拦截器2.5
数仓
林柚晞你今天博学了吗
·
2022-05-10 05:27
大数据那些事
大数据项目
大数据分析
大数据开发
项目二准时
数仓
(漏斗分析+UAD预测)
1.1简介要处理的数据,有三种用户行为数据业务数据内容数据目的:构建
数仓
模型,分析这些
林柚晞你今天博学了吗
·
2022-05-10 05:26
大数据那些事
大数据项目
数据仓库
ETL分析
Flink CDC Meetup · Online,5.21 开讲!
随着近几年实时计算技术的迅猛发展,涌现了实时OLAP、实时数据湖、实时
数仓
等架构,较好地解决了湖仓实时化问题。然而实时化需要的是端到端的解决方案,除了湖仓实时化之外,我们还急需数据集成的实时化。
·
2022-05-09 11:24
Hive 3.x 配置&详解
Hive1.数据仓库概述1.1基本概念数据仓库(英语:DataWarehouse,简称
数仓
、DW),是一个用于存储、分析、报告的数据系统。
Xi-iX
·
2022-05-08 22:00
数据仓库(10)
数仓
拉链表开发实例
拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。这里用商品价格的变化作
张飞的猪
·
2022-05-06 21:00
数据仓库(DW)常见维度模型方式
尤其是基于hadoop体系构建
数仓
,减少join就是减少shuffle,性能差距会很大。星型模型可以理解为,一个事实表关联多个维度表,雪花模型可以理解为一个事实表关联多个维度表,
他们叫我技术总监
·
2022-05-03 20:56
数据仓库
数仓
数据监控
Flink电商实时
数仓
Prometheus&Grafana监控zabbix监控(API、proxy代理、睿象云告警系统)
//承续缘_纪录片
·
2022-04-30 14:09
数据仓库
数据仓库
倒计时0日!Apache DolphineScheduler4月 Meetup 大佬手把手教你大数据开发,离线调度
有了数据平台和数据仓库,选择什么系统来调度和管理
数仓
任务就显得尤为重要。ApacheDolphinScheduler作为新一代的大数据任务调度系统,致力于让调度变得更加容易。身
·
2022-04-30 10:52
阿里的一键TT
对于业务DB数据而言(比如存储在MySQL中),将数据采集并导入到
数仓
中(通常是Hive或者MaxCompute)是非常重要的一个环节。那么,该如何将业务DB数据高效准确地同步到
数仓
中呢?
·
2022-04-28 21:52
数据仓库
解析
数仓
OLAP函数:ROLLUP、CUBE、GROUPING SETS
摘要:GaussDB(DWS)ROLLUP,CUBE,GROUPINGSETS等OLAP函数的原理解析。本文分享自华为云社区《GaussDB(DWS)OLAP函数浅析》,作者:DWS_Jack_2。在一些报表场景中,经常会对数据做分组统计(groupby),例如对一级部门下辖的二级部门
华为云开发者社区
·
2022-04-27 11:00
Amazon Aurora 的读写能力扩展之 ShardingSphere-Proxy 篇
文章来源于亚马逊AWS官方博客马丽丽亚马逊云科技数据库解决方案架构师,十余年数据库行业经验,先后涉猎NoSQL数据库Hadoop/Hive、企业级数据库DB2、分布式
数仓
Greenplum/ApacheHAWQ
·
2022-04-26 00:23
Hive 简介
1.Hive简介构建在hadoop之上,用来满足企业大数据存储和数据分析需求的
数仓
工具.
Doooooing
·
2022-04-24 15:10
学习笔记
数仓
之spark数据采集
概要由于spark可以接入非常多的数据源,且能够完美连接hive库,那么离线
数仓
以spark作为数据采集工具,将是一个方便可行的方案。
csdn_wr
·
2022-04-24 14:57
spark
spark
数据仓库
Apache Flink 在蔚来汽车的应用
主要内容包括:实时计算在蔚来的发展历程实时计算平台实时看板CDP实时
数仓
其他应用场景点击查看直播回放&演讲PDF一、实时计算在蔚来的发展历程18年5月份左右,我们开始接触实时计算的概念,最初是用SparkStreaming
·
2022-04-22 14:05
数据仓库(8)
数仓
事实表和维度表技术
所谓的事实表和维度表技术,指的就是如何和构造一张事实表和维度表,是的事实表和维度表,可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表,就是一个事实的集合。事实来自业务过程的度量,基本上以数量值表示。事实表行对应一个事实,一个事实对应一个物理可以观察的事件,例如,再零售事件中,销售数量与总
张飞的猪
·
2022-04-20 21:00
数据仓库(7)
数仓
规范设计
规范设计在这里取《大数据之路:阿里巴巴大数据实践》中的定义,这里记录一下本人对这一块自己的理解。规范定义指以维度建模作为理论基础构建总线矩阵,划分和定义数据域、业务过程、维度、度量原子指标、修饰类型、修饰词、时间周期、派生指标。所谓的规范的定义,简单理解,如果把数据当作货物,那就是货物的分
张飞的猪
·
2022-04-20 12:00
数仓
建模—建模工具PdMan
数据仓库系列文章(持续更新)
数仓
架构发展史
数仓
建模方法论
数仓
建模分层理论
数仓
建模—宽表的设计
数仓
建模—指标体系数据仓库之拉链表
数仓
—数据集成
数仓
—数据集市
数仓
—商业智能系统
数仓
—埋点设计与管理
数仓
—IDMapping
·
2022-04-19 10:46
数据仓库hadoop大数据
上一页
47
48
49
50
51
52
53
54
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他