E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
数仓
(二):
数仓
构建流程、数据中台建设
一、面临的挑战数据中台,目的总结下来一句话:通过服务化的方式增强数据的共享能力以实现数据的复用,解决数据研发、数据分析、数据运营时碰到的痛点问题:指标口径定义不一致数据研发效率低问题数据质量问题频发大数据建设成本越来越高数据发现的能力低下导致数据好不好用的问题烟囱式开发模式传统的数据研发效率低,都是接到需求,从底向上分层开发(ODS->DWD->DWS->ADS),压根没有考虑复用,有可能ODS层
四月天03
·
2022-11-27 14:11
数仓&数据中台
数据仓库
大数据
数仓
建模—数据治理
数据质量层次不齐数据交换和共享困难缺乏有效的管理机制存在数据安全隐患发现问题严重滞后影响不清晰DMBOK的数据治理框架2、
数仓
治理治理的分类粗治理细治理数据源治理数据源管理数据源监控数据同步
数仓
模型治理数据划分及命名空间约定常规表的命名中间表统一指标和字段命名公共处理逻辑下沉及单一核心模型与扩展模型分离层次调用约定组合原则数据拆分核心表数据冗余
雾岛与鲸
·
2022-11-27 14:11
数据仓库
大数据
数仓
建模—数据治理的本质与实践
数据治理的本质与实践近三年,随着阿里数据中台战略的提出,以及各种数据应用场景的成功落地,企业和政府对自身数据资产的价值也前所未有的重视起来。但是,数据资产的价值发掘依赖于有序、完整和高质量的数据,数据治理则是保障数据质量和实现数据价值的基础,它包含一整套构建核心数据资产的方法论、规章制度和实施工具。什么是数据治理我们认为,数据治理是指从使用零散数据变为使用统一数据、从具有很少或没有组织流程到企业范
不二人生
·
2022-11-27 14:40
#
数仓建模
数据仓库
数仓建模
数仓
:维度建模
2.
数仓
架构的原则:1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层
//承续缘_纪录片
·
2022-11-27 14:40
数据仓库
数据仓库
谈数据治理感想:基于《如何避免
数仓
模型“烟囱式”建设》博文
原文链接:如何避免
数仓
模型“烟囱式”建设如果把指标⽐喻成⼀棵树上的果实,那模型就是这棵⼤树的躯⼲,想让果实结得好,必须让树⼲变得粗壮。
Yooooung_Lee
·
2022-11-27 14:40
TD_BrainStrom
数据仓库
数据分析
etl
数仓
建模—元数据管理
元数据管理元数据在数据仓库中远比操作型环境中更加重要,因为数据仓库是一个不断迭代升级并且数据量也是远远大于操作型数据库的,所以我们需要元数据进行更好的监控和管理。元数据通常定义为"关于数据的数据",在数据仓库中是定义和描述DW/BI系统的结构,操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化,管理这些附加MetaData信息的目的,一
不二人生
·
2022-11-27 14:10
#
数仓建模
数据仓库
数据治理
数仓建模
元数据
数仓
建模—数据资产管理
数据资产管理国外对“数据资产管理”的定义为:数据资产管理(Dataassetmanagement简称DAM)是规划、控制、提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。“数据资产管理”一词,在国内首次由DAMS(中国数据资产管理峰会)组委会正式提出。数据管理的概念从80年代提出已经接近40年了,数
不二人生
·
2022-11-27 14:10
#
数仓建模
数据仓库
数据资产
数据资产管理
数据治理系列:
数仓
建模之
数仓
主题与主题域
从上面的引言里面,我们其实可以知道主题在
数仓
建设里面绝对是很重要的一环,这的确是的。
数仓
在建设过程中,对数据的组织管理上,不仅仅要进行横向的分层,也需要根据业务情况进行纵向的主题域划分。
Alex_81D
·
2022-11-27 14:39
数据治理
数据仓库
大数据项目 --- 数据采集项目
---最后一次搭建这个项目环境,供给后面使用,步步为营目录一.
数仓
的基本概念二.
数仓
基本架构三.项目需求分析四.用户行为_项目架构_技术选型五.框架版本选型六.服务器选型七.集群规模八.系统数据流程设计九
YllasdW
·
2022-11-26 15:30
JAVA
大数据
数据仓库
2021年中国BI商业智能应用实践白皮书
BI的业务流程涉及数据挖掘、
数仓
建设等,需要对接企业核心业务数据,从应用安全性角度考虑,BI国产化替代将是未来发展趋势。
ifenxi爱分析
·
2022-11-26 15:39
商业
项目需求及架构设计
采集用户行为数据使用的工具,需要提供详细的设计需求如:flume,flume采用的source、channel、sink以及flume代码的设计业务数据采集平台搭建将mysql中的业务数据导入到hive
数仓
中使用什么工具如
一马什么梅一
·
2022-11-26 13:10
学习记录
数据仓库
hive
大数据
数据仓库基础知识
2022年6月1日记录,这又干了3年的
数仓
,感慨很多吧,觉得做好确实不容易,技术要精细的话,从底层代码到上层架构都要认真思考。
huobumingbai1234
·
2022-11-26 13:35
数据仓库
数据仓库
维度建模
星形模型
数据仓库基础
1.3.1OLTP1.3.2OLAP1.3.3OLTP和OLAP的对比1.3.4数据库和数据仓库的区别1.3.5数据仓库和数据集市的区别1.4数据仓库分层架构1.4.1分层的思想和标准1.4.2阿里巴巴
数仓
火玄大数据
·
2022-11-26 13:01
Hive
大数据
hive
数据仓库
大数据学习——Day03(
数仓
实战案例分析)
数仓
建模范式建模维度建模-星型建模-雪花模型
数仓
分层ODS(OperationDataStore)-->操作性数据DW(Datawarehouse)–>数据仓库DM(DataMart)–>数据集市数据转换过程
CoffreLv
·
2022-11-26 09:29
Python
大数据开发之数据仓库
概念数据仓库:Datawarehouse
数仓
DW,用于存储,分析,报告的数据系统;目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持面向分析数据仓库本身不产生任务的数据,其数据来源于各个不同的外部系统数据仓库也不需要任务外部数据
C0oOder
·
2022-11-26 02:25
大数据之路
数据仓库
大数据
hadoop
DAMS峰会丨从
数仓
到数据中台,从数据资源到资产,京东、携程、快手等是怎么建设和演进的?...
近年来,因数据衍生、关联、发展起来的技术层出不穷,我们不断探索数据从资源转化为资产的方法,又面临在数据共享和互通中引发的安全隐患;我们迫切希望进行企业核心数据库的开源化、国产化替换,又碍于“恐龙级”老旧系统的历史遗留问题而难以开展;同时,我们还需要持续跟进如AIOps、DataOps、混沌工程等新兴技术理念,制定适合自身企业的落地方案……为了和大家一起攻克这些疑难,第七届DAMS中国数据智能管理峰
铁头乔
·
2022-11-25 19:54
运维
数据库
分布式
大数据
人工智能
数仓
,大数据平台,数据中台,数据湖
存放各种格式的海量数据的地方广义的概念:除了数据存储之外,还包含数据的分析和管理,提供数据目录,数据服务以及统一的数据访问方式普通数据库特点:数据量小,数据保存时间短,支持ACID,及时性高,以业务线为单位进行建设普通
数仓
特点
三月Eva
·
2022-11-24 23:51
大数据
大数据面试题_数据仓库篇
3、你感觉
数仓
建设中最重要的是什么大数据面试题_数据仓库篇离线数据仓库1、为什么要对数据仓库分层?用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据。
Jerry Hong
·
2022-11-24 23:19
大数据面试
数据仓库
数据仓库
大数据
数据库
大数据时代需要学习些什么?
那么说到大数据具体需要学习些什么,简单来说,分为6步,大数据开发入门,大数据核心基础,千亿级
数仓
技术,PB级内存计算,亚秒级实时计算,大厂面试。
我想去吃ya
·
2022-11-23 21:23
大数据
学习
hadoop
开发语言
数据库
Java仿牛客社区项目学习笔记
Java基础+Springboot接口发布+HBase+离线
数仓
+Fli
cts618
·
2022-11-23 19:28
Java大数据工程师
java
学习
开发语言
基于 Flink SQL 构建实数据仓库在 OPPO 的实战
本文主要内容如下:OPPO实时
数仓
的演进思路;基于FlinkSQL的扩展工作;构建实时
数仓
的应用案例;未来工作的思考和展望。关注过往记忆大数据,并回复oppo获取本文ppt。
Hadoop技术博文
·
2022-11-23 11:16
CC00002.pbpositions——|Hadoop&PB级
数仓
.V02|——|PB
数仓
.v02|
数仓
概念|数据集市|
一、数据仓库###---[
数仓
理论]~~~[数据仓库:
数仓
概念]~~~[数据仓库:
数仓
特征]~~~[数据仓库与数据库的区别]~~~[数据仓库:数据集市]###---什么是数据仓库~~~1988年,为解决全企业集成问题
yanqi_vip
·
2022-11-23 10:24
数据仓库
数据库
大数据
java
数据分析
【
数仓
】数据同步-数据仓库的数据来源之二
当然这只是数据同步的一个方面,
数仓
中计算好的数据也会同步进入数据服务或数据应用两个方面。本文参考《大数据之路》,对书中的要点进行记录。可以关注公众号回复802获取pdf。其他章节更新中。可以点
和风与影
·
2022-11-23 10:21
数据仓库
大数据
大数据
数据仓库
数仓
之数据集成
前两节我们简单讲述了
数仓
的作用、一个基本
数仓
的应用架构,这小节我们继续讲解下
数仓
的数据集成。数据集成指的是将企业内所有具有分析价值的数据同步到数据仓库中做集成管理,所以基础功能是数据同步。
七月√
·
2022-11-23 10:14
数据仓库
大数据
数据仓库
flink
数据仓库1-
数仓
的意义
在进行数据分析的时候,我们总会遇到一些名词,比如数据仓库。数据仓库是数据分析中一个比较重要的东西,数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。下面就说一下数据分析中的数据仓库。对数据分析的理解大家应该都是比较熟悉的,数据分析的流程有很多,首先需要进行对业务的理解,然后就是对数据的理解,挖掘数据,数据处理,数据分析,数据展现,这些步骤就能够给大家带来一个不错的数据分析结果。
榛西
·
2022-11-23 10:43
数仓数据湖
数仓
深度 | 主数据管理
本文来源于网络,如有侵权,联系浪尖删除:langjianliaodashuju来源:BAT大数据架构导读:企业主数据指企业内一致并共享的业务主体。主数据管理,不仅包括硬件和软件,还是将数据作为重要资产管理的思想和办法,是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保证主数据的完整性、一致性和准确性。一、企业数据类型企业数据类型主要包括交易数据、主数据和元数据,如下图所示:元数据是企业数
浪尖聊大数据-浪尖
·
2022-11-23 10:41
大数据
区块链
java
python
人工智能
数据仓库系列一:
数仓
的前世今生
前言:笔者自2019年硕士毕业,先后任职于两家一线互联网大厂,加上实习经历在数据行业已经摸爬滚打近5年。近来愈发认识到工作中自我沉淀的重要性,既是对自己日常工作的梳理总结,也可以帮助到一些数据新人少走弯路。本篇从数据库引申到数据仓库,用一个生动形象的例子来介绍数据仓库的特性与必要性。了解数据底层可以帮助我们更好的去做数据相关工作,如果本篇文章能帮助到屏幕前困惑的你,会让我很开心。01什么是数据库?
赵小洛
·
2022-11-23 09:32
数据仓库
数据库
分布式
大数据
hadoop
数仓
|该如何理解数据仓库的建设
什么是数据仓库数据仓库,最早由比尔·恩门(BillInmon)于1990年提出,主要功能是将组织或企业里面的联机事务处理(OLTP)所累积的大量数据,透过数据仓库理论所特有的储存架构,进行系统的分析整理,以利于各种分析方法如联机分析处理(OLAP)、数据挖掘(DataMining)的进行,并进而支持如决策支持系统(DSS)、主管信息系统(EIS)的创建,帮助决策者能快速有效的从大量数据中分析出有价
csdn-延
·
2022-11-23 09:32
大数据
hadoop
大数据
数据仓库
数仓
建模—数据安全
数据安全这里有一个背景就是中华人民共和国数据安全法的实施。为了规范数据处理活动,保障数据安全,促进数据开发利用,保护个人、组织的合法权益,维护国家主权、安全和发展利益,制定本法。《中华人民共和国数据安全法》已由中华人民共和国第十三届全国人民代表大会常务委员会第二十九次会议于2021年6月10日通过,现予公布,自2021年9月1日起施行。这里有几个定义我们关注一下,其他的可以去自行百度学习本法所称数
不二人生
·
2022-11-23 09:00
#
数仓建模
算法
数据安全
数仓建模
权限模型
大数据项目之电商
数仓
-业务数据仓库
电商业务流程简介电商术语SKU,库存量单位,即库存进出计量的基本单元,可以是以件,盒,托盘等为单位。SKU这是对于大型连锁超市DC(配送中心)物流管理的一个必要的方法。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。SPU,标准化产品单元。是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息的集合,该集合描述了一个产品的特性。常用的表:订单表、订单详情表、商品表、用户表、
_TIM_
·
2022-11-23 09:28
数据仓库
数据仓库—
数仓
治理
本文目录数据治理统一流程参考模型为什么要治理DMBOK的数据治理框架
数仓
治理治理的分类数据源治理
数仓
模型治理数据服务治理上下游约定
数仓
评价(如何评价一个数据仓库的好坏)数据准确性时效性覆盖性建构层次清晰数据准确一致性能指标成本指标易用性指标需求响速度稳定性总结知识星球数据仓库系列文章
大数据技术派
·
2022-11-23 09:58
#
数据仓库
大数据
java
数据仓库
人工智能
数据库
数仓
| 企业建数据仓库的必要性
作为数据整合及处理的核心──数据仓库,既承担着与保险核心系统及其他各个业务系统的数据ETL功能,又承担着整合数据、分析挖掘数据等重要的数据处理功能,在当下时效性要求越来越高、数据需求变化越来越快、数据容量越来越庞大的多变形式下,传统的数据仓库技术架构已经无法满足新的需求,迫切需要新一代的数据仓库解决方案。从保险企业的客观实际出发,结合保险行业当前的经营战略的需求,基于完整合理的保险公司IT系统整体
running_elephant
·
2022-11-23 09:22
数据仓库
数据库
数据挖掘
使用 SQL 加密函数实现数据列的加解密
作为信息系统的核心,GaussDB(DWS)
数仓
也提供数据加密功能,包括透明加密和使用SQL函数加密。这里主要讨论SQL函数加密。
自橙一派
·
2022-11-23 07:57
sql
数据库
数据中台选型必读(四):要想中台建的好,数据模型得做好
重复进行原始数据的清洗加工由于业务部门的分析师大多是非技术出身,写的SQL可能比较差,多层嵌套对后台的计算和调度资源消耗非常大,造成队列阻塞,影响其他
数仓
任务,导致开发不满。
麦聪聊数据
·
2022-11-23 03:18
数据中台
DaaS
数字化转型
大数据
数据挖掘
数据库
HBase在滴滴出行的应用场景和最佳实践
离线业务通常是
数仓
的定时大批量处理任务,对一段时间内的数据进行处理并产出结果,对任务完成的时间要求不是非常敏感,并且处理逻辑复杂,如天级别报表、安全和用户
云栖精选
·
2022-11-22 17:11
人工智能
python解析sql字段血缘_##[开源]HIVE
数仓
数据血缘分析工具-SQL解析
代码如下:Block类packagecom.xiaoju.products.parse;importjava.util.ArrayList;importjava.util.HashMap;importjava.util.HashSet;importjava.util.List;importjava.util.Map;importjava.util.Set;importjava.util.Stack
務酒者
·
2022-11-22 16:15
python解析sql字段血缘
HiveSQL源码之语法词法编译文件解析一文详解
曾经在Hive
数仓
搭建的时候写过部分HiveSQL编译原理:Hive详解以及CentOS下部署Hive和Mysql我们现在主要研究SQLParser语法解析这块内容。
fanstuck
·
2022-11-22 16:59
一文速学-SQL各类数据库操作
python
pandas
数据分析
hive
antrl
快手基于 Flink 构建实时
数仓
场景化实践
一、快手实时计算场景快手业务中的实时计算场景主要分为四块:公司级别的核心数据:包括公司经营大盘,实时核心日报,以及移动版数据。相当于团队会有公司的大盘指标,以及各个业务线,比如视频相关、直播相关,都会有一个核心的实时看板;大型活动实时指标:其中最核心的内容是实时大屏。例如快手的春晚活动,我们会有一个总体的大屏去看总体活动现状。一个大型的活动会分为N个不同的模块,我们对每一个模块不同的玩法会有不同的
pucheung
·
2022-11-22 14:17
大数据
人工智能
java
分布式
数据分析
FlinkSQL建表语句与插入语句
FlinkSQL来构建实时
数仓
,其思路大概如下:Flink的TableAPI提供了对kafka/jdbc/hbase等实时开发涉及到的组件的支持,以kafka为例,将kafkatopic抽象成FlinkTable
你好,我叫罗鹏程
·
2022-11-22 14:11
大数据
flink
SQL
flink
sql
Flink概念及应用场景
Flink在实时计算领域内的主要应用场景主要分为四类:实时数据同步流式ETL实时数据分析复杂事件处理2、实时数据体系架构实时数据体现大致分为三类场景:流量类业务类特征类在数据模型上,流量类是扁平化的宽表,业务
数仓
更多是基于范式的建模
你好,我叫罗鹏程
·
2022-11-22 14:02
flink
大数据
flink
数据分析-思维分析逻辑day03
年度汇报时,产品跟数据要各种各样的数据,或者数据内部花费大量时间对各种各样的口径每隔一段时间,产品都会拉上数据研发一起对埋点,总觉得当前的字段不够用,底层日志越来越大,
数仓
要修改的越来越多,取数越来越慢
m0_66767594
·
2022-11-22 07:17
数据分析
离线+实时
数仓
建设方案
大纲一、
数仓
基本概念1、数据仓库架构我们在谈
数仓
之前,为了让大家有直观的认识,先来谈
数仓
架构,“架构”是什么?这个问题从来就没有一个准确的答案。
000X000
·
2022-11-22 01:22
数据分析
数据仓库
实战
数据仓库
离线实时数仓建设方案
离线+实时数仓
Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章
运算以及性能优化)1-14章Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)15-28章第1章:数据仓库基础理论1-1.数据仓库概念数据仓库(英语:DataWarehouse,简称
数仓
王亭_666
·
2022-11-21 18:25
数据库
大数据
大数据
数据分析
hadoop
hive
HIve
数仓
新零售项目DWS层的构建(Grouping sets)模型
HIve
数仓
新零售项目注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,PythonJavaScalaSQL代码,CVNLP推荐系统等,SparkFlinkKafkaHbaseHiveFlume
陈万君Allen
·
2022-11-21 18:24
Hive数仓实战项目
hive
零售
大数据
HIve
数仓
新零售项目DWS层的构建(Full join)模型
HIve
数仓
新零售项目注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,PythonJavaScalaSQL代码,CVNLP推荐系统等,SparkFlinkKafkaHbaseHiveFlume
陈万君Allen
·
2022-11-21 18:24
Hive数仓实战项目
hive
零售
大数据
HIve
数仓
新零售项目ODS层的构建
HIve
数仓
新零售项目注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,PythonJavaScalaSQL代码,CVNLP推荐系统等,SparkFlinkKafkaHbaseHiveFlume
陈万君Allen
·
2022-11-21 18:53
Hive数仓实战项目
hive
零售
大数据
HIve
数仓
新零售项目DWD层的构建
HIve
数仓
新零售项目注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,PythonJavaScalaSQL代码,CVNLP推荐系统等,SparkFlinkKafkaHbaseHiveFlume
陈万君Allen
·
2022-11-21 18:53
Hive数仓实战项目
hive
零售
大数据
yipin project 02
day02今日内容:1-
数仓
建模(理解)2-
数仓
分层架构(理解)3-
数仓
的工具的基本使用(掌握)4-业务数据的准备工作(参考笔记处理即可)1.
数仓
建模何为建模:如何在数据仓库中构建表,是一套用于规范化建表的理论常见的
数仓
建模理论
两面三刀流
·
2022-11-21 18:37
数据仓库
数据挖掘
数据库
review第1遍,220614,Day03_数据仓库设计,md笔记,
知识点02:数据仓库概念、由来、特点数据仓库概念数据仓库,中文简称
数仓
。英文叫做DataWareHouse,简称DW。数据仓库是面向分析的集成化数据平台,分析的结果给企业提供决策支持。
啊六六六
·
2022-11-21 18:34
Python
数据仓库
数据挖掘
数据分析
数仓
之新零售项目
新零售项目1.新零售概述1.1行业背景1.2业务模块介绍1.3clouderamanager工具介绍1.4项目环境部署操作1.5数据仓库的基本概念2.维度分析2.1维度分析的基本介绍3.
数仓
建模3.1
数仓
建模概念
蝉43301
·
2022-11-21 18:29
Hive新零售离线数仓
大数据
数据仓库
数据库开发
上一页
40
41
42
43
44
45
46
47
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他