E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
--------【数据仓库】
隐私计算FATE-核心概念与单机部署
一、说明Fate是一个工业级联邦学习框架,所谓联邦学习指的就是可以联合多方的数据,共同构建一个模型;与传统数据使用方式相比,它不需要聚合各方数据搭建
数据仓库
,联邦学习在联合计算建模的过程中,多方机构之间的数据是不会进行共享的
·
2022-06-20 05:21
区块链
数据仓库
建设—维度建模
在
数据仓库
和商业智能中,维度模型是给用户显示信息的首选结构,其比典型的原系统规范化模型更便于用户理解。维度建模中
zhaojike
·
2022-06-20 02:00
数据仓库
hadoop
内部矩阵维度必须一致simulink_浅谈数仓模型(维度建模)
背景
数据仓库
的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。
weixin_39861882
·
2022-06-20 01:47
数据仓库
-维度建模
目录1.
数据仓库
定义2.
数据仓库
和数据库3.数仓分层4.维度建模4.1维度建模VS第三范式4.2维度建模设计过程5.粒度概念6.事实概念6.1事实表技术7.维度概念7.1维度表技术8.数据关系模型8.1
Lowrance_TT
·
2022-06-20 01:16
数据仓库
数据仓库
etl
database
hive
大数据
Hive_
数据仓库
建模规划
数据仓库
建模规划(绝对重点)1.ODS层1)HDFS用户行为数据2)HDFS业务数据3)针对HDFS上的用户行为数据和业务数据,我们如何规划处理?(1)保持数据原貌不做任何修改,起到备份数据的作用。
大数据翻身
·
2022-06-20 01:57
hive
数仓维度建模
浅谈数仓模型(维度建模)-知乎背景
数据仓库
的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。
古杜且偲
·
2022-06-20 01:31
数据仓库
数据库
浅谈数仓模型(维度建模)
目录背景介绍案例背景
数据仓库
的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。
catydidd
·
2022-06-20 01:44
数据仓库
big
data
数据挖掘
数据仓库
维度建模建设步骤
一、
数据仓库
的架构
数据仓库
(DataWarehouseDW)是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库,它的数据基于OLTP源系统。
数仓大山哥
·
2022-06-20 01:31
数据仓库
数据仓库建模
数仓建设步骤
数据仓库
工具箱——维度建模(Dimensional Modeling)摘要(二)
申明:本文若有任何晦涩难以理解之处,敬请留言指明,以求简明通俗。维度设计的四个步骤:1、选择商业过程。应该选取最有影响的、最有价值的那块先进行。这也是符合敏捷里Scrum的原则。2、申明商业过程的粒度。取最细节、最原子的粒度。3、选择维度。粒度已经决定了基本维度,同时可以增加更多维度。如果增加的维度导致产生了更多的事实行,那么粒度就需要重新申明。换句话说,原先的粒度并不是最原子、不可分的。4、识别
浪菜叶
·
2022-06-20 01:49
BI
工具
数据仓库
calendar
产品
存储
维度建模步骤
(2)声明粒度数据粒度指
数据仓库
的数据中保存数据的细化程度或综合程度的级别。声明粒度意味着精确定义事实表中的一行数据表示什么,应该尽可能选择最小粒度,以此来应各种各样的需求。
hunter95671
·
2022-06-20 01:05
数据仓库
数据挖掘
维度建模的基本理论
维度建模围绕三个问题来展开1、怎么组织
数据仓库
中的数据?2、怎么组织才能使得数据的使用最为方便和便捷?3、怎么组织才能使得
数据仓库
具有良好的可扩展性和可维护性?
Cincinnati_De
·
2022-06-20 01:33
个人日记
数据仓库
数据仓库
之维度建模
维度模型以数据分析作为出发点,不遵循三范式,故数据存在一定的冗余。维度模型面向业务,将业务用事实表(SalesOrder:业务事实——下单记录、支付记录、加入购物车记录…)和维度表(业务事实的描述信息——何人何时何地)呈现出来。表结构简单,故查询简单,查询效率较高。第一范式:属性不可切割;第二范式:不存在部分函数依赖;第三范式:不存在传递函数依赖。一个典型的维度建模一般需要经过如下几个步骤:业务调
星空下的那个人影
·
2022-06-20 01:29
大数据面试
数据仓库
Streaming Data Warehouse 存储:需求与架构
作者:
[email protected]
点击进入Flink中文学习网一、数仓中的计算在计算机领域,
数据仓库
(DW或DWH),是一个用于报告和数据分析的系统,被认为是商业智能的一个核心组成部分
阿里云开发者
·
2022-06-17 22:15
存储
消息中间件
SQL
NoSQL
数据挖掘
OLAP
Kafka
Apache
HIVE
流计算
阿里云开发者
终于有人把数据湖讲明白了
那么它与
数据仓库
、数据中台是什么关系?图10-1显示了一个典型的从数据采集到数据湖、
数据仓库
及数据集市,最后为数据应用提供服务的流程。
大数据v
·
2022-06-17 11:44
数据库
数据仓库
大数据
编程语言
hadoop
使用 Amazon Neptune 通过
数据仓库
构建知识图谱,借此补充商务智能体系
数据仓库
已经成为分析团队高度关注的一种流行选项;除此之外,开发人员也希望寻求更多替代性方法,使用更加多样化的技术改变组织内商务智能的运作方式。
亚马逊云开发者
·
2022-06-17 10:01
Data
经典的数据湖“不可能三角”,如何有效解决?
提到数据湖就要先说一下
数据仓库
,
数据仓库
是集成多业务系统数据、面向主题的、专门用于数据查询分析的数据组织形式。当业务系统数据量不断增大、业务系统数量不断增多以后,
数据仓库
的出现就会成为必然。
Lucifer三思而后行
·
2022-06-17 10:05
数据仓库
数据挖掘
big
data
博文推荐|Flink 消费 Kafka 实时写入 Apache Doris(KFD)
1.概述ApacheDoris(原百度Palo)是一款基于大规模并行处理技术的分布式SQL
数据仓库
,由百度在2017年开源,2018年8月进入Apache孵化器。
ApacheDoris
·
2022-06-17 10:02
数据库
分布式
数据仓库
flink
kafka
Apache Doris 原理与实践
本次将主要从以下三部分介绍ApacheDoris.Doris定位:即Doris所要面临的业务场景及解决的问题Doris关键技术Doris案例介绍01Doris定位实时
数据仓库
Doris产品定位我们首先看一下
小晨说数据
·
2022-06-17 10:01
Doris专栏
Flink 消费 Kafka 数据实时落Apache doris
数据仓库
(KFD)
1.概述ApacheDoris(原百度Palo)是一款基于大规模并行处理技术的分布式SQL
数据仓库
,由百度在2017年开源,2018年8月进入Apache孵化器。
机器爱上学习
·
2022-06-17 10:01
hadoop
数据库
服务器
kafka
apache
数据仓库
快速上手数据分析,你需要解决的这些认知
比如1970-1980年诞生的关系数据库、
数据仓库
等技术,提供了按需分析数据的优势;而
数据仓库
经过优化,可快速响应查询,至今仍在广泛使用。
辰哥爱学习
·
2022-06-17 07:13
数据分析
数据
大数据
HiveSQL优化方法
Hive调优集锦Hive/HiveSQL常用优化方法全面总结关于Hive优化的四种方法总结HiveSQL优化Hive数据倾斜问题Hive常见的数据倾斜及调优技巧HiveSQL排序Hive作为大数据领域常用的
数据仓库
组件
天线嘟嘟茄
·
2022-06-15 14:14
从行业角度看,数仓领域的未来是什么?
数据仓库
发展历程很久,随着云计算等技术发展以及海量数据应用场景等出现,对
数据仓库
提出全新要求,高性能、实时性、云原生等成为
数据仓库
发展关键词,也因此演变出不同的数仓发展路径。
字节跳动数据平台
·
2022-06-15 14:00
李呈祥:bilibili在湖仓一体查询加速上的实践与探索
导读:本文主要介绍哔哩哔哩在数据湖与
数据仓库
一体架构下,探索查询加速以及索引增强的一些实践。
DataFunTalk
·
2022-06-15 11:00
数据仓库
介绍
数据仓库
简介什么是
数据仓库
数据仓库
,英文名称为DataWarehouse,可简写为DW或DWH。
数据仓库
,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
BoltBear
·
2022-06-15 07:56
大数据
数据仓库
数据库
数据挖掘
数据仓库
工具箱The Data Warehouse Toolkit 阅读笔记 (一:了解DW/BI)
概述
数据仓库
和商业智能系统(DW/BI)是本书讨论的基础。这章会从讨论DW/BI的结构入手,进行了解,是后面讨论的基础。DW/BI的介绍和解释DW/BI系统使用数据,是分析型系统。
Dear Slim.
·
2022-06-15 07:22
数据仓库/BI
数据库
big
data
数据仓库
DW/BI
数据仓库
系列3-事实表
文章目录一.事实表介绍1.1事实表结构1.2事实表的度量1.3事实表中的空值1.4一致性事实二.事实表分类2.1事务事实表2.2周期快照事实表2.3累积快照事实表2.4无事实的事实表2.5聚集事实表或OLAP多维数据库2.6合并事实表三.如何设计事实表3.1确定数据域3.2选择业务过程3.3确定粒度3.4确定维度3.5确定事实3.6冗余维度四.高级事实表技术4.1事实表代理键4.2蜈蚣事实表4.3
只是甲
·
2022-06-15 07:14
大数据和数据仓库
#
数据仓库
数据仓库
事实表
累积快照
事实表粒度
事实表设计
数据仓库
面试知识总结
目录一、
数据仓库
概述1、什么是数据库?2、什么是数据集市?3、什么是
数据仓库
?4、什么是数据湖?
蓦然_
·
2022-06-15 07:09
数据仓库
数据仓库
面试题
大数据
大数据面试题
BI的体系架构及相关技术
2)对预处理过数据,应该统一集中起来——元数据(MetaData)、
数据仓库
(DataWarehouse)的要求;3)最后,对于集中起来的庞大的数据集,还应进行相应的专业统计,从中发掘出对企业决策有价值的新的机会
caodongfang126
·
2022-06-15 07:30
大数据
BI 系统中为什么会有很多快照表
观察一些大型用户的BI系统,经常会发现
数据仓库
中有很多快照表。如某交易业务的BI系统,交易明细表很大,被按月存储成多个分段表。
IT邦德
·
2022-06-15 07:25
数据库
数据仓库
隐私计算FATE-核心概念与单机部署
一、说明Fate是一个工业级联邦学习框架,所谓联邦学习指的就是可以联合多方的数据,共同构建一个模型;与传统数据使用方式相比,它不需要聚合各方数据搭建
数据仓库
,联邦学习在联合计算建模的过程中,多方机构之间的数据是不会进行共享的
zlt2000
·
2022-06-13 09:00
如何通俗地理解Hive的工作原理?
Hive是基于Hadoop的一个
数据仓库
工具,主要用来对数据进行抽取、转换、加载操作。
Blue92120
·
2022-06-09 19:38
python
开发语言
MongoDB数据库条件查询技巧总结
目录前言连接数据库查看
数据仓库
查看数据库表查看数据表内容查询方式总结前言今天不讨论使用自带UI界面的连接工具,仅讨论使用命令行查询MongoDB数据库的情况。
·
2022-06-09 16:16
数仓(九)从0到1简单搭建加载数仓DWD层(业务数据解析)
数仓(一)简介数仓,OLTP和OLAP数仓(二)关系建模和维度建模数仓(三)简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓(四)
数据仓库
分层数仓(五)元数据管理系统解析数仓(六)从0到1简单搭建数仓
浪尖聊大数据-浪尖
·
2022-06-08 07:51
java
hive
大数据
数据仓库
sql
数仓(十)从0到1简单搭建加载数仓DWS层
数仓(一)简介数仓,OLTP和OLAP数仓(二)关系建模和维度建模数仓(三)简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓(四)
数据仓库
分层数仓(五)元数据管理系统解析数仓(六)从0到1简单搭建数仓
浪尖聊大数据-浪尖
·
2022-06-08 07:51
数据仓库
数据分析
大数据
hive
数据建模
数仓(七)从0到1简单搭建加载数仓DIM层以及拉链表处理
数仓(一)简介数仓,OLTP和OLAP数仓(二)关系建模和维度建模数仓(三)简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓(四)
数据仓库
分层数仓(五)元数据管理系统解析数仓(六)从0到1简单搭建数仓
浪尖聊大数据-浪尖
·
2022-06-08 07:50
大数据
数据仓库
java
数据库
sql
数仓(八)从0到1简单搭建加载数仓DWD层(用户行为日志数据解析)
数仓(一)简介数仓,OLTP和OLAP数仓(二)关系建模和维度建模数仓(三)简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓(四)
数据仓库
分层数仓(五)元数据管理系统解析数仓(六)从0到1简单搭建数仓
浪尖聊大数据-浪尖
·
2022-06-08 07:50
java
python
hive
大数据
hadoop
第一章
数据仓库
理论专题
1、
数据仓库
概述1.1、诞生背景(1)历史数据积存历史数据使用频率低,积压在业务库中,导致业务系统的性能下降;企业定期将冷数据存储到
数据仓库
中(2)企业数据分析需要各个部门自己建立独立的数据抽取系统,导致数据不一致各个部门直接从业务库抽数进行报表生成
随缘清风殇
·
2022-06-08 07:12
离线数据仓库实战
大数据
2020年大厂面试题-
数据仓库
篇
每日一句一件事无论太晚或者太早,都不会阻拦你成为你想成为的那个人,这个过程没有时间的期限,只要你想,随时都可以开始。from《返老还童》以下面试题均为身边朋友面试大厂所提供;且后期将不定期进行更新并会附上最终答案;其中涉及到的题目没有标准答案该答案均为笔者手动整理,如有错误请及时指出改正~最后强烈建议进行收藏阅读!!!01手写"连续活跃登陆"等类似场景的sql# 该题目有不同的解法,可以使用row
无精疯
·
2022-06-08 07:06
大数据
java
数据库
数据分析
数据仓库
流批一体技术框架探索及在袋鼠云数栈中的实践
一、关于流批一体
数据仓库
流批一体是一种架构思想,这种思想说的是同一个业务,使用同一个sql逻辑,在既可以满足流处理计算同时也可以满足批处理任务的计算。
数栈DTinsight
·
2022-06-07 18:00
数栈精品技术文章
数据仓库
big
data
hadoop
hive
数据仓库
-Hive
数据仓库
1.1.基本概念英文名称为DataWarehouse,可简写为DW或DWH。
三里庄 吴彦祖
·
2022-06-07 17:05
数据仓库
-Hive
数据仓库
-Hive1.
数据仓库
1.1.基本概念底层用的是MapReduce
数据仓库
是存数据的,企业的各种数据往里面存,主要目的是为了分析有效数据,后续会基于它产出供分析挖掘的数据,或者数据应用需要的数据
不写博客心刺挠
·
2022-06-07 17:04
Hive
docker
linux
nginx
hive讲义
数据仓库
-Hive1.
数据仓库
1.1.基本概念英文名称为DataWarehouse,可简写为DW或DWH。
海绵宝宝太天真
·
2022-06-07 17:04
Hive
数据仓库
【clickhouse专栏】clickhouse性能为何如此卓越
在《clickhouse专栏》上一篇文章中《数据库、
数据仓库
之间的区别与联系》,我们介绍了什么是数据库,什么是
数据仓库
,二者的区别联系。
字母哥博客
·
2022-06-07 07:00
Hive参数与性能企业级调优
Hive作为大数据平台举足轻重的框架,以其稳定性和简单易用性也成为当前构建企业级
数据仓库
时使用最多的框架之一。
五分钟学大数据
·
2022-06-06 11:00
【clickhouse专栏】数据库、
数据仓库
之间的区别与联系
从其全称中的“DataWareHouse”,我们可以看出clickhouse的定位是
数据仓库
。那么“
数据仓库
”和“数据库”有什么区别呢?理解这
字母哥博客
·
2022-06-06 06:00
MySQL(狂神说笔记)
数据库(DB,DataBase)概念:
数据仓库
,软件安装在操作系统上(windows,Linux,mac…)可以存放大量的数据。作用:存放数据,管理数据。1.3数据库分类关系型数据库MySQL,
崇尚学技术的科班人
·
2022-06-05 22:47
数据库
数据库
MySQl基础狂神笔记(全)
和给前端传递数据))数据库(存数据)1.为什么学习数据库岗位需求现在的世界,大数据时代,得数据者得天下被迫需求:存数据数据库是所有软件体系中最核心的存在2.什么是数据库数据库(DB,database)概念:
数据仓库
程序猿tu
·
2022-06-05 22:11
数据库
mysql
数据库
database
好程序员大数据学习路线Hbase总结
好程序员大数据学习路线Hbase总结,为什么有hbase随着数据的逐渐增大,传统的关系型数据库无法满足对数据的查询和存储,而hive不是数据库,只是
数据仓库
,虽然能够满足简单的存储要求,但是始终无法满足对非结构化和半结构化的数据的存储和查询
boxinyu9278
·
2022-06-05 15:46
大数据
数据库
java
【系统集成项目管理】之信息系统集成(二)
文章目录系列文章前言信息系统集成(二)四、面向对象系统分析与设计1.面向对象的基本概念2.统一建模语言与可视化建模五、软件架构1.定义:2.模式3.分析与评估4.软件中间件六、典型应用集成技术1.数据库与
数据仓库
技术
陌小柠
·
2022-06-04 04:48
软考之系统集成项目管理
中间件
java
集成学习
SQL Server 2017 各版本之间的差异
行业领先的性能充分利用任务关键型智能应用程序和
数据仓库
出类拔萃的可扩展性、性能和可用性。漏洞最少的数据库利用NIST漏洞
蓝涩街灯
·
2022-06-02 16:00
上一页
71
72
73
74
75
76
77
78
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他