--------【数据仓库】

从0开始学大数据-数据仓库建模

为什么要数据仓库建模数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。
可樂呀·2023-02-04 17:19

数仓第二篇： 数据模型（维度建模）

目录本文导航前言：01.基本概念1.1事实表1.2维度表1.3粒度1.4维度建模流程02.建模方法--经典数据仓库模型2.1维度模型2.2范式模型2.3DataVault模型2.4Anchor模型03.
浊酒南街·2023-02-04 14:20

数仓知识05：事实表和维度表的概念

事实表数据仓库架构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务（如银行事务或产品销售）内特定事件的数据。维度表数据仓库中的表，其条目描述事实数据表中的数据。
维克先生·2023-02-04 14:19

维度表创建规范_数据仓库维度建模-维度表设计

1维度表的定义在维度建模中，通常将指标的度量称之为“事实”，将产生度量的环境称之为“维度”。将描述同一个业务实体的的多个维度列组合在一起，就是常说的“维度表”。维度表是用户分析数据的窗口，其提供了事件发生过程中的环境描述信息，能够做数据查询的过滤条件和数据分析的分组。维度设计既是维度建模的基础，也是其关键所在，可以说，维度表设计的质量，将决定了整个维度模型分析能力的上限。2维度表的构成维度表通常表
weixin_39825854·2023-02-04 14:49

数据仓库系列4-维度表

1.9维度表中的空值属性1.10日历日期维度1.11扮演角色的维度1.12杂项维度1.13雪花维度1.14支架维度二.使用一致性维度集成2.1一致性维度2.2缩减维度2.3跨表钻取2.4价值链2.5企业数据仓库总线架构
只是甲·2023-02-04 14:17

数据仓库建模（四）：维度表的设计

数据仓库建模（四）：维度表的设计一、维度表的整体结构1.1维度表的结构设计1.2维度代理键1.3自然键、超久键和超自然键1.4下钻与上卷1.5维度退化1.6非规范化的扁平维度1.7多层次维度1.8维度属性的标识与状态信息
半吊子Kyle·2023-02-04 14:39

数据建模目的

有结构的分类组织和存储数据模型和表的区别：数据模型是从业务、数据存储和使用角度合理存储数据表就是从数据存储和使用角度方面来看的模型在性能、成本、效率、质量之间达到最好的平衡（成本和效率比较重要）关系型数据库和数据仓库
V_6619·2023-02-04 13:58

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
微服务商城技术分享·2023-02-04 12:14

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
微服务商城技术分享·2023-02-04 12:13

在k8s集群中部署nexus3容器仓库

首先和大家一样，来说说现在比较主流的一些数据仓库Docker官方的Registry原生仓库SuSE团队推出的出的Portus：https://github.com/SUSE/PortusVMWare中国团队推出的企业级仓库
小岳岳不怕·2023-02-04 01:07

数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

转载自：https://mp.weixin.qq.com/s/vHaiO_ceTxSPdJNlM9ZMJA#at索性我们就来个专题，聊透数据库、数据仓库、数据湖以及风头正劲的“Lakehouse”——湖仓一体化
Jimmy2019·2023-02-03 21:00

数据汇集-数据汇集范围

整体思路数据仓库建设的第一步即数据汇集。在数据汇集时总要先明确数据要同步的范围。一般情况下，只有有意义的数据才会进行汇集。
板蓝根泡泡面·2023-02-03 18:22

PieCloudDB Database 云上商业智能的最佳实践

商业智能是一种解决方案，其关键是处理企业来自多个来源的各种数据，提取有用的数据并清理，然后经过抽取（Extraction）、转换（Transformation）和加载（Load），即ETL过程，合并到一个企业级的数据仓库里
·2023-02-03 17:30

数据仓库基础与Apache Hive入门

文章目录数据仓库基本概念案例:中国人寿保险公司（chinalife）发展数据仓库的主要特征面向主题Subject-Oriented集成性Integrated非易失性Non-Volatile时变性Time-VariantApacheHive
芒着可爱·2023-02-03 14:48

你知道数据中台，但你不知道它和ERP、数据仓库背后的关系

中台概念着实火了一把，继去年购买了“数据中台”的百度搜索指数后，昨天我又购买了“业务中台”的百度指数，可能是由于刚刚购买，全量数据还没有统计汇总出来，所以当我们在百度指数中，搜索业务中台的时候，目前只有4月6日的数据。即便如此，我们依旧能从这张图能清晰地看出，中台、数据中台的热度在2019年5月份开始崛起，在年底达到顶峰，已经持续超越了数字化转型的关注度。在本篇文章，我不去重复中台的各种概念和定义
Leo.yuan·2023-02-03 14:08

hive随机采样

作为数据仓库的必备品hive，我们如何对其进行采样呢？假设有一张包含100亿行的Hive表，希望有效地随机抽样一个固定行数的数据-比如10000。
不可能打工·2023-02-03 09:48

数仓工程师的技术路线篇

更多精彩好文，尽在微信公众号《大数据阶梯之路》一、数据仓库工程师是什么首先，我要声明一点，数仓工程师不能有一个惯性思维，那便是把自己当成一个SQL工程师，即网络上调侃的：数仓工程师=SQLboy，我认为这是错误的定义
大数据阶梯之路·2023-02-03 07:02

那数据仓库又算什么？

先说说我的想法，其实还是用户需求驱动数据服务，大家开始关注DataLake的根本原因是用户需求发生了质变，过去的数据仓库模式以及相关组件没有办法满足日益进步的用户需求。
大数据技术派·2023-02-03 07:55

Hive1

##数据库与数据仓库数据库：mysql,roacle,sqlserve,DB，MDB,...数据仓库：Hive,是MR的客户端，也就是说不必要每台机器都安装部署Hive-Hive的特性1）操作接口是采用
ZhangShiWen·2023-02-03 05:00

[数据分析]专业名词释义汇总（持续更新）

维表与与事实表的概念更多使用在数据仓库中，两者相互对应。一个经典的例子在销售领域，如下：销售统计表：就是一个事实表，里面统计数据的来源离不开“商品价格表”。商品价格表：是销售统计的一个维度表。
一只疯兔的迭代记录·2023-02-02 23:27

数据科学之路（8）不得不说的Tez

我们在《数据科学之路（5）数据仓库工具》中提到了Hive既可以运行在MapReduce上，也可以运行在Tez和Spark上，那么Tez到底是什么呢？
LiuShaodong·2023-02-02 14:39

hadoop介绍

HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架）Flink（分布式计算框架）Zookeeper（分布式协作服务）Sqoop（数据同步工具）Hive/Impala（基于Hadoop的数据仓库
昊昊该干饭了·2023-02-02 14:58

大数据入门知识总结

大数据入门知识总结一、大数据部门及流程二、数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介
长不大的大灰狼·2023-02-02 14:25

数据架构设计

一点点摆烂记录数据架构设计数据架构设计概述数据总体架构贴源层基础层通用层应用层数据流转关系各层之间数据流转应用服务和数据之间关系数据库数据库程序命名规范注释规范书写规范模型设计规范模型建设思路建模步骤建模原则贴源层基础层通用层应用层贴源层设计基础层设计通用层设计数据架构设计数据架构设计概述数据仓库数据架构设计是为应用架构设计提供数据框架支撑
happyhwq·2023-02-02 14:21

数据仓库理论

数据仓库理论一、数据仓库简介1.1、数据仓库数据仓库为一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。
似水之星·2023-02-02 12:17

未来的ETL是什么样子？（一）

一、背景ETL：抽取-转换-加载（extract-transform-load）是构建数据仓库的重要一环，用户从数据源抽取出所需要的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中
第十人_孔·2023-02-02 12:42

大数据--数据仓库3--数据质量/元数据/数据治理

目录一：数据一致性如何保证1.1数据不一致性的体现1.2数据一致性的目标1.3数据一致性思考方向1.4数据一致性具体如何保证1.4.1统一命名规范1.4.2研发流程规范1.4.3研发工具保障1.4.4指标结果监控二：数据质量管理2.1数据质量管理的定义2.2数据质量实施流程2.3数据质量管理总结三：元数据管理3.1元数据的定义3.2元数据分类3.3元数据价值3.4元数据应用四：数据治理一：数据一致
斑马！·2023-02-02 09:03

数据仓库建设 —— 数据质量管理

数字化时代，数据成为了人类社会中必不可少的元素，也变成了现代企业经营管理中的关键。借助海量的数据，企业进行了深层次的数字化改革，把数据当成了企业发展的核心，但无效的数据即使规模再大，也对企业没有意义，所以数据质量也就愈发重要。数据质量概述1.数据质量管理的定义数据管理系统-派可数据BI可视化分析平台数据质量管理是一种为了满足企业对于数据的需求，对各种业务活动产生的数据进行规范存储，然后通过ETL方
派可数据BI可视化·2023-02-02 09:02

数据仓库 --- 数据管理能力成熟度评估模型

E.数据仓库—数据管理能力成熟度评估模型数据战略数据战略规划数据战略实施数据战略评估数据治理数据治理组织数据制度建设数据治理沟通数据架构数据模型数据分布数据集成和共享元数据管理数据应用数据分析数据开放分享数据服务数据安全数据安全策略数据安全管理数据安全审计数据质量数据质量需求数据质量检查数据质量分析数据质量提升数据标准业务术语参考数据和主数据数据元指标数据数据生存周期数据需求数据设计和开发数据运维
micklongen·2023-02-02 09:55

数据仓库-元数据管理

一、什么是元数据元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata），一组用于描述数据的数据组，该数据组的一切信息都描述了该数据的某方面特征，则该数据组即可被称为元数据。业务含义、统计口径、数据来源、计算逻辑等就是元数据。现在数据对于公司的决策十分的重要，随着业务的发展，业务线会慢慢庞大起来，随着开发人员的变更以及增多，没有元数据治理，很难保证数据质量
大数据点滴·2023-02-02 09:24

数据仓库-数据仓库主要特征

目录2.数据仓库的主要特征2.1面向主题2.2集成性2.3非易失性（不可更新性）2.4时变性2.数据仓库的主要特征数据仓库是面向主题的（Subject-Oriented）、集成的（Integrated）
anniewhite·2023-02-02 09:20

数据仓库-数据质量管理

一、数据质量管理定义数据质量管理（DataQualityManagement），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理不是一时的数据治理手段，而是循环的管理过程。其终极目标是通过可靠的数据，提升数据在使用中的价值，并最终为企
大数据点滴·2023-02-02 09:17

数据分析：大数据分析师必备技能【统计分析、可视化辅助工具、大数据处理框架、数据库、数据仓库、数据挖掘工具、机器学习、挖掘算法、编程语言】

9种技能：统计分析：大数定律、抽样推测规律、秩和检验、回归、预测；可视化辅助工具：excel、BI工具、python大数据处理框架：Hadoop、storm、spark数据库：SQL、MySql、DB数据仓库
u013250861·2023-02-02 09:14

软考高项：信息系统与信息化模拟试题

1.商业智能系统应具有的主要功能不包括______A.数据仓库B.数据ETLC.分析功能D.联机实务处理OLTP2.商业智能将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策,包括理、建立数据模型
香水有毒吖·2023-02-02 09:38

离线和实时

离线和实时一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
jerry-89·2023-02-02 08:59

数据中台、数据仓库、数据平台的关系你明白了吗？

进入大数据时代，很多企业都开始或多或少的利用大数据所产生的价值。对于企业来说，大数据能够起到的角色和分量因企业本身而异。但是有一点可以肯定的是，大多数企业尤其是依靠数据或互联网兴起的产业一定是需要赶上大数据这一趟高铁，否则就可能被时代抛弃或错失商机。自阿里提出“大中台，小前台”的口号以来，数据中台成为企业解决数字化手段之一。数据中台是什么数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加
9c436208eb55·2023-02-02 08:57

如何轻松做数据治理？开源技术栈告诉你答案

元数据治理系统是所有数据仓库、数据库、表、仪表板、ETL作业等的目录接口（catalog），有了
·2023-02-01 16:36

Python3数据分析与挖掘建模实战 笔记

第2章数据获取数据获取手段：数据仓库监测与抓取填写、埋点、日志计算数据仓库将所有业务数据经汇总处理，构成数据仓库（DW）全部事实的记录部分维度与数据的整理（数据集市-DM）数据库VS仓库数据库面向业务存储
柠檬红茶cc·2023-02-01 14:04

信息系统基础

信息系统工程总体规划方法论2.信息系统的生命周期和各阶段的目标三.政府信息化与电子政务1.电子政务的组成2.电子政务的内容3.企业源计划（ERP）4.客户关系管理(CRM)5.供应链管理（SCM）6.数据仓库
superSmart_Dong·2023-02-01 09:52

IT技术包括什么

应用、评估信息的各种软件，它包括我们通常所指的ERP(企业资源计划)、CRM(客户关系管理)、SCM(供应链管理)等商用管理软件，也包括用来加强流程管理的WF(工作流)管理软件、辅助分析的DW/DM(数据仓库和数据
sas???·2023-02-01 01:37

数仓模型设计详细讲解

一、维度建模基本概念维度模型是数据仓库领域大师RalphKimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。
大数据老哥·2023-02-01 01:05

商务智能-第六章 数据挖掘

Lecture6-DataMining1.数据挖掘在数据库及数据仓库中存贮有大量的数据，它们具有规范的结构形式与可靠的来源，且数量大、保存期间长，是一种极为宝贵的数据资源。
SpriCoder·2023-01-31 09:44

技术架构

UI、摄像头视觉识别人机界面、语音交互人机界面2.逻辑层：面向对象技术/组件技术/SOA服务中间件/微服务中间件技术、人工智能NLP/机器学习3.数据层：SQL数据库/NOSQL数据库、大数据计算平台/数据仓库数据湖
spring_m·2023-01-31 08:32

数据仓库规范

模型设计模型设计概述为什么需要模型设计？Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话:“烂程序员关心的是代码，好程序员关心的是数据结构和它们之间的关系”，其阐述了数据模型的重要性。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处。性能:良好的数据模型能帮助我们快速查询所需要的数据，减少数据的吞吐。成本:良好的数据模型能极大地减少不必要的数据冗余，也能实现计
Aidon-东哥博客·2023-01-31 08:21

数据仓库

数据仓库数仓分层目的通过分层，可以让复杂混乱的数据体系内部的依赖结构变得层次分明，具体好处如下：(1)清晰的数据结构，每个数据层都有自己的作用域和职责(2)减少重复开发，开发一些通用的中间层数据，能够减少重复计算
md_2014·2023-01-31 07:05

Presto初体验

0-前言Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。
mysia·2023-01-31 03:18

PostgreSQL 数据库的可用集群技术

详情：https://wiki.postgresql.org/wiki/Bucardo2、GridSQL一个开源的，我共享的集群数据库系统，可用于PostgreSQL数据仓库，具有智能的，平行的做到多个数据库之间的访问
飞稀饭你的微笑·2023-01-30 23:59

大数据课程综合实验案例：网站用户行为分析

大数据课程综合实验案例1案例简介1.1案例目的1.2适用对象1.3时间安排1.4预备知识1.5硬件要求1.6软件工具1.7数据集1.8案例任务1.9实验步骤2本地数据上传到数据仓库Hive2.1实验数据集的下载
刷题致富·2023-01-30 22:17

Druid简介

ApacheDruid是开源的分布式存储，核心设计吸取了数据仓库、时序数据、搜索系统思想，在实时分析体系里面创造了广泛的用户实例。
似水之星·2023-01-30 19:03

Hadoop离线_网站流量日志数据分析系统_数据入库

数据入库ETL1.数据仓库设计2.本项目中数据仓库的设计3.创建ODS层数据表4.导入ODS层数据5.生成ODS层明细宽表1.数据仓库设计1.1维度建模概述维度建模(dimensionalmodeling
_WeiA·2023-01-30 15:22
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他