--------【数据仓库】第65页

一文详解，数据仓库、数据库、数据中台、数据湖的区别

数据时代，各行业的企业都已经开始通过数据库来沉淀数据，但是真的论起数据库、数据仓库、数据中台，还是新出现的数据湖，它们的概念和区别，可能知道的人就比较少了，今天我们详细来比较了解一下。

派可数据BI可视化·2022-11-30 19:52

CDMP选修课都有什么？

选修课程一共是七门，分别课为：主数据与参考数据、数据仓库和商业智能

中培IT学院·2022-11-30 18:30

干货 | 携程度假数据治理之数据标准管理实践

作者简介LeonGu，携程数据仓库专家，专注于大数据、数据仓库、数据治理等领域。

携程技术·2022-11-30 18:16

企业数仓DQC数据质量管理实践篇

大数据平台、数据仓库的搭建之初，优先满足业务的使用需求，数据质量往往是被忽视的一环。但随着业务的逐渐稳定，数据质量越来越被人们所重视。

涤生大数据·2022-11-30 18:09

【数据挖掘】第1章绪论

(商业)大量数据被收集,存储在数据库数据仓库中；计算机越来越便宜，功能越来越强大；竞争压力越来越大(科学)数据以极快的速度收集和存储(GB/hour)；传统的技术难以处理这些原始数据；数据挖掘可能帮助科学家基础知识

Little-BingoQ·2022-11-30 17:56

云计算与数字化转型的关系，终于有人讲明白了

那个时候，大家陆续研究出了数据库、数据仓库、数据集市、BI分析等技术，语音识别、人工智能等技术也很早就出现了，但是为什么在那时数字化转型没有真正爆发呢

大数据v·2022-11-30 11:21

数据仓库建设规范

版本编号V1.0发布日期2017-07-19作者发布范围产研大数据团队目录1数据架构概述21.1原始数据层（ODS）31.2数据仓库层（DW）31.3数据集市层（DM）42数据库命名规范43表命名规范53.1

zgm_226610·2022-11-30 10:06

数据仓库(7)数仓规范设计

规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。规范定义指以维度建模作为理论基础构建总线矩阵，划分和定义数据域、业务过程、维度、度量原子指标、修饰类型、修饰词、时间周期、派生指标。所谓的规范的定义，简单理解，如果把数据当作货物，那就是货物的分类，以及对应相关的属性，比如生产日期，某个原料的含量等，我们可以把相近或者相同货物，按照一定的规律，放在一起，

张飞的猪大数据·2022-11-30 10:29

数据仓库设计规范文档

#数据仓库设计规范文档版本更新内容备注v1.0创建文档2020-08-11v1.1新增词根相关2020-08-31一.数仓建设1.1.数据模型架构规范分层是为了解决ETL任务及工作流的组织、数据的流向、

qq_38369653·2022-11-30 10:27

数据仓库规范

流程规范1.需求提交流程2.模型设计流程3.ETL开发流程4.前端开发规范5.上线流程（三）质量管控规范1.源端管控2.数仓管理3.应用管控（四）安全规范1.网络安全2.账号安全3.数据安全总结前言介绍数据仓库开发全流程

张六十zhangliushi·2022-11-30 10:49

hive 分区表select全部数据_hive 查询表数据量大小

为什么要查询表数据量在做数据仓库管理时，数据导入hive或向表生成数据后形成的数据资产，表里的数据量和占用存储空间是总要的元数据属性。为方便数据使用时对数据有基本的了解，需要对表的数据量做统计。

栗子小姐Chestnut·2022-11-30 09:45

EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践

刘腾飞汇量后端开发工程师阿里云开源OLAP研发团队EMR-StarRocks介绍阿里云EMR在年初推出了StarRocks服务，StarRocks是新一代极速全场景MPP（MassivelyParallelProcessing）数据仓库

·2022-11-30 06:16

【JVS低代码开发平台】支持纯手工配置的数据加工、处理、展现的数据仓库

数据智仓是JVS整体企业数字化解决方案的核心能力，与JVS的低代码开发套件平级，如下图所示：数据仓库的目的是构建面向分析的集成化数据环境，为企业提供基于数据的决策支持（DecisionSupport）。

·2022-11-30 06:20

《大数据之路：阿里巴巴大数据实践》笔记——数据模型篇

数据仓库建模方法论ER模型：用实体关系（EntityRe

Godxv·2022-11-29 19:16

学习笔记-大数据之路-数据模型篇-数据整合及管理体系-模型设计

模型层次三层结构操作数据层（ODS）公共维度模型层（CDM）应用数据层（ADS）其中CDM包括明细数据层（DWD）和汇总数据层（DWS）各层详细说明ODS层：业务数据和日志数据等需要存储分析的数据无处理地存放在数据仓库系统中

dyson不只是吹风机·2022-11-29 19:16

大数据之路：阿里巴巴大数据实践（数据模型篇）

第8章大数据领域建模综述一、典型的数据仓库建模方法论1、ER模型特点：需要全面了解企业业务和数据、实施周期非常长、对建模人员的能力要求非常高。

风满楼i·2022-11-29 19:14

数据仓库进阶《阿里大数据之路》第二篇数据模型篇 (完整版)

第8章大数据领域建模综述此文章为学习笔记，有兴趣的小伙伴可以根据以下指引获取更多，学习内容链接如下：视频：【一起啃书】阿里大数据之路数据仓库建模基础理论研读(已完结)_哔哩哔哩_bilibili书籍：《

:Concerto·2022-11-29 19:14

维度建模：星型和雪花型

数据仓库：星型模型和雪花型模型数据仓库建模包含了几种数据建模技术，最常用的是：维度建模技术维度建模的基本概念:维度建模(dimensionalmodeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法

环球小猪·2022-11-29 19:42

数据模型篇：一、大数据领域建模概述

大数据领域建模概述文章目录大数据领域建模概述一、为什么需要数据建模二、关系数据库系统和数据仓库（OLTP和OLAP）定义场景和应用的区别集中度不同三、维度模型建模方法论四、阿里巴巴数据模型实践综述一、为什么需要数据建模目标

环球小猪·2022-11-29 19:11

《大数据之路：阿里巴巴大数据实践》第二篇数据模型篇-读书笔记

目录8.大数据领域建模综述8.1为什么需要数据建模8.2关系数据库系统和数据仓库8.3从OLTP和OLAP系统的区别看模型方法论的选择8.4典型的数据仓库建模方法论8.4.1ER模型8.4.2维度模型8.4.3DataVault

程序员学习圈·2022-11-29 19:39

数据仓库工具 hive的入门（二）HQL操作之 -- DDL命令

**Hive命令实战操作之–DDL命令提示：本文章内容取自来源：拉勾教育大数据高薪训练营文章目录前言HQL操作之--DDL命令1.1、数据库操作1.1.1、创建数据库语法1.1.3、查看数据库1.1.4、使用数据库1.2、建表语法1.2.1、内部表&外部表1.2.1.1、内部表1.2.1.2、外部表小结1.2.2、分区表1.2.2.1、查看数据库1.2.3、分桶表1.3、修改表&删除表总结前言提示

知三分·2022-11-29 16:58

HDFS案例——开发shell采集脚本

需求说明点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（HadoopHDFS）上需求分析一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力

飞翔的光盘·2022-11-29 16:28

hive不在同一台机 hue_【Impala篇】---Hue从初始到安装应用

基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群，可以考虑下Impala。

weixin_39557087·2022-11-29 16:26

Hadoop_13_Hadoop Shell脚本采集日志上传到HDFS

案例1：开发shell采集脚本1.点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（HadoopHDFS）上2.一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输

weixin_34109408·2022-11-29 16:25

大数据-玩转数据-Hive应用小结

一、HIVE是什么HIVE是基于Hadoop的一个数据仓库工具，它是一个可以将Sql翻译为MR程序的工具；HIVE支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件

人猿宇宙·2022-11-29 16:21

hive数据仓库

数据仓库-Hive数据仓库1.1.基本概念英文名称为DataWarehouse，可简写为DW或DWH。

✎重逢之时·2022-11-29 16:19

数据仓库Hive表

数据仓库Hive表，并且导入数据，整理文档移除点击此处添加图片说明文字接下来跑服务器环境，环境和本地有所区别了。首先我们拿到几个目录，可以开干了。源数据目录，hdfs放置目录，集群地址即可。

大壮vip·2022-11-29 16:15

Hive架构及HQL操作之DDL、DQL、DML命令

Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表(类似于RDBMS中的表)，并提供类SQL查询功能；Hive是由Facebook开源，用于解决海量结构化日志的数据统计

JermeryBesian·2022-11-29 16:04

hive-学习汽车销售分析

–汽车销售日志分析–showdatabases;createdatabaseifnotexistssale_db;usesale_db;showtables;–创建数据仓库createexternaltablecar_table

灯下夜无眠·2022-11-29 16:04

hive-学习微博日志分析

–微博日志分析–showdatabases;useweibo_db;–创建数据仓库createdatabaseifnotexistsweibo_db;useweibo_db;createexternaltableifnotexistswb_table

灯下夜无眠·2022-11-29 16:33

hive-学习搜狗日志分析

–搜狗日志分析—–创建数据仓库createexternaltableifnotexistssg_table(tsstring,uidstring,keywordstring,ranksint,ordersint

灯下夜无眠·2022-11-29 16:28

多云加速云原生数仓生态，华为与 HashData 联合打造方案

这也直接驱动着云原生数据仓库等一批云原生应用的流行，以及存储等基础设施加速走向变革。

大数据在线·2022-11-28 23:39

盘点re:Invent历年重磅创新：今年亚马逊云科技又将有哪些重磅发布？

回顾历年re:Invent大会，从云上数据仓库、云原生数据库到处理器、机器学习，亚马逊云科技总能在re:Invent大会上带来一系列重磅发

大数据在线·2022-11-28 23:36

第八章综合案例

构建DVD租赁商店数据仓库1.加载日期数据至日期维度表1.打开kettle，创建转换2.配置生成记录控件3.配置增加序列控件4.配置JavaScript控件5.配置表输出控件6.运行load_dim_date

老熊饼干_17·2022-11-28 16:04

kettle案例-数据仓库

一.加载租赁数据至租赁事实表1.打开kettle工具，创建load_fact_rental转换2.配置“表输入”控件配置数据库连接并在SQL框中输入以下SQL语句SELECTCOALESCE(MAX(rental_last_update),"1970-01-0100:00:00")ASmax_fact_rental_last_updateFROMfact_rental3.配置“表输入2”控件配置数

旺仔ᥬQ᭄ᥬQ᭄糖·2022-11-28 13:00

sakila数仓实战案例

以MySQL提供的Sakila样本数据库来搭建数据仓库一、Sakila简介MySQLSakila样本数据库二、MySQL服务器安装Mysql(免安装版)安装、配置与卸载MySQL:由于找不到VCRUNTIME140

程序一笑·2022-11-28 13:22

案例8.3.10 加载数据库sakila中的数据至数据仓库sakila_dw

1.创建作业2.配置转换3.配置转换24.配置转换35.配置转换46.配置转换57.配置转换68.配置发送邮件9.配置发送邮件210.运行作业11.查看数据仓库sakila_dw中维度表的数据图一.dim_actor

炽热小西瓜·2022-11-28 13:21

8.3.10 加载数据库 sakila 中的数据至数据仓库 sakila_dw

1.创建转换2.配置“转换”控件3.配置“转换2”控件4.配置“转换3”控件5.配置“转换4”控件6.配置“转换5”控件7.配置“转换6”控件8.配置“发送邮件”控件9.配置“发送邮件2”控件10.运行结果

不会代码的小王同学·2022-11-28 13:20

数据仓库维度建模

（一）、事实表类型事实表根据粒度的角色划分不同，可分为事务事实表、周期快照事实表和累计快照事实表。1、事务事实表用于承载事务数据，通常粒度比较低，例如产品交易事务事实、ATM交易事务事实。2、周期快照事实表用于记录有规律的、固定时间间隔的业务累计数据，通常粒度比较大，例如账户月平均余额事实表。3、累计快照事实表用于记录具有时间跨度的业务处理过程的整个信息，通常这类事实表相对比较少见。（二）、星型模

使不得呀·2022-11-28 13:18

8.3 案例实现（加载数据库sakila中的数据至数据仓库sakila_dw）

操作介绍：通过Kettle工具将前面小节创建的转换整合成一个整体，用于定时操作DVD租赁商店的数据仓库。

硹ck·2022-11-28 13:46

数据治理：数据标准的6大建设步骤及实施分享

元数据管理中，需要从业务属性、技术属性、管理属性三个方面定义数据标准；数据质量管理中，需要定义数据模型、质量规则的标准；数据安全管理中，敏感信息的识别、数据的分类分级都是对数据进行标准化过程；数据仓库与

辰哥爱学习·2022-11-28 12:36

湖仓一体架构：数字化的终局之选！

大家好，我是梦想家Alex~之前我已经分享过不少有关数据湖，数据仓库，数据中台的文章，但今天想为大家介绍的是被誉为“数字化终局之选”的湖仓一体架构，希望对大家有所启发，欢迎转发收藏！

大数据梦想家·2022-11-28 11:18

现在的湖仓一体像是个伪命题

现在很热的湖仓一体（Lakehouse）也一样，如果能将数据湖和数据仓库融合在一起就可以同时发挥二者的价值。数据湖和数

橙子!·2022-11-28 11:42

数据仓库、大数据平台又是什么？三者架构关系分析

，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库

年少有为2025·2022-11-28 11:06

什么是数据中台？

1.0数据仓库诞生1996年，

数据分析v·2022-11-28 11:51

大数据_什么是数据中台？

目录一、数据中台的定义二、数据中台必备的是个核心能力三、数据中台VS业务中台四、数据中台VS数据仓库五、数据中台VS现有信息架构六、数据中台的业务价值与技术价值一、数据中台的定义数据中台是一套可持续“让企业的数据用起来

Happy编程·2022-11-28 10:16

数字化时代，企业为什么需要商业智能BI？

一、商业智能BI到底是什么商业智能BI（BusinessInteligence），是一种主要由数据仓库、数据分析、查询报表、数据可视化等组成的数据类技术解决方案。商业

派可数据BI可视化·2022-11-27 23:00

对于BI可视化分析平台，你了解多少？

可视化工具——自助分析平台，包括PC端BI设计器、移动端BI设计器、大屏可视化设计器、中国式报表设计器、填报设计器数据仓库工具——解决BI项目的实施交付和运行维护问题，控制项目风险分析应用包——基于数据仓库产品基础上不断推出的应用包产品

派可数据BI可视化·2022-11-27 23:29

企业管理中，商业智能BI主要做哪些事情？

技术角度的商业智能BI从技术的角度来讲，商业智能BI是一套完整的由数据仓库、查询报表、数据分析等组成的数据类技术解决方案。

派可数据BI可视化·2022-11-27 23:22

11.26学习笔记（hadoop）

TEZ：将MR作业进行分析优化，构建成一个有向无环图Spark和MR逻辑一样，但是Spark基于内存，MR基于磁盘，故Spark性能比MR高HIVE：实现数据仓库功能对历史数据进行分析，把SQL语句转化成

Rbdash·2022-11-27 22:21

推荐频道

--------【数据仓库】