041-数据仓库

PostgreSQL 物化视图快速入门

主要用于需要快速访问数据的场景，如数据仓库和商务智能应
梦想画家·2023-09-17 00:50

浅谈数据仓库体系(2)

如上文所说，一个基本的数据仓库分为贴源层，历史层，数据模型层本文主要来讲一下贴源层(ODS），重点是如下三个方面1.贴源层的数据清洗2.贴源层的数据存储3.贴源层的数据校验一.数据清洗贴源层，一般来说抽取的是源系统的数据
半个程序员·2023-09-16 23:38

数据仓库模型设计V2.0

一、数仓建模的意义数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。高性能：良好的数据模型能够帮助我们快速查询所需要的数据。低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。高质量：良好的数
000X000·2023-09-16 21:46

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。
000X000·2023-09-16 21:54

Spark sql 数据迁移

一、迁移一张表查看表结构：desctabletb1;查看建表sql语句：showcreatetabletb1;1.同一个数据仓库中复制表和数据,使用CTAS语句;常用的三种方案：a.完全复制拷贝：createtabletb2assele
LuoZhao·2023-09-16 20:49

Hive

Hive产生背景MapReduce编程的不便性HDFS上的文件缺少SchemaHive是什么1）由Facebook开元，最初用于解决海量结构化的日志数据统计问题2）构建在Hadoop之上的数据仓库3）Hive
捕猎者·2023-09-16 16:51

Data Lakehouse的未来-开放

这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。
大数据杂货铺·2023-09-16 09:22

大数据之Hive

Hive入门Hive是FaceBook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL查询功能。
十七✧ᐦ̤·2023-09-16 08:18

数据仓库介绍及应用场景

数据仓库（DataWarehouse）是一个用于存储、管理、检索和分析大量结构化数据的集中式数据库系统。
今晚务必早点睡·2023-09-16 08:42

【数据网格架构】分布式数据网格作为集中式数据单体的解决方案

随着数据变得越来越普遍，传统的数据仓库和数据湖架构变得不堪重负，无法有效扩展。Dehghani认为，分布式数据网格方法可以通过采用面向领域的数据所有权来克服这些固有的低效率。“我建议下一个企业数据平台
架构师酒馆·2023-09-15 18:41

大数据开发：Hive DDL操作入门

Hive针对于数据管理操作，提供了类SQL语言HQL，在Hadoop生态当中，Hive定位为数据仓库工具，对于数据的各种操作，也就是使用HQL来完成。
成都加米谷大数据·2023-09-15 11:31

开箱即⽤！HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤
HashData酷克数据·2023-09-15 08:47

数据治理-数据管理角色

无论是直接角色（如设计数据仓库的数据架构师），还是间接角色（如开发网站的Web开发人员），所有IT角色都可以映射到数据生命周期的某个点，因此他们都会影响数据管理。
世润·2023-09-15 07:02

数据仓库主题一（宽表模型设计）

一、典型的数据仓库建模思想一般主流分为两种第一种ER模型是数据仓库之父父Billlnmon提出的建模方法是从全企业的高度设计3NF模型，用实体关系（EntityRelationship,ER）模型描述企业业务
lianchaozhao·2023-09-15 07:04

GaussDB（DWS）云原生数仓技术解析：湖仓一体，体验与大数据互联互通

文章目录前言一、关于数据仓库需求场景分类二、数据仓库线下部署场景2.1、线下部署场景介绍及优劣势说明2.2、线下部署场景对应的客户需求三、数据仓库公有云部署场景3.1、公有云部署场景介绍及优劣势说明3.2
白鹿第一帅·2023-09-15 07:56

BI与数据治理以及数据仓库有什么区别

你可能已经听说过BI、数据治理和数据仓库这些术语，它们在现代企业中起着重要的作用。虽然它们都与数据相关，但它们之间有着明显的区别和各自独特的功能。
qingyunliushuiyu·2023-09-15 06:42

T-ETL和ELT区别

ETLETL，即抽取、转换、加载，是从不同的数据源抽取信息，将其转换为根据业务定义的格式，然后将其加载到其他数据库或数据仓库中。
ELI_He999·2023-09-15 06:38

火山引擎 ByteHouse：两个关键技术，揭秘 OLAP 引擎中的数据导入技术

作为一款OLAP引擎，火山引擎云原生数据仓库ByteHouse源于开源ClickHouse，在字节跳动多年打磨下，提供更丰富的能力和更强性能，能为用户带来极速分析体验，支撑实时数据分析和海量离线数据分析
字节数据平台·2023-09-14 19:28

大数据-Hive

Hive简介Hive是基于Hadoop的一个【数据仓库工具】，可以将结构化和半结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。
HikZ.919·2023-09-14 06:35

【数据仓库设计基础1】关系数据模型理论与数据仓库Inmon方法论

关系数据模型中的结构1．关系2．属性3．属性域4．元组5.关系数据库6．关系表的属性7．关系数据模型中的键二.关系完整性1．空值（NULL）2．关系完整性规则3．业务规则4．关系数据库语言三.规范化四.关系数据模型与数据仓库关系模型被广泛应用于数据处理和数据存储
roman_日积跬步-终至千里·2023-09-14 05:26

Hive数据仓库实战

Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。
充电了么·2023-09-14 02:28

尚硅谷大数据项目《在线教育之实时数仓》笔记001

P002P003P004第2章数据仓库建模概述第3章维度建模理论之事实表第4章维度建模理论之维度表数据仓库系列：星型模型和雪花型模型-知乎P005第5章数据
upward337·2023-09-13 13:00

数仓相关知识集合

数仓建模说到数仓建模，就得提下经典的2套理论：范式建模Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。维度建模Kimball提出的总线式的自下而上（DM-DW）的数据仓库架构。
zjy997·2023-09-13 11:37

【大数据】美团 DB 数据同步到数据仓库的架构与实践

美团DB数据同步到数据仓库的架构与实践1.背景2.整体架构3.Binlog实时采集4.离线还原MySQL数据5.Kafka2Hive6.对Camus的二次开发7.Checkdone的检测逻辑8.Merge9
G皮T·2023-09-13 06:51

Hive调优（SQL）

文章目录SQL优化SQL优化Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率；影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对
飞越石之海·2023-09-13 04:39

浅谈数据仓库体系（3）-历史层

如上文所说，一个基本的数据仓库分为贴源层，历史层，数据模型层本文主要来讲一下历史层(his），重点是如下三个方面1.历史层的数据清洗2.历史层的数据存储3.历史层的数据校验历史层，顾名思义，就是保存所有的历史数据
半个程序员·2023-09-13 03:11

企业如何转动自己的命运齿轮，实现数字化转型

数据仓库-派可数据BI可视化分析平台同时，企业需要部署业务信息系统来实现业务
派可数据BI可视化·2023-09-12 20:02

火山引擎 ByteHouse：两个关键技术，揭秘 OLAP 引擎中的数据导入技术

作为一款OLAP引擎，火山引擎云原生数据仓库ByteHouse源于开源ClickHouse，在字节跳动多年打磨下，提供更丰富的能力和更强性能，能为用户带来极速分析体验，支撑实时数据分析和海量离线数据分析
·2023-09-12 14:14

实时分析、融合统一及云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

在国内拥有2500+中大型企业用户，用户社群聚集开发者超3万人，活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑，ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？在QCon全球软件开发大会·北京站的现场，基于ApacheDoris的商业化公司飞轮科技的CEO、A
·2023-09-12 12:36

【数仓建设系列之三】数仓建模方式及如何评估数仓完善性

一、数仓维度建模数仓维度建模是一种强大的方法，用于将复杂的业务现实映射到易于理解的数据结构中，它是构建数据仓库的核心技术之一，能够帮助企业将分散和不一致的数据整合到一个一致性高、可查询
码猿小站·2023-09-12 07:05

使用MERGE语句，这里简单总结一下 （一个语句解决update 和 insert 功能）

在数据仓库中的转换和装载过程中，经常会使用MERGE语句，这里简单总结一下。MERGE语句是Oracle9i新增的语法，用来合并UPDATE和INSERT语句。
djs00717·2023-09-12 00:32

Impala相较于hive的优劣

hive是基于Java编写的开源数据仓库和分析包，目的是将特定的SQL语句编译为MapReducejar包扔给hadoop去执行，本质上是一个代码转换编译的工具，适用于逻辑复杂的查询，简单查询考虑impala
一只当归·2023-09-11 12:27

数据仓库--代理键

[转]数据仓库设计——代理键转载2015-12-0612:12:22标签：it数据仓库代理键在关系型数据库设计中，代理键是在当资料表中的候选键都不适合当主键时，例如资料太长，或是意义层面太多，就会用一个
yimubanggong·2023-09-11 06:10

数据仓库-主数据管理

本文来源于网络，如有侵权，联系本人删除：tianyachangkong来源：BAT大数据架构导读：企业主数据指企业内一致并共享的业务主体。主数据管理，不仅包括硬件和软件，还是将数据作为重要资产管理的思想和办法，是指一整套的用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性。一、企业数据类型企业数据类型主要包括交易数据、主数据和元数据，如下图所示：元数据是企业数据资产管
zhubeili·2023-09-11 06:39

数据仓库（DATA Warehouse）核心概念

数据仓库的个性概念理解自从1991年数据仓库之父BillInmon提出了数据仓库概念以来，数据仓库已从早期的探索走向实用阶段，进入了一个快速发展阶段。
mishidemudong·2023-09-11 06:39

【无标题】数据仓库-学习

1、数据仓库基础知识1.1什么是数仓数仓的概念：数据仓库简称数仓，在《建立数据仓库》中是这样定义数据仓库的：数据仓库是面向主题的，数据集成的，相对稳定的（非易失的），反映历史变化（时变）的数据集合，用于支持管理决策
白＆夜·2023-09-11 06:09

数据仓库中的一些核心概念

1、什么是数据仓库数据仓库技术是随着人们对大型数据库系统研究的不断深入,在传统数据库技术基础之上发展而来的,其主要目的就是为决策提供支持,为OLAP、数据挖掘深层次的分析提供平台。
IMezZ·2023-09-11 06:38

数据仓库 --- 概述

A.数据仓库—概述概述信息操作型系统：以事务为主。以可预测的方式完成同样的操作型任务。分析型系统：以评估效果为主。
micklongen·2023-09-11 06:08

数据仓库分层概念

一、分层一般来讲，主要分为五层，数据模型分为三层数据加载层：ETL（Extract-Transform-Load）数据运营层：ODS（OperationalDataStore）数据仓库层：DW（DataWarehouse
王秋实Q·2023-09-11 06:37

数据仓库建设一（核心概念）

核心概念与步骤维度模型：1.雪花模型：事实表-join-维度1-join-维度2-join-..一个实事表关联多级维度表2.星型模型：事实表-join-维度表一个实事表关联维度表，维度表没有级联关联3.星座模型：事实表-join-维度表-join事实表一个维度表被多个事实表关联数据分层（公司的业务需求，一般）：ods：用于保存同步的业务库与应用日志数据，一般采用snappy或者gz压缩，格式采用o
另一个世界Azure·2023-09-11 06:07

数据仓库--DWM层

DWM（DataWareHouseMiddle）数据中间层，该层会在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。一般而言，针对dwm层的设计开发是建立在，积累一定数量DM和APP相关需求后，将设计到重复的指标和维度下沉到DWM的表中，因此在数仓建立初期，可能会有直接跳过DWM来开发的情况，但是随着相似的需求不断的增加，DWM的开发势在必行，
江淮杰·2023-09-11 06:07

数据仓库-核心概念

数据仓库数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
驾数者·2023-09-11 06:34

ClickHouse场景及其原理

这里直接从原始数据开始消费，通过Flink清洗任务将数据洗入数据仓库存储，在数据仓库经过作业清洗并在ClickHouse生成用户行为明细，可以称作无模型化明细数据。利用Click
有时需要偏执狂·2023-09-11 04:16

chatgpt赋能python：Python连接Hive：深度剖析

因此，数据仓库系统（如Hive）的需求也越来越迫切。对于数据分析工程师和开发人员而言，Hive提供了一种基于Hadoop的SQL查询引擎，使他们能够进行大规模数据集的分析和处理。
www_xuhss_com·2023-09-11 01:09

使用Python读写Hive：简化大数据处理的利器

Hive作为一种强大的数据仓库解决方案，能够处理大规模数据，并提供灵活的查询能力。而Python作为一种流行的编程语言，拥有丰富的数据处理库和易用性，成为许多数据科学家和工程师的首选。
CDA·数据分析师·2023-09-11 01:09

天津专业大数据培训班 教你分析大数据行业前景

大数据分析是IT行业挺火的词汇，围绕大数据分析产生的数据仓库、数据安全、数据挖掘等商业价值也渐渐地被挖掘了出来，大数据时代渐渐来临......大数据是什么随着科技的发展，尤其是互联网的深入，新兴了大数据这个行业
qq_38453958·2023-09-10 21:27

Mysql(一) 数据库实现-DDL-DML-DQL及各种函数用法

1、初识数据库1.1、什么是数据库数据库：DB（DataBase）概念：数据仓库，软件，安装在操作系统之上作用：存储数据，管理数据1.2、数据库分类1.2.1、关系型数据库：SQL（StructuredQueryLanguage
lingering fear·2023-09-10 19:35

《阿里大数据之路》读书笔记：第三章 数据同步

应用场景：同类型不同集群数据库之间的数据同步主数据库与备份数据库之间的数据备份主系统与子系统之间的数据更新不同地域、不同数据库类型之间的数据传输交换大数据系统中的数据同步数据从业务系统同步进入数据仓库数据从数据仓库同步进入数据服务或数据应用一
蓦然_·2023-09-10 17:14

PostgreSQL实战-010-性能优化

PostgreSQL数据库的SQL服务器应用通常分为OLTP数据仓库数据库性能分析【硬件】：最先到达瓶颈的，通常是磁盘IO1.建议使用固定存储SSD如目前使用广泛的SATASSD
longailk·2023-09-10 16:07

L2 数据仓库和Hive环境配置

1.数据仓库架构数据仓库DW主要是一个用于存储，分析，报告的数据系统。数据仓库的目的是面向分析的集成化数据环境，分析结果为企业提供决策支持。
lee2813·2023-09-10 16:24
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他