数据湖数据仓库

数据湖是什么？数据湖的关键技术（二）

数据探索数据的异构性特征导致了从数据湖中获取数据价值存在难度。主要问题体现在多种数据模型的查询、模式不确定的关键字搜索、数据访问的有效性以及个性化数据的探索等方面。
白牛DATA·2023-09-15 18:47

数据湖是什么？数据湖架构及应用（完）

数据湖架构数据湖架构主要描述了各组件以及组件之间的关系，说明了数据的存储、处理和访问过程。
白牛DATA·2023-09-15 18:15

【数据网格架构】分布式数据网格作为集中式数据单体的解决方案

随着数据变得越来越普遍，传统的数据仓库和数据湖架构变得不堪重负，无法有效扩展。Dehghani认为，分布式数据网格方法可以通过采用面向领域的数据所有权来克服这些固有的低效率。“我建议下一个企业数据平台
架构师酒馆·2023-09-15 18:41

一文了解袋鼠云在实时数据湖上的探索与实践

近日，袋鼠云大数据引擎专家郝卫亮，为大家带来了《袋鼠云在实时数据湖上的探索与实践》主题分享，帮助大家能了解到什么是实时数据湖、如何进行数据湖选型及数据平台建设数据湖的经验。
袋鼠云数栈·2023-09-15 15:35

大数据开发：Hive DDL操作入门

Hive针对于数据管理操作，提供了类SQL语言HQL，在Hadoop生态当中，Hive定位为数据仓库工具，对于数据的各种操作，也就是使用HQL来完成。
成都加米谷大数据·2023-09-15 11:31

开箱即⽤！HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤
HashData酷克数据·2023-09-15 08:47

数据治理-数据管理角色

无论是直接角色（如设计数据仓库的数据架构师），还是间接角色（如开发网站的Web开发人员），所有IT角色都可以映射到数据生命周期的某个点，因此他们都会影响数据管理。
世润·2023-09-15 07:02

数据仓库主题一（宽表模型设计）

一、典型的数据仓库建模思想一般主流分为两种第一种ER模型是数据仓库之父父Billlnmon提出的建模方法是从全企业的高度设计3NF模型，用实体关系（EntityRelationship,ER）模型描述企业业务
lianchaozhao·2023-09-15 07:04

GaussDB（DWS）云原生数仓技术解析：湖仓一体，体验与大数据互联互通

文章目录前言一、关于数据仓库需求场景分类二、数据仓库线下部署场景2.1、线下部署场景介绍及优劣势说明2.2、线下部署场景对应的客户需求三、数据仓库公有云部署场景3.1、公有云部署场景介绍及优劣势说明3.2
白鹿第一帅·2023-09-15 07:56

BI与数据治理以及数据仓库有什么区别

你可能已经听说过BI、数据治理和数据仓库这些术语，它们在现代企业中起着重要的作用。虽然它们都与数据相关，但它们之间有着明显的区别和各自独特的功能。
qingyunliushuiyu·2023-09-15 06:42

T-ETL和ELT区别

ETLETL，即抽取、转换、加载，是从不同的数据源抽取信息，将其转换为根据业务定义的格式，然后将其加载到其他数据库或数据仓库中。
ELI_He999·2023-09-15 06:38

今年高考人数剧增，湖南复读学校有推荐?

一、2021年湖南高考报名人数据湖南省教育考试院统计，湖南有56.84万人报名参加2021高考，较202
郡雅复读·2023-09-15 05:49

火山引擎 ByteHouse：两个关键技术，揭秘 OLAP 引擎中的数据导入技术

作为一款OLAP引擎，火山引擎云原生数据仓库ByteHouse源于开源ClickHouse，在字节跳动多年打磨下，提供更丰富的能力和更强性能，能为用户带来极速分析体验，支撑实时数据分析和海量离线数据分析
字节数据平台·2023-09-14 19:28

数据湖是什么？数据湖关键技术（一）

随着数据湖的发展，目前面临着诸多技术方面的挑战，必须不断完善并解决各种技术难题。数据湖是当前大数据技术研究的一种范例，研究人员通过该范例来应对大数据技术所遇到的各种挑战。
白牛DATA·2023-09-14 08:21

大数据-Hive

Hive简介Hive是基于Hadoop的一个【数据仓库工具】，可以将结构化和半结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。
HikZ.919·2023-09-14 06:35

【数据仓库设计基础1】关系数据模型理论与数据仓库Inmon方法论

关系数据模型中的结构1．关系2．属性3．属性域4．元组5.关系数据库6．关系表的属性7．关系数据模型中的键二.关系完整性1．空值（NULL）2．关系完整性规则3．业务规则4．关系数据库语言三.规范化四.关系数据模型与数据仓库关系模型被广泛应用于数据处理和数据存储
roman_日积跬步-终至千里·2023-09-14 05:26

Hive数据仓库实战

Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。
充电了么·2023-09-14 02:28

尚硅谷大数据项目《在线教育之实时数仓》笔记001

P002P003P004第2章数据仓库建模概述第3章维度建模理论之事实表第4章维度建模理论之维度表数据仓库系列：星型模型和雪花型模型-知乎P005第5章数据
upward337·2023-09-13 13:00

数仓相关知识集合

数仓建模说到数仓建模，就得提下经典的2套理论：范式建模Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。维度建模Kimball提出的总线式的自下而上（DM-DW）的数据仓库架构。
zjy997·2023-09-13 11:37

【大数据】美团 DB 数据同步到数据仓库的架构与实践

美团DB数据同步到数据仓库的架构与实践1.背景2.整体架构3.Binlog实时采集4.离线还原MySQL数据5.Kafka2Hive6.对Camus的二次开发7.Checkdone的检测逻辑8.Merge9
G皮T·2023-09-13 06:51

Hive调优（SQL）

文章目录SQL优化SQL优化Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率；影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对
飞越石之海·2023-09-13 04:39

浅谈数据仓库体系（3）-历史层

如上文所说，一个基本的数据仓库分为贴源层，历史层，数据模型层本文主要来讲一下历史层(his），重点是如下三个方面1.历史层的数据清洗2.历史层的数据存储3.历史层的数据校验历史层，顾名思义，就是保存所有的历史数据
半个程序员·2023-09-13 03:11

使用Data Transfer Hub迁移MaxCompute数据至S3数据湖实践

一．概述随着对象存储使用得到广泛普及，越来越多的企业客户从其他云对象存储迁移到AmazonS3时对实时性，安全性，稳定性，易用性和同步效率有不同的要求。其次，数据存储如关系型/非关系型数据库，Elasticsearch，Redis等皆可通过导出文件或快照进行数据导入，使数据迁移变为基于文件的迁移。本文以迁移阿里MaxCompute数据为示例，通过阿里OSS对象存储实时事件触发，部署DataTran
红彤软件·2023-09-13 02:25

什么是数据湖？数据湖的概念及发展历程

随着云计算、社交媒体、物联网、短视频等新一代互联网技术的快速发展，数据的数量和复杂性不断增加。许多企业和组织已经积累了大量的各种类型的数据，对于如何存储和管理这些海量数据，以及如何高效地分析和利用这些数据，是每个组织当前面临的重要挑战。对于企业来说，有效处理和分析海量数据，对于数字化转型过程中的各种决策，具有至关重要的作用。大数据的兴起给数据库研究带来了诸多挑战。大数据通常具有四个典型特征，包括数
白牛DATA·2023-09-13 02:31

企业如何转动自己的命运齿轮，实现数字化转型

数据仓库-派可数据BI可视化分析平台同时，企业需要部署业务信息系统来实现业务
派可数据BI可视化·2023-09-12 20:02

火山引擎 ByteHouse：两个关键技术，揭秘 OLAP 引擎中的数据导入技术

作为一款OLAP引擎，火山引擎云原生数据仓库ByteHouse源于开源ClickHouse，在字节跳动多年打磨下，提供更丰富的能力和更强性能，能为用户带来极速分析体验，支撑实时数据分析和海量离线数据分析
·2023-09-12 14:14

实时分析、融合统一及云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

在国内拥有2500+中大型企业用户，用户社群聚集开发者超3万人，活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑，ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？在QCon全球软件开发大会·北京站的现场，基于ApacheDoris的商业化公司飞轮科技的CEO、A
·2023-09-12 12:36

阿里云云原生数据湖分析DLA Serverless Spark重磅发布，助力企业低成本挖掘OSS数据价值

一、背景概述1.1什么样的客户需要数据湖在数据处理领域，数据湖相对来说是一个比较新的概念，它的提出可以很好地帮助企业应对当前数据场景越来越多、数据结构越来越复杂、数据处理的需求越来越多样化的问题。
阿里云数据库·2023-09-12 07:08

【数仓建设系列之三】数仓建模方式及如何评估数仓完善性

一、数仓维度建模数仓维度建模是一种强大的方法，用于将复杂的业务现实映射到易于理解的数据结构中，它是构建数据仓库的核心技术之一，能够帮助企业将分散和不一致的数据整合到一个一致性高、可查询
码猿小站·2023-09-12 07:05

一文彻底搞懂实时数仓如何选型和构建

数仓分层的必要性04从Lambda架构说起05Kappa架构解决哪些问题06深入实时数仓架构方案1：Kappa架构方案2：基于标准分层+流计算方案3：标准分层体现+流计算+批量计算方案4：标准分层体系+流计算+数据湖方案
csdn-延·2023-09-12 06:33

使用MERGE语句，这里简单总结一下 （一个语句解决update 和 insert 功能）

在数据仓库中的转换和装载过程中，经常会使用MERGE语句，这里简单总结一下。MERGE语句是Oracle9i新增的语法，用来合并UPDATE和INSERT语句。
djs00717·2023-09-12 00:32

Impala相较于hive的优劣

hive是基于Java编写的开源数据仓库和分析包，目的是将特定的SQL语句编译为MapReducejar包扔给hadoop去执行，本质上是一个代码转换编译的工具，适用于逻辑复杂的查询，简单查询考虑impala
一只当归·2023-09-11 12:27

数据仓库--代理键

[转]数据仓库设计——代理键转载2015-12-0612:12:22标签：it数据仓库代理键在关系型数据库设计中，代理键是在当资料表中的候选键都不适合当主键时，例如资料太长，或是意义层面太多，就会用一个
yimubanggong·2023-09-11 06:10

数据仓库-主数据管理

本文来源于网络，如有侵权，联系本人删除：tianyachangkong来源：BAT大数据架构导读：企业主数据指企业内一致并共享的业务主体。主数据管理，不仅包括硬件和软件，还是将数据作为重要资产管理的思想和办法，是指一整套的用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性。一、企业数据类型企业数据类型主要包括交易数据、主数据和元数据，如下图所示：元数据是企业数据资产管
zhubeili·2023-09-11 06:39

数据仓库（DATA Warehouse）核心概念

数据仓库的个性概念理解自从1991年数据仓库之父BillInmon提出了数据仓库概念以来，数据仓库已从早期的探索走向实用阶段，进入了一个快速发展阶段。
mishidemudong·2023-09-11 06:39

【无标题】数据仓库-学习

1、数据仓库基础知识1.1什么是数仓数仓的概念：数据仓库简称数仓，在《建立数据仓库》中是这样定义数据仓库的：数据仓库是面向主题的，数据集成的，相对稳定的（非易失的），反映历史变化（时变）的数据集合，用于支持管理决策
白＆夜·2023-09-11 06:09

数据仓库中的一些核心概念

1、什么是数据仓库数据仓库技术是随着人们对大型数据库系统研究的不断深入,在传统数据库技术基础之上发展而来的,其主要目的就是为决策提供支持,为OLAP、数据挖掘深层次的分析提供平台。
IMezZ·2023-09-11 06:38

数据仓库 --- 概述

A.数据仓库—概述概述信息操作型系统：以事务为主。以可预测的方式完成同样的操作型任务。分析型系统：以评估效果为主。
micklongen·2023-09-11 06:08

数据仓库分层概念

一、分层一般来讲，主要分为五层，数据模型分为三层数据加载层：ETL（Extract-Transform-Load）数据运营层：ODS（OperationalDataStore）数据仓库层：DW（DataWarehouse
王秋实Q·2023-09-11 06:37

数据仓库建设一（核心概念）

核心概念与步骤维度模型：1.雪花模型：事实表-join-维度1-join-维度2-join-..一个实事表关联多级维度表2.星型模型：事实表-join-维度表一个实事表关联维度表，维度表没有级联关联3.星座模型：事实表-join-维度表-join事实表一个维度表被多个事实表关联数据分层（公司的业务需求，一般）：ods：用于保存同步的业务库与应用日志数据，一般采用snappy或者gz压缩，格式采用o
另一个世界Azure·2023-09-11 06:07

数据仓库--DWM层

DWM（DataWareHouseMiddle）数据中间层，该层会在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。一般而言，针对dwm层的设计开发是建立在，积累一定数量DM和APP相关需求后，将设计到重复的指标和维度下沉到DWM的表中，因此在数仓建立初期，可能会有直接跳过DWM来开发的情况，但是随着相似的需求不断的增加，DWM的开发势在必行，
江淮杰·2023-09-11 06:07

数据仓库-核心概念

数据仓库数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
驾数者·2023-09-11 06:34

ClickHouse场景及其原理

这里直接从原始数据开始消费，通过Flink清洗任务将数据洗入数据仓库存储，在数据仓库经过作业清洗并在ClickHouse生成用户行为明细，可以称作无模型化明细数据。利用Click
有时需要偏执狂·2023-09-11 04:16

chatgpt赋能python：Python连接Hive：深度剖析

因此，数据仓库系统（如Hive）的需求也越来越迫切。对于数据分析工程师和开发人员而言，Hive提供了一种基于Hadoop的SQL查询引擎，使他们能够进行大规模数据集的分析和处理。
www_xuhss_com·2023-09-11 01:09

使用Python读写Hive：简化大数据处理的利器

Hive作为一种强大的数据仓库解决方案，能够处理大规模数据，并提供灵活的查询能力。而Python作为一种流行的编程语言，拥有丰富的数据处理库和易用性，成为许多数据科学家和工程师的首选。
CDA·数据分析师·2023-09-11 01:09

天津专业大数据培训班 教你分析大数据行业前景

大数据分析是IT行业挺火的词汇，围绕大数据分析产生的数据仓库、数据安全、数据挖掘等商业价值也渐渐地被挖掘了出来，大数据时代渐渐来临......大数据是什么随着科技的发展，尤其是互联网的深入，新兴了大数据这个行业
qq_38453958·2023-09-10 21:27

Mysql(一) 数据库实现-DDL-DML-DQL及各种函数用法

1、初识数据库1.1、什么是数据库数据库：DB（DataBase）概念：数据仓库，软件，安装在操作系统之上作用：存储数据，管理数据1.2、数据库分类1.2.1、关系型数据库：SQL（StructuredQueryLanguage
lingering fear·2023-09-10 19:35

《阿里大数据之路》读书笔记：第三章 数据同步

应用场景：同类型不同集群数据库之间的数据同步主数据库与备份数据库之间的数据备份主系统与子系统之间的数据更新不同地域、不同数据库类型之间的数据传输交换大数据系统中的数据同步数据从业务系统同步进入数据仓库数据从数据仓库同步进入数据服务或数据应用一
蓦然_·2023-09-10 17:14

PostgreSQL实战-010-性能优化

PostgreSQL数据库的SQL服务器应用通常分为OLTP数据仓库数据库性能分析【硬件】：最先到达瓶颈的，通常是磁盘IO1.建议使用固定存储SSD如目前使用广泛的SATASSD
longailk·2023-09-10 16:07

L2 数据仓库和Hive环境配置

1.数据仓库架构数据仓库DW主要是一个用于存储，分析，报告的数据系统。数据仓库的目的是面向分析的集成化数据环境，分析结果为企业提供决策支持。
lee2813·2023-09-10 16:24
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他