数据湖数据仓库第22页

HBase 原理与应用场景

HBase可以说是Hadoop和NoSQL之间的一个重要角色扮演者，既可以作为Hadoop的底层数据存储，也可以作为数据仓库的后端存储。在Hadoop大数据生态圈中，H

禅与计算机程序设计艺术·2023-10-24 01:56

数仓建设保姆级教程，离线和实时理论+实战)

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。

程序员的隐秘角落·2023-10-24 00:33

Apache Doris 极速数据湖分析深度解读

从上世纪90年代初BillInmon在《buildingtheDataWarehouse》一书中正式提出数据仓库这一概念，至今已有超过三十年的时间。

SelectDB技术团队·2023-10-23 22:46

大数据技术之-presto

、Presto简介1、Presto概念Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题

是小先生·2023-10-23 21:24

浅谈关于数据仓库的理解，聊聊数据仓库到底是什么？

也正是这些，所以数据仓库的讨论的开始逐步增加。近几年的时间里，因为自助BI、敏捷BI的兴起，很多企业在部署商业智能BI的时候，经常会询问是否需要建设数据仓库

派可数据BI可视化·2023-10-23 19:50

数据湖和数据仓库的建设，到底为了什么？由此产生的岗位区别在哪

数据湖这个大坑，是怎么挖的？数据在刚刚开始的时候，还是小体量，就好比创业公司，还不足够引起人们的注意。但是当数据体量上来了，就好像变成了独角兽。

大数据的那些事·2023-10-23 18:15

Hive SQL 函数高阶应用场景

HIVE作为数据仓库处理常用工具，如同RDBMS关系型数据库中标准SQL语法一样，HiveSQL也内置了不少系统函数，满足于用户在不同场景下的数据分析需求，以提高开发SQL数据分析的效率。

Moutai码农·2023-10-23 13:22

探索流批一体结构下的实时数仓

|0x00越来越高的时效性要求在数据仓库的建设过程里，我们一直秉承着“离线先行”的方针，因为离线的技术栈非常成熟，开发起来很快，同时监控工具也做的比较完善，出了问题能及时发现、及时处理。

晓阳的数据小站·2023-10-23 12:09

2019-07-25

数据管理元数据是关于数据的数据元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。

AliceGYY·2023-10-23 10:56

数据仓库的概念与体系结构

数据仓库的概念与体系结构前言数据管理技术的发展人工管理阶段文件系统阶段数据库系统阶段数据库技术与分析性应用结合的问题数据仓库的基本概念元数据数据粒度数据模型ETL数据集市数据仓库的特点数据仓库的组成前言任何企业都希望在如今严峻的市场竞争中利用全面的数据分析能力来获得更大更持久的竞争优势

取个名字真难啊啊·2023-10-23 10:15

AWS的一些概念：S3、EC2、Lambda、CodeBuild

各种规模和行业的客户都可以使用AmazonS3存储和保护任意数量的数据，用于数据湖、网站、移动应用程序、备份和恢复、归档、企业应用程序、IoT设备和大数据分析。

忙碌且充实·2023-10-23 04:43

hive初识

1、hive是个啥1）hive主要是对mapreduce任务进行简化操作，方便工作人员快速进行数据分析；2）hive是构建在hadoop之上的数据仓库，能够将结构化的数据文件映射成一张表，以HQL作为查询接口

紫苓·2023-10-23 02:31

常见数据仓库模式参考

一、概述多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。

liuzx32·2023-10-22 17:12

【阿里大数据中台】读书笔记1

这个岗位反应的是数据不是业务部分所鼠疫和必须的现状，数据仓库团队在努力服务业务人员。2011年阿里取消了RA转为数据产品经理TL？RA职能：链接业务&技术的需

深海suke·2023-10-22 13:20

【DBeaver】DBeaver激活使用

Dbeaver支持众多数据库，数据仓库，不仅可以MySQL，Oracle，PostgreSQL，SQLServer，DB2，MariaDB

小王爱写BUG·2023-10-22 05:37

探索大数据时代的关键技术：数据挖掘、可视化和数据仓库

文章目录大数据和数据分析技术引言数据挖掘数据可视化数据仓库结论我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文创造者

我是廖志伟·2023-10-22 05:32

到底什么才是大数据开发？

大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

金光闪闪耶·2023-10-22 04:47

初识Hive

前言Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

康俊1024·2023-10-22 01:27

元数据管理-技术元数据解决方案

通过元数据可以打通数据源、数据仓库、数据应用、记录了数据流向的完整链路。它可以说是企业的数据地图，可以直接反映了企业中有什

热忱 ㅤ ㅤ·2023-10-21 13:18

【无标题】

维度建模指南-数据仓库工具箱（自译）背景:在数据仓库中维度建模的基本原理讲解书籍资料主要是是kimball的书籍,但是国内翻译的版本一定程度上是直译,阅读过程中对理解维度建模基本的原理有一定阻碍,因此阅读原文加深理解

浩海紫冰·2023-10-21 12:25

什么是BI？BI商业智能应用能给企业带来哪些好处？

商业智能一词最早是由国际知名的IT咨询机构Gartner在1996年提出的，指的是用数据仓库技术、联机分析处理、数据挖掘和数据展现技术进行数据分析以实现商业价值。

cuanzhapan8891·2023-10-21 12:01

MySQL学习笔记--常用存储引擎InnoDB与MyISAM总结

如何生成可参考右边的帮助文档文章目录一、MyISAM特性1.并发性与锁级别2.表损坏修复3.MyISAM表支持的索引4.MyISAM表支持压缩限制1.版本MySQL5.0时单表默认最大为256TBMyISAM适用场景非事务型应用（数据仓库

杜某1997·2023-10-21 12:48

关于数据湖架构、战略和分析的8大错误认知

本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。咨询公司和提供商提出的意见相互矛盾，因此，这些信息历来一直不透明，令人困惑。

公众号:肉眼品世界·2023-10-21 11:52

独家 | 关于数据湖架构、战略和分析的8大错误认知（附链接）

本文打破有关数据湖的8个错误认知，错误认知包括3方面，还提出了5个小技巧，以构建一个灵活的、可交付业务价值的数据湖。本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。

「已注销」·2023-10-21 10:39

大数据测试 - 数仓测试

前言对于数据仓库的测试来说底层的系统会有很多有自建的集群使用spark或者flink测试，也有很多直接使用云厂商的产品比如datworks等等，再这里我想分享下抛开环境，只对数据仓库测试的一些小心得。

测试界的飘柔·2023-10-21 10:11

认识大数据

大数据开发需要了解的几种语言HadoopSparkStorm大数据平台应用六大知识点一、大数据中的数据仓库和Mpp数据库如何选型?

三思而后行，慎承诺·2023-10-21 07:42

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

数据萌新·2023-10-21 05:14

优秀商业可视化大屏（BI）设计演示

关于BI商业智能商业智能（BusinessIntelligence），是指利用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

湘北智造·2023-10-20 22:47

数据中台你想知道的都在这里！

数据中台和数据仓库，数据平台的关系是什么？数据中台和业务中台的区别是什么？数据中台建设的最大挑战是什么？数据中台的数据质量应该如何保障？数据中台的典型架构是怎样的？企业数据中台的团队如何构建？

Kaka架构·2023-10-20 22:19

数据仓库扫盲系列（1）：数据仓库诞生原因、基本特点、和数据库的区别

数据仓库的诞生原因随着互联网的普及，信息技术已经深入到各行各业，并逐步融入到企业的日常运营中。然而，当前企业在信息化建设过程中遇到了一些困境与挑战。1、历史数据积存。

Leo.yuan·2023-10-20 22:22

数据中的商机

“与数据同行”开通了微信群，分为数据仓库、数据分析、产品经理、数据治理及机器学习五大专业，现已汇聚了4000位小伙伴了，加微信号：frank61822702申请入群。

傅一平·2023-10-20 20:49

使用 ClickHouse 深入了解 Apache Parquet （一）

这种采纳使其成为更近期的数据湖格式的基础，例如ApacheIceberg。在这个博客系列中，我们探讨如何使用ClickHouse读写这种格式，然后更详细地

沃趣数据库管理平台·2023-10-20 17:01

hive拉链表

什么是拉链表拉链表是数据仓库中用来记录一个事务从开始，一直到当前状态的所有变化的信息表如下是一张拉链表这张拉链表中存储的是用户的基本信息以及每条记录的生命周期我们可以使用这张表拿到当天的最新数据以及之前的历史数据拉链表使用场景在数据仓库的数据模型设计过程中

微亮之海·2023-10-20 15:08

全闪集中式存储：金融数据仓库场景下的性能对比

在《Oracle数据仓库在超融合架构下的跑批性能验证》文章中，我们分享了金融机构利用SmartX超融合

志凌海纳SmartX·2023-10-20 14:34

大数据之力：从数据湖到数据智能的升级之路

文章目录什么是数据湖？什么是数据智能？

IT·陈寒·2023-10-20 12:35

星环科技打造自主可控的高性能数据库，开启国产化升级新篇章

多模型数据库ArgoDB具备完整的SQL兼容性，同时具备高扩展、高可靠、多模型、存算解耦等能力，一站式满足数据仓库、实时数据

星环科技·2023-10-20 09:56

举个栗く·2023-10-20 08:58

Hadoop分布式存储和计算MapReduce的使用以及Hive数据仓库等内容精讲

一，zookeeper环境搭建ZooKeeper致力于为分布式应用提供一个高性能、高可用，且具有严格顺序访问控制能力的分布式协调服务服务器IP主机名myid的值192.168.186.133vmone1192.168.186.134vmtwo2192.168.186.135vmthree3myid的值越高，被选举的几率越大！先把这三台机器分别重置主机名为vmone，vmtwo，vmthree，具体

刻苦的樊同学·2023-10-20 07:32

hive数据仓库安装与使用

第一部分：hive介绍1、hive的概念hive是基于hadoop的一个数据仓库的工具，也是数据库，存放的是历史数据，用于数据挖掘etl。

rose and war·2023-10-20 01:24

Hive3.x数仓开发

文章目录一、数仓仓库概念二、数据仓库分层架构ODS\DW\DA(ADS)ETL\ELT三、ApacheHive概述为什么使用HiveHive和Hadoop关系四、ApacheHive架构、组件组件五、ApacheHive

_七七·2023-10-20 01:24

基于Delta Lake的Upserts数据湖方案

DeltaLake是基于ApacheSpark的下一代数据湖存储引擎，支持Merge命令，可以高效的完成upsert或删除。1为什么需要Upserts?

AllenGd·2023-10-20 01:50

【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解

hive表中导入数据三、通过查询insert....select的形式往hive中导入数据四、使用create....as语句往hive表里装载数据五、从hive表里导出数据到文件系统一、前言往hive数据仓库的表中导入数据

云祁·2023-10-20 01:20

Hive篇面试题+详解

Hive是一个基于Hadoop的数据仓库工具，它提供了一个类SQL的查询语言（HiveQL）来查询和分析存储在Hadoop集群中的大规模数据。

Young_IT·2023-10-19 22:39

【转】数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

这套架构，以数据湖为中心，把数据湖作为中央存储库，再围绕数据湖建立专用“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务

万州客·2023-10-19 22:56

7000字，详解仓湖一体架构！

本文转载自公众号：数据学堂全文共7110个字，建议阅读15分钟在了解湖仓一体化之前，我们先来看一则有关数据仓库的有趣故事吧~沃尔玛拥有世界上最大的数据仓库系统，它利用数据挖掘方法对交易数据进行分析后发现

浪尖聊大数据-浪尖·2023-10-19 18:09

科杰科技：基于湖仓一体架构的Hudi技术实现

一湖仓一体架构的定义和特点湖仓一体架构是一种结合数据湖和数据仓库的数据管理架构。它的核心思想是将数据湖和数据仓库合并为一个整体，实现数据的统一管理和分析。

科杰科技·2023-10-19 17:34

基于flink 的LakeHouse 2.0湖仓一体架构

基于flink的LakeHouse2.0湖仓一体架构简介Lakehouse是一种结合了数据湖和数据仓库优势的新范式，解决了数据湖的局限性。

活在风浪里~·2023-10-19 17:03

湖仓一体架构的特性

湖仓一体架构是一种数据架构模式，具有以下特性：统一存储：湖仓一体架构将数据湖和数据仓库合并为一个整体，将结构化数据和非结构化数据存储在同一个存储系统中，如Hadoop分布式文件系统（HDFS）或云存储服务

abckingaa·2023-10-19 17:55

hive往es映射表写数据报错

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

jiedaodezhuti·2023-10-19 16:59

Hive知识梳理(好文)

Hive是建立在Hadoop上的数据仓库基础构架。可以将SQL查询转换为MapReduce的job在Hadoop集群上执行。

英雄111888·2023-10-19 13:20

推荐频道

数据湖数据仓库