数据湖数据仓库第45页

大数据开发：数仓建模常见数据模型

在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。

成都加米谷大数据·2023-06-17 19:45

大数据总监应具备的能力

作为大数据总监，应具备以下能力：技术能力：熟练掌握大数据技术，包括数据管理、数据仓库、数据挖掘、数据可视化、机器学习等方面的知识。

有语忆语·2023-06-17 15:25

Hive学习

一、概述由Facebook开源用于解决海量结构化日志的数据统计工具Hive是建立在Hadoop上的数据仓库基础构架。

明月清风，良宵美酒·2023-06-17 11:36

什么是Azure Data Lake

备注：Blog具有时效性，内容随着更新会发现变化，目前时间是2017年5月12日在Azure.com已经推出了DataLake，就是数据湖，数据湖是什么呢？

阿特·2023-06-17 11:04

【数据湖架构】Azure 数据湖分析（Azure Data Lake Analytics )概述

在本文中，我们将探索Azure数据湖分析并使用U-SQL查询数据。Azure数据湖分析(ADLA)简介MicrosoftAzure平台支持Hadoop、HDInsight、数据湖等大数据。

超级架构师·2023-06-17 11:33

CLickHouse 入门理论学习

自己理解：轻量级大数据仓库场景读多于写：适用于大量数据的分析、查询。优势不在于写和更新。大宽表，读大量行但是少量列，结果集较小：相对于行存储字段很多，但是查询返回几个字段的情况数据批量写入，且数据

java资深菜鸟·2023-06-17 11:14

【数据管理架构】什么是 OLAP？

作为数据仓库实施的核心组件，OLAP为商业智能(BI)和决策支持应用程序提供快速、灵活的多维数据分析。什么是OLAP？

超级架构师·2023-06-17 10:50

走好数据中台最后一公里，为什么说数据服务API是数据中台的标配？

一、课程介绍数据服务API作为数据统一服务平台建设的最上层，能够将数据仓库数据以服务化、接口化的方式提供给数据使用方，屏蔽底层数据存储、计算的诸多细节，简化和加强数据的使用。

袋鼠云数栈·2023-06-17 07:57

知乎用户画像与实时数仓的架构与实践

关键词：数据仓库，ApacheDori

jane9872·2023-06-17 04:16

大数据离线阶段

目录数分分布式ApacheZooKeeperApacheHadoopShell命令选项数据仓库Hive数分数据分析的目的是把隐藏在数据背后的信息集中和提炼出来，总结出所研究对象的内在规律，帮助管理者进行有效的判断和决策

海星？海欣！·2023-06-17 01:33

亚马逊云科技 | Summit - 中国峰会

200项功能齐全的服务连续11年被Gartner评为"全球云计算领导者"；2021年全新Gartner魔力象限中被评为"云基础设施与平台服务领导者"；计算、存储、数据库等基础设施技术；机器学习、人工智能、数据湖分析及物联网

wei_shuo·2023-06-16 19:44

数据中台的开源解决方案

文章目录一、数据中台建设方法论1.1OneData1.2OneService二、数据中台，常见的4种选型方案三、数据中台的开源解决方案3.1数据存储3.2数据开发3.3查询引擎3.4数据采集工具3.5数据仓库

大数据指北·2023-06-16 18:18

偶数科技与思迈特软件达成产品兼容性互认证

近日，北京偶数科技有限公司和思迈特有限公司针对双方产品的功能、性能和兼容性共同进行了严格测试，偶数「新一代云原生数据仓库OushuDB」与「思迈特商业智能与数据分析软件Smartbi系列产品」共同稳定运行

·2023-06-16 17:48

基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设

简介：MaxCompute是阿里巴巴自研的云原生数据仓库，同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题，MaxCompute需持续增强生态与开放性建设，方能走得更远。

·2023-06-16 15:50

Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive

1.架构图2.实现实例2.1通过flinkcdc的两张表合并成一张视图，同时写入到数据湖(hudi)中同时写入到kafka中2.2实现思路1.在flinksql中创建flinkcdc表2.创建视图(用两张表关联后需要的列的结果显示为一张速度

wudl5566·2023-06-16 15:35

dsdgen命令的用法，定义，命令参数详解，以及使用案例

当下随着数据量不断增长，数据仓库的性能和扩展性成为了关键的课题。为了解决这一问题，需要对数据仓库进行性能测试。

鲸落ж·2023-06-16 13:51

hadoop、hive、hbase的关系

后者可以独立运行，前者可以选择性使用，也可以不使用hive通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive

mengml_smile·2023-06-16 12:49

大数据学习记录（hadoop hive flume azkaban sqoop）

hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE（分布式运算编程框架）3.HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具

左上晨·2023-06-16 10:58

【Hadoop技术篇】hadoop的使用

博主介绍‍博主介绍：大家好，我是淼淼_喵，很高兴认识大家~✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步欢迎评论作者水平有限

chad__chang·2023-06-16 03:53

论数据湖技术及其应用

论数据湖技术及其应用摘要2020年6月，我所在的公司中标某银行数据湖平台搭建项目1.0，该项目周期为2年，总投资为5000万人民币，通过该项目，搭建该银行数据湖建设项目，实现该银行所有业务数据以及用户行为日志入湖

mischen520·2023-06-16 01:34

Hive_MBY_GJF

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

炳烛之明科技·2023-06-15 20:51

数据仓库(07)数仓规范设计

规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。规范定义指以维度建模作为理论基础构建总线矩阵，划分和定义数据域、业务过程、维度、度量原子指标、修饰类型、修饰词、时间周期、派生指标。所谓的规范的定义，简单理解，如果把数据当作货物，那就是货物的分类，以及对应相关的属性，比如生产日期，某个原料的含量等，我们可以把相近或者相同货物，按照一定的规律，放在一起，

·2023-06-15 15:36

数据仓库(06)数仓分层设计

目前主流的数据仓库分层大多为四层,也有五层的架构，这里介绍基本的四层架构。分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。

·2023-06-15 15:35

数据仓库(05)数仓Kimball与Inmon架构的对比

数据仓库主要有四种架构，Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构，基本上都会使用到维度建模。

·2023-06-15 15:04

Hive面试题十道

答案：Hive是一个基于Hadoop的数据仓库工具，它提供了类似SQL的查询语言（HiveQL）来进行大规模数据的分析和处理。

MIDSUMMER_yy·2023-06-15 13:31

数据湖仓一体化架构：探究新一代数据处理的可能性

在这种背景下，数据湖和数据仓库这两种不同的架构模式各自展现出其独特的优势。而数据湖仓一体化架构，是对这两种模式优势的综合，为企业提供了一个全新的数据管理方案。

gongxsh00·2023-06-15 12:39

Hive概念、架构、原理详细介绍

问题导读1.什么是数据仓库？2.传统数据仓库面临怎样的挑战？3.hive是什么？4.hive系统构架是怎样的？5.hive的工作原理是怎样的？6.hiveHA基本原理是什么？7.Impala是什么？

000X000·2023-06-15 11:20

整理一下HIVE概念

首先要明白,HIVE是HADOOP生态系统中充当数据仓库的角色。它本质上是是一个SQL解释器，就是使得我们能用SQL查询语言去查询HDFS上的数据。而这个功能，容易让我们误认为它就是传统的数据库。

天涯__·2023-06-15 11:49

Hive概念

1、Hive1.1理解：基于Hadoop的一个数据仓库工具，将结构化的数据文件映射成一张表，提供类SQL查询功能。

小迷糊>_<·2023-06-15 11:18

Hive 概念与安装

Hive概念与安装1.概述与特点Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

wtzhm·2023-06-15 11:18

Hive核心概念

Hive核心概念转自：https://blog.csdn.net/weixin_41756009/article/details/824615251.什么是hive基于Hadoop的一个数据仓库工具：hive

一个打码的小年轻·2023-06-15 11:48

大数据技术之Hive：Hive基本概念

一、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

浊酒南街·2023-06-15 11:48

数据仓库工具Hive概念

文章目录Hive的产生背景及概念Hive将SQL转换为MR任务的过程数据仓库的概念Hive与RDBMS区别Hive的优缺点Hive架构Hive的产生背景及概念Hive的产生背景在Hadoop中直接使用MapReduce

想做CTO的任同学...·2023-06-15 11:17

HIVE概念&组件&交互方式&架构

Hive概念基于Hadoop的数据仓库工具主要是将结构化的数据文件映射为数据库表，提供类sql功能本质是将SQL转换为mapreduce程序1、将结构化文件和数据库表建立映射关系2、将文件列和数据库表列建立映射关系

Neighbor_L·2023-06-15 11:46

Hive的概念

Hive概述Hive是一个基于Hadoop的数据仓库系统，它提供了类似与SQL的查询语言HiveQL,可以将结构化数据存储在Hadoop分布式文件系统中，并通过MapReduce进行过处理。

陆卿之·2023-06-15 11:15

微信ClickHouse实时数仓的最佳实践

为了满足业务数据分析的需求，微信WeOLAP团队联手腾讯云，共建千台规模、数据PB级、批流一体的ClickHouse数据仓库，实现了10倍以上的性能提升。

·2023-06-15 11:47

构建实时数仓 - 当 TiDB 偶遇 Pravega

数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务，也是“数据智能”建设的基础环节。早期数仓多为离线模式，主要处理的是T+1的

·2023-06-15 11:14

数据湖应用解析：Spark on Elasticsearch一致性问题

摘要：脏数据对数据计算的正确性带来了很严重的影响。因此，我们需要探索一种方法，能够实现Spark写入Elasticsearch数据的可靠性与正确性。概述Spark与Elasticsearch（es）的结合，是近年来大数据解决方案很火热的一个话题。一个是出色的分布式计算引擎，另一个是出色的搜索引擎。近年来，越来越多的成熟方案落地到行业产品中，包括我们耳熟能详的Spark+ES+HBase日志分析平台

·2023-06-15 11:12

数据湖和数据仓库区别介绍

从数据仓库到数据湖仓库和湖泊仓库是人为提前建造好的，有货架，还有过道，并且还可以进一步为放置到货架的物品指定位置。

dkjhl·2023-06-15 11:20

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

m0_66404702·2023-06-15 08:46

算法工程师与大数据工程师有什么区别？

大数据开发工程师是负责了数据仓库建设、ETL开发、数据分

IT小职·2023-06-15 05:13

携手共赢 HashData亮相华为合作伙伴大会

HashData作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴。在本次大会上，HashData展示了云数仓领域最新前沿技术以及联合华为打造的多云环境下云原生数仓存储解决方案。

HashData酷克数据·2023-06-15 04:19

大数据拥抱云原生 HashData助力资管数字化转型

酷克数据作为国内云原生数据仓库领军企业受邀参会，副总裁魏一在会上分享了大数据与资管行业结合的新思想、新技术、新实践。魏一表示，对于资管行业数据来源丰富、非结构化数据占比高、机构分布广的特点，Hash

HashData酷克数据·2023-06-15 04:49

Apache Tajo教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介ApacheTajo是Hadoop的开源分布式数据仓库框架。塔霍最初由位于南韩的基于Hadoop的基础设施公司Gruter开始。

菜鸟一记·2023-06-15 04:23

主流商业智能（BI）工具的比较（三）：Qlik与Domo

一、Domo简介Domo成立于2010年，是一个一体化、完全移动、基于云的平台，旨在增强企业当前的数据湖、数据仓库和BI工具。

虹科云科技·2023-06-14 20:10

20款常用的商业智能(BI)工具分享（最新）

商业智能的实现涉及到软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。

八爪鱼大数据·2023-06-14 20:39

[Hadoop]数据仓库基础与Apache Hive入门

目录大数据导论与Linux基础ApacheHadoop、HDFS大数据导论与Linux基础数据仓库基本概念数据仓库概念数据仓库主要特征数据仓库主流开发语言--SQLApacheHive入门ApacheHive

热咖啡不太冷·2023-06-14 18:02

系统架构师笔记——数据库

数据库方面要求考生掌握以下知识点：（1）信息系统综合知识：包括数据库管理系统的类型、数据库管理系统结构和性能评价、常用的关系型数据库管理系统、数据库模式、数据库规范化、分布式数据库系统、并行数据库系统、数据仓库与数据挖掘技术

来自深渊的祝福·2023-06-14 18:49

ByteHouse+Apache Airflow：高效简化数据管理流程

搭配ByteHouse，一款云原生的数据仓库解决方

·2023-06-14 18:53

数据仓库(分层和建模方法梳理)

目的数据仓库的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。

五块兰州拉面·2023-06-14 17:51

推荐频道

数据湖数据仓库