数据仓库第39页

数据仓库工具Hive概念

文章目录Hive的产生背景及概念Hive将SQL转换为MR任务的过程数据仓库的概念Hive与RDBMS区别Hive的优缺点Hive架构Hive的产生背景及概念Hive的产生背景在Hadoop中直接使用MapReduce

想做CTO的任同学...·2023-06-15 11:17

HIVE概念&组件&交互方式&架构

Hive概念基于Hadoop的数据仓库工具主要是将结构化的数据文件映射为数据库表，提供类sql功能本质是将SQL转换为mapreduce程序1、将结构化文件和数据库表建立映射关系2、将文件列和数据库表列建立映射关系

Neighbor_L·2023-06-15 11:46

Hive的概念

Hive概述Hive是一个基于Hadoop的数据仓库系统，它提供了类似与SQL的查询语言HiveQL,可以将结构化数据存储在Hadoop分布式文件系统中，并通过MapReduce进行过处理。

陆卿之·2023-06-15 11:15

微信ClickHouse实时数仓的最佳实践

为了满足业务数据分析的需求，微信WeOLAP团队联手腾讯云，共建千台规模、数据PB级、批流一体的ClickHouse数据仓库，实现了10倍以上的性能提升。

·2023-06-15 11:47

构建实时数仓 - 当 TiDB 偶遇 Pravega

数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务，也是“数据智能”建设的基础环节。早期数仓多为离线模式，主要处理的是T+1的

·2023-06-15 11:14

数据湖和数据仓库区别介绍

从数据仓库到数据湖仓库和湖泊仓库是人为提前建造好的，有货架，还有过道，并且还可以进一步为放置到货架的物品指定位置。

dkjhl·2023-06-15 11:20

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

m0_66404702·2023-06-15 08:46

算法工程师与大数据工程师有什么区别？

大数据开发工程师是负责了数据仓库建设、ETL开发、数据分

IT小职·2023-06-15 05:13

携手共赢 HashData亮相华为合作伙伴大会

HashData作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴。在本次大会上，HashData展示了云数仓领域最新前沿技术以及联合华为打造的多云环境下云原生数仓存储解决方案。

HashData酷克数据·2023-06-15 04:19

大数据拥抱云原生 HashData助力资管数字化转型

酷克数据作为国内云原生数据仓库领军企业受邀参会，副总裁魏一在会上分享了大数据与资管行业结合的新思想、新技术、新实践。魏一表示，对于资管行业数据来源丰富、非结构化数据占比高、机构分布广的特点，Hash

HashData酷克数据·2023-06-15 04:49

Apache Tajo教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介ApacheTajo是Hadoop的开源分布式数据仓库框架。塔霍最初由位于南韩的基于Hadoop的基础设施公司Gruter开始。

菜鸟一记·2023-06-15 04:23

主流商业智能（BI）工具的比较（三）：Qlik与Domo

一、Domo简介Domo成立于2010年，是一个一体化、完全移动、基于云的平台，旨在增强企业当前的数据湖、数据仓库和BI工具。

虹科云科技·2023-06-14 20:10

20款常用的商业智能(BI)工具分享（最新）

商业智能的实现涉及到软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。

八爪鱼大数据·2023-06-14 20:39

[Hadoop]数据仓库基础与Apache Hive入门

目录大数据导论与Linux基础ApacheHadoop、HDFS大数据导论与Linux基础数据仓库基本概念数据仓库概念数据仓库主要特征数据仓库主流开发语言--SQLApacheHive入门ApacheHive

热咖啡不太冷·2023-06-14 18:02

系统架构师笔记——数据库

数据库方面要求考生掌握以下知识点：（1）信息系统综合知识：包括数据库管理系统的类型、数据库管理系统结构和性能评价、常用的关系型数据库管理系统、数据库模式、数据库规范化、分布式数据库系统、并行数据库系统、数据仓库与数据挖掘技术

来自深渊的祝福·2023-06-14 18:49

ByteHouse+Apache Airflow：高效简化数据管理流程

搭配ByteHouse，一款云原生的数据仓库解决方

·2023-06-14 18:53

数据仓库(分层和建模方法梳理)

目的数据仓库的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。

五块兰州拉面·2023-06-14 17:51

详解事实表

每个数据仓库都包含一个或者多个事实数据表。其中可能包含业务销售数据，如现金登记事务所产生的数据，通常包含大量的行。

产品经理自我修养·2023-06-14 17:20

华为云之数据仓库集群GaussDB(DWS)的基本使用【玩转PB级数仓GaussDB(DWS)】

华为云之数据仓库集群GaussDB（DWS）的基本使用【玩转PB级数仓GaussDB（DWS）】一、云数据仓库GaussDB(DWS)介绍1.GaussDB(DWS)简介2.GaussDB(DWS)使用场景

江湖有缘·2023-06-14 11:53

华为云之数据仓库GaussDB(DWS)的使用体验【玩转PB级数仓GaussDB(DWS)】

华为云之数据仓库GaussDB（DWS）的使用体验【玩转PB级数仓GaussDB（DWS）】一、云数据仓库GaussDB(DWS)介绍1.GaussDB(DWS)简介2.GaussDB(DWS)使用场景

江湖有缘·2023-06-14 11:52

大数据开发之Hive案例篇12：HDFS rebalance 一例

由于历史遗留的问题，数据仓库需要重构，新旧数仓在一段时间内需要并存，此时HDFS空间救不够了。于是申请增加6个节点，每个节点挂20T的存储，累积给HDFS增加120TB左右空间。二.解

只是甲·2023-06-14 10:17

基于Hadoop + Hive框架进行电子商务数据分析的设计与实现

处理和处理的研究已是企业未来发展的趋势，因此，将开展基于Hadoop+Hive框架进行电子商务数据分析，搭建一个大数据集群平台，用于通过电商案例的存储，处理，分析和可视化展示的实验迎向困难该挑战数仓的总体设计数据仓库概念

悟空打码·2023-06-14 10:44

详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。

jane9872·2023-06-14 10:07

京东基于商业版Hadoop搭建的数据仓库解决方案

Tech导读本方案以某金融企业大数据平台建设方案为例，面对企业内部的数据现状提出合理化建议，基于商业版Hadoop数据平台搭建数据仓库系统，实现数据资产的充分利用，结合当时现状推荐国产自主研发商业版Hadoop

架构师小秘圈·2023-06-14 08:53

详解数据仓库数据湖及湖仓一体

比别人更快接收好文章随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。

产品经理自我修养·2023-06-14 07:43

greenplum分布式集群（数据仓库）实战

1.准备环境1.1集群介绍系统环境：centos6.5数据库版本：greenplum-db-4.3.3.1-build-1-RHEL5-x86_64.zipgreenplum集群中，4台机器IP分别是[root@dw-greenplum-1~]#cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.loca

weixin_33709364·2023-06-14 07:07

MaxComputer数据仓库

MaxCompute数据仓库构建的整体流程。

c88c424c7f3d·2023-06-14 00:45

HashData助力企业构建数据分析新范式

面对日益增加的数据规模和数据类型多元化的发展趋势，企业数据分析复杂度不断提升，传统MPP数据仓库平台，在资源弹性、成本等方面已经很难适应企业业务需求。近日，HashDa

·2023-06-13 23:21

为什么要建数据仓库，而不是直连数据源？

今天和大家聊一个话题：为什么BI软件要用构建数据仓库，而不是直连数据源的方式开发报表？）

qq_43696218·2023-06-13 20:24

ADBPG&Greenplum成本优化之磁盘水位管理

在核心技术自主可控的大环境下，政企行业客户都在纷纷尝试使用国产数据库或开源数据库，尤其在数据仓库OLAP领域的步伐更快，Greenplum的应用越来越广泛，阿里云ADBPG的市场机会也越来越多。

阿里云云栖号·2023-06-13 17:05

ADBPG&Greenplum 成本优化之磁盘水位管理

在核心技术自主可控的大环境下，政企行业客户都在纷纷尝试使用国产数据库或开源数据库，尤其在数据仓库OLAP领域的步伐更快，Greenplum的应用越来越广泛，阿里云ADBPG的市场机会也越来越多。

阿里云技术·2023-06-13 17:34

大数据项目实战之数据仓库：电商数据仓库系统——第9章数仓开发之DWD层

文章目录第9章数仓开发之DWD层9.1交易域加购事务事实表9.2交易域下单事务事实表9.3交易域取消订单事务事实表9.4交易域支付成功事务事实表9.5交易域退单事务事实表9.6交易域退款成功事务事实表9.7交易域购物车周期快照事实表9.8工具域优惠券领取事务事实表9.9工具域优惠券使用(下单)事务事实表9.10工具域优惠券使用(支付)事务事实表9.11互动域收藏商品事务事实表9.12互动域评价事务

yiluohan0307·2023-06-13 16:10

尚硅谷大数据项目【电商数仓5.0】学习笔记

大数据框架之Hive笔记目录一、用户行为采集平台第1章数据仓库概念第2章项目需求及架构设计第3章用户行为日志第4章用户行为数据采集模块二、业务采

yiluohan0307·2023-06-13 16:40

kettle基础总结

kettle基础总结企业数据仓库模型企业数据仓库的数据来源可以是历史数据；也可以是正在运行的业务系统的数据，如OA，CRA，MES；或者其他数据如第三方数据，还有日志数据。这些数据如何进入数据仓库呢？

大强哥666·2023-06-13 16:04

深入解读：获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库

·2023-06-13 15:31

[hadoop全分布部署]Hive组件安装配置①

本期更新内容：解压安装hive文件、卸载MariaDB下篇文章预告：安装配置mysql目录1.解压安装hive文件2.卸载MariaDB简介：hive是基于Hadoop的一个数据仓库工具，用来进行数据提取

发量不足·2023-06-13 12:30

中国唯一 | 华为云GaussDB(DWS)获得CC安全认证

2022年3月8日，华为GaussDB200（即“华为云GaussDB(DWS)”）正式获得全球权威信息技术安全性评估标准CCEAL2+ALC_FLR.2级别认证，这是中国数据仓库产品首次获得的国际安全认证

·2023-06-13 12:50

Apache Druid 数据摄取---本地数据和kafka流式数据

Durid概述ApacheDruid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解Druid的特性，使用场景，技术特点和架构。

·2023-06-13 12:50

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。

·2023-06-13 12:49

大数据基础环境与常用软件搭建

安装Hive：Hive是一个基于Hadoop的数据仓库工具，可以将结构化

qq^^614136809·2023-06-13 11:12

hive最近的学习汇总-20221110

下个项目可能要用hive比较多之前对分区、分桶搞不明白趁着最近又学习了一下ps：之前说的prophet在年底前一定会放上来的hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在

孔胖·2023-06-13 03:05

mac安装hive 2.3.9

前言：看看需要那些东西hive是基于Hadoop的一个数据仓库工具，所以要安装并使用hive，需要现在装Hadoop，具体的安装方式可以参考之前写的博客《mac安装Hadoop》。

sugar_cookie·2023-06-13 03:02

中级数据开发工程师养成计

偏向于数据仓库，数据治理方向。

编程爱上我吧·2023-06-13 01:43

项目一ODS层数据仓库建模

当我们的数据采集到hdfs层上之后，我们就开开始对数据进行建模以便后来分析，那么我们整体的架构先放在每个建模层级的最前面所以项目1的将行为数据和业务数据导入到hdfs中我们已经完成了，现在需要的是将hdfs的数据通过ODS层数据建模，初步的分析以及改变，那么我们首先介绍下ODS层的作用因为我们的数据刚落到hdfs上，他还只是单纯的数据，并没有能让我们直接操作。所以我们需要将这些数据放入到能够对数据

黑星bm·2023-06-12 20:41

数据仓库ods层是啥意思_一文读懂大数据仓库建设

文章标签：数据仓库ods层是啥意思版权从传统数仓到大数据平台，MPP数据集市，Hadoop集群，还有混合架构数仓，一直在不断演进，但是万变不离其宗，大框架和方法论终归是那一套。

zxfBdd·2023-06-12 20:10

一体化数据安全平台uDSP-解决方案-数据访问权限治理与合规保护

除了数据库运维人员和研发人员，诸如数据分析人员、数据工程师等许多其他岗位的人员也能够使用各种业务应用直接访问数据中台、数据仓库中的数据，以完成自己的工作任务。

原点安全·2023-06-12 20:12

Day05 05-MySQL实战练习及答案

大数据开发、数据仓库开发、数据分析师或者数据治理等大数据相关岗位，其实更多的时候都是在对SQL进行拿捏，所以建议大家有时间一定一定要把

Aidon-东哥博客·2023-06-12 18:16

祝贺！Databend 入选 ICT 中国可信云优秀云原生创新案例

其中「新一代云原生数据仓库Databend」荣获2023年度云原生技术创新领航者-云原生技术创新案例。Dat

Databend·2023-06-12 11:21

数据统计分析用什么软件（目前最好的7个数据分析软件）

基于云的数据仓库存储了大量的业务数据。有

VeryReport-非常报表软件·2023-06-12 10:16

Hive基础

一、Hive基本概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

CJ21·2023-06-12 10:10

推荐频道

数据仓库