--------【数据仓库】第69页

Spark执行HiveSQL以及Hive自定义函数

Hive的表只能是外表或是表不包含ACID事物的表文章目录Spark执行Hive前言一、pom.xml导入依赖执行的包二、使用步骤1.编写代码2.Spark执行脚本异常处理前言Hive一般作为大数据的数据仓库

swg321321·2022-10-30 19:17

设计数据密集型应用第三章：存储与检索

数据仓库OLTP数据库和数据仓库之间的分歧

SuPhoebe·2022-10-29 07:07

数据仓库与数据挖掘

数据仓库与数据挖掘第1章概论1.1数据仓库1.2数据挖掘第2章数据仓库的基本概念2.1什么是数据仓库1.面向主题2.集成性3.数据不易丢失（稳定的）4.随时间而变化的（时变的）2.2为什么建立数据仓库区别环境分离系统结构

Tancy.·2022-10-25 07:01

【Python数据分析】数据预处理2——数据集成

数据挖掘需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储位置（如数据仓库）中的过程。

阿丢是丢心心·2022-10-24 07:16

【Hive---02】hive概述『 what | 优缺点 | 架构 | Hivevs MySQL』

hive是建立在Hadoop上的一个一个数据仓库。它可以将存储在Hadoop的结构化、半结构化数据映射为一张张数据库表。它提供了一种类似SQL的查询语言HQL，通过HQL可以查询Hadoop中的数据。

别闹'·2022-10-22 14:39

大数据实战疫情分析项目

疫情期间各类政府媒体及社交网站，均发布了相关疫情每日统计数据，下面基于数据仓库工具Hive请你统计分析相关疫情数据。

罗德拉沃尔·2022-10-22 07:28

数据库实战经验分享（全量表，增量表，拉链表，流水表，快照表）

前言当人们一提到全量表，增量表，拉链表，流水表，快照表等这些概念时，大家第一反应想到的就是传统数据仓库的使用。

Gauss松鼠会·2022-10-22 07:32

可视化软件之Power BI的安装与下载

PowerBI是一款强大的可视化软件，它可以轻松的连接到数百个数据源，简化数据并可视化重要数据信息，数据源可以是Excel电子表格，也可以是基于云和本地混合数据仓库的集合。

艾派森·2022-10-21 07:24

数据分析如何提升对业务的理解

在一个企业的运营过程中沉淀了大量的生产经营数据，在这些数据中蕴涵着无尽的信息资源，通过对这些数据的挖掘整理，合理分析可以得到对企业整个的生产运营具有指导意义的有效数据，使企业的运营过程更具理性的发展，数据仓库

俊杰梓·2022-10-18 19:35

Hive 性能调优大全

前言Hive作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率。

000X000·2022-10-18 10:07

Hive调优策略之架构优化

Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。

悠然予夏·2022-10-18 10:37

数据仓库工具 hive的入门（九）Hive调优策略

**Hive命令实战操作之–Hive调优策略提示：本文章内容取自来源：拉勾教育大数据高薪训练营文章目录前言HQL操作之--Hive调优策略第1节架构优化执行引擎优化器分区表分桶表文件格式第2节参数优化第3节SQL优化列裁剪和分区裁剪sortby代替orderbygroupby代替count(distinct)groupby配置调整join基础优化调整Map数对于小文件采用的策略是合并调整Reduc

知三分·2022-10-18 10:06

10 Hive调优策略

Hive调优策略Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。

微毂·2022-10-18 10:36

浅谈Hive调优

Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce分配不合理等等。

拾荒路上的开拓者·2022-10-18 10:31

Hive 调优集锦，让 Hive 调优想法不再碎片化

一、前言1.1概念Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，

云祁·2022-10-18 10:00

ODPS SQL优化总结

本文结合作者多年的数仓开发经验，结合ODPS平台分享数据仓库中的SQL优化经验。背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。

阿里巴巴淘系技术团队官网博客·2022-10-17 10:14

Hive表删除数据不支持使用Delete From...

前言：今天在做数据仓库项目，通过persto向hive插入数据的时候，插入了两次不同的数据。

木易巷·2022-10-16 18:34

Clickhouse系列之整合Hive数据仓库示例详解

ApacheHive数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱动程序，用于将用户连接到Hive。

·2022-10-14 23:41

基于 Hadoop 数据仓库的搭建

基于Hadoop数据仓库的搭建为什么需要数据仓库？

qu6zhi·2022-10-13 16:10

数据中台开源解决方案（二）

6.数据仓库在数据平台选择好后，下一步的重要工作是实现企业的数据资产化，满足前端业务对数据应用的需求。

梯度科技·2022-10-13 15:32

大数据采集技术工具及应用场景

大数据采集可以细分为数据抽取、数据清洗、数据集成、数据转换等过程，将分散、零乱、不统一的数据整合到一起，以一种结构化、可分析的形态加载到数据仓库中，从而为后续的数据使用奠定坚实基础。

梯度科技·2022-10-13 15:02

大数据复习(day05)

Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

快乐咸鱼Y·2022-10-13 12:36

有了BI自助分析，就不需要建模吗？

我们在一些客户那里经常听到的一种关于商业智能BI的说法就是，BI建模很重、数据仓库建模很重，我们希望业务人员不需要专业的建模自己可以通过拖拉拽的方式完成BI数据分析工作，想怎么分析就能怎么分析，完全自由

派可数据BI可视化·2022-10-13 12:31

数据仓库建设——主题和主题域的划分

数仓主题是什么数据仓库主题是指透过“上帝视角”将企业不同业务流程信息进行汇总、分类然后对其进行分析利用的一个抽象化的概念。

派可数据BI可视化·2022-10-13 12:00

大数据FLINK实时数仓项目实战

实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。2、实时数仓项目分层ODS原始数据，日

wespten·2022-10-13 12:55

数据中台的数据仓库和商业智能BI的数据仓库有什么区别？

数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别，都是在底层业务系统数据源和上层应用之间做了一个隔离层，进行上下两层的解耦合。

派可数据BI可视化·2022-10-13 12:51

【笔记】数据仓库与数据挖掘（二）数据仓库与联机分析处理

目录2.1数据仓库与数据库的区别2.2什么是数据仓库2.3数据仓库的系统结构2.4数据仓库的数据组成形式2.5数据仓库的数据模型2.6什么是联机分析处理OLAP2.7OLAP的多维数据存储2.8OLAP

7TribeZ·2022-10-13 11:50

河北工业大学数据挖掘实验二数据立方体与联机分析处理构建

河北工业大学数据挖掘实验二数据立方体与联机分析处理构建一、实验目的二、实验原理1、关系型数据库2、数据立方体3、OLAP操作4、数据仓库的设计三、实验内容和步骤1、实验内容2、实验步骤3、程序框图4、实验样本

Ace2NoU·2022-10-13 11:18

零代码也能针对 TB 量级数据实现秒级指标分析

数据仓库解决方案可以解决大数据量的问题，但海量数据分析的低延迟查询响应也存在挑战。KyligenceZen提供了指标缓存的能力，来解决这个问题。简单来说，指标缓存是将源数据按照指标维度提前聚合生成一

Kyligence·2022-10-12 18:26

数据开发的技术提升之道

在这种情况下，数据开发的工作，从偏底层的大数据引擎建设，提升到了面向业务的数据仓库+数据分析角色，也就是从幕后逐步的走向前台，最终目标是以数据科学家为导向。

晓阳的数据小站·2022-10-12 18:13

Hive面试题

Hive面试题数据仓库数据仓库的主要特征面向主题集成性非易失性时变性数据库和数据仓库的区别数据库系统作为数据管理的主要手段，主要用于操作型处理操作型处理，也叫联机事务处理OLTP（On-LineTransactionProcessing

Kazi_1024·2022-10-12 10:31

大数据面试题（校招）

3.数据仓库建模几种方式一般有关系建模和维度建模，关系建模遵循范式，一般有一范式、二范式、三范式、bc范式等。维度建模一般有星型模型、雪花模型、星座模型。

梧桐林.·2022-10-12 10:38

大数据数仓项目实战

一、数仓项目需求及架构设计数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

wespten·2022-10-09 10:04

大数据软件学习入门技巧

然后利用数据仓库工具，对数据进行清理、转换、处理，得出有价值的数据。接着用数据建模工具建模。最终用大数据工具进行可视化分析。基于上述描述，我们按照流程来讨论所使用的工具。

我想去吃ya·2022-10-08 16:21

Apache Hudi技术与架构-1

1前言ApacheHudi是大数据领域中新一代的基于流式计算的数据存储平台，又称之为数据湖平台（DataLakePlatform），其综合传统的数据库与数据仓库的核心功能，提供多样化的数据集成、数据处理以及数据存储的平台能力

uesowys·2022-10-08 08:27

大数据技术栈

2024进厂·2022-10-04 14:36

终于有人把数据仓库讲明白了

作者：彭锋宋文欣孙浩峰来源：大数据DT（ID：hzdashuju）数据仓库是一个面向主题的、集成的、随时间变化但信息本身相对稳定的数据集合，用于支持管理决策过程。

大数据v·2022-10-03 07:05

全国计算机等级考试三级数据库技术（十四）

◆常考知识点有:1.了解决策支持系统的发展及演化2.掌握数据仓库的概念与特性及元数据内容3.熟悉数据仓库设计需求、数据模型和设计步骤4.熟悉数据仓库的运行及维护5.熟悉多维分析概念和基本操作、理解OLAP

理想三旬不止·2022-10-03 07:32

数据库、数据仓库、大数据平台、数据中台、数据湖大对比

灵境旅行家·2022-10-03 07:31

数据仓库系列7-ETL 子系统与技术

需求综合1.1业务需求1.2合规性1.3数据质量1.4安全性1.5数据集成1.6数据延迟1.7归档与世系1.8Bl发布接口1.9可用的技能1.10传统的许可证书二.ETL的34个子系统三.获取：将数据插入到数据仓库中

只是甲·2022-10-03 07:54

数据仓库与数据挖掘课后思考题整理

数据仓库与数据挖掘课后思考题整理文章目录数据仓库与数据挖掘课后思考题整理1数据仓库概述思考题2数据仓库及其设计思考题实践题3OLAP技术思考题课后书面作业4数据挖掘概述思考题5关联分析思考题实践题7分类方法思考题实践题

九陌斋·2022-10-03 07:51

第14章数据仓库与数据挖掘

数据仓库技术所解决的问题是如何更合理和更有效地组织企业的数据体系，以更好地满足企业信息型应用对数据的要求,降低企业的数据管理、数据获取和数据集成的成本,提高数据系统响应速度，提高数据质量和数据的一致性。

修罗神天道·2022-10-03 07:59

计算机三级数据库技术第14章数据仓库与数据挖掘

14.1决策支持系统的发展14.1.1决策支持系统及其演化➢般将数据分为：分析型数据操作型数据：由企业的基本业务系统产生的数据，用于联机处理环境（OLTP）。➢决策支持系统(DSS)：综合利用大量数据，有机组合众多模型（数学模型和数据处理模型），通过人机交互，辅助各级决策者实现科学决策的系统。➢Keen和ScottMorton于70年代中期首次提出了"决策支持系统”(DecisionSupport

星羽空间·2022-10-03 07:16

数据库、数据仓库、大数据平台、数据中台、数据湖对比分析

csdn-延·2022-10-03 07:13

数据的世界

大数据、数据库、数据仓库、大数据平台、数据中台、数据湖随着社会的发展，数据的价值越来越被重视，数据的应用也越来越复杂，对于层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系

小旗·2022-10-03 07:42

计算机三级数据库数据仓库与数据挖掘（二）、数据仓库、面向主题、不可直接修改、批量访问、数据的粒度级设计、决策支持、元数据、封锁粒度、维护策略、实时维护、延时维护、快照维护、

14.在具有数据仓库的企业数据环境中，数据仓库数据一般都具有许多特点，下列都属于其特点的是A、面向主题、不可直接修改、批量访问B、面向主题、可直接修改、性能要求较为宽松C、集成的、可直接修改、批量访问D

Redamancy_06·2022-10-03 07:09

计算机三级数据库数据仓库与数据挖掘（一）、快照方式、元数据、数据仓库中数据特征、机器学习、聚类方法、分类算法、决策支持系统、表数据的粒度级、分布式数据库、

1.在建立数据仓库的数据集成工作中，需要采用适当的策略从数据源获取变化数据。

Redamancy_06·2022-10-03 07:04

数据挖掘和数据仓库之间的区别

数据挖掘用于依靠在数据仓库阶段收集的数据来检测重要模式。数据挖掘和数据仓库都被视为数据分析的一部分。但它们以不同的方式工作。本博客将探讨两者之间的差异，以及一个是否可以在没有另一个的情况下存在。

骨灰级收藏家·2022-09-29 19:54

大数据开发工程师是做什么的？岗位要求高吗？

大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。

我想去吃ya·2022-09-28 10:33

大数据高级开发工程师——Hive学习笔记（1）

下载安装包3.解压4.修改配置文件5.修改日志配置文件6.拷贝mysql驱动包7.配置Hive的环境变量8.初始化元数据库9.验证安装10.通过beeline连接代理服务器hiveserver2操作hive数据仓库概念数据仓库的基本概念数据仓库的主要特征数据仓库与数据库区别数据仓库分层架构

斗志昂-杨先生·2022-09-28 09:31

推荐频道

--------【数据仓库】