数据仓库

信息系统管理师软考笔记 第一章 信息化和信息系统 2-系统集成

1、网络标准和网络协议2、网络设备3、网络服务器4、网络存储技术5、网络接入技术6、网络规划与设计7、数据库管理系统8、数据仓库技术9、中间件技术10、高可用性和高可靠的规划与设计网络协议：为计算机在网络中进行数据交换而建立的规则
陈金泽·2023-07-19 11:28

Hive 托管表、外部表和事务表

Hive托管表Hive是一个基于Hadoop的数据仓库基础架构，用于处理大规模数据集。Hive允许你使用类似于SQL的查询语言（称为HiveQL）来分析存储在Hadoop集群上的数据。
贾斯汀玛尔斯·2023-07-19 10:37

数据仓库系列5-Kimbal DW/BI生命周期概述

image.png一.生命周期初始活动1.1程序／项目规划与管理毫无疑问，DW/BI始于一系列的程序和项目规划活动。1.1.1评估准备  在开始DW/Bl工作前，有必要花点时间评估组织的准备工作。基于与上百家客户约谈所积累的经验，我们认为有三种因素可用于区分项目能够顺利开展还是需要付出艰辛的努力。这些因素将成为决定DW/BI是否成功的先行指标。我们将按照重要性讨论这些特征。  最关键的准备因素是有
只是甲·2023-07-19 07:55

sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed

sqoop报错：ERRORtool.ImportTool:Errorduringimport:Importjobfailed图片：可能是文件权限修改hive数据仓库权限hadoopfs-chmod777
墨卿风竹·2023-07-18 23:44

离线数据仓库

一、数据仓库1.数据仓库的概念1）数据仓库的特点：面向主题的：对数据进行整合、分析和归类的抽象集成的：将不同数据源的数据（业务数据、外部系统数据、埋点日志）经过统一编码、规范命名、字段类型转换等操作，整合到仓库相对稳定的
青果HA·2023-07-18 22:59

大数据hadoop生态体系之Hive的基本操作(15)

Hive数据仓库基于shell命令行基本操作（DDL/DML）：首先启动hive数据库仓库的shell脚本模式：命令：/opt/mysoft/hive/bin/hive1>查看当前Hive中有哪些数据库
welun·2023-07-18 22:42

ETL学习笔记之一：ETL是什么？

对于数据仓库以及ETL的知识，我基本上是个门外汉。一切都得从头开始，记个笔记，方便自已了解学习进度。首先，我们来了解最基本的定义：嗯，也有人将ETL简单称为数据抽取。
tiger119·2023-07-18 18:36

Hive简介及源码编译

Hive简介：Hive是一个基于Hadoop的数据仓库，可以将结构化数据映射成一张表，并提供类SQL的功能，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、MapReduce作为执行层
K_un·2023-07-18 09:42

hive底层原理 sql执行过程_[Hive]HiveSQL解析原理

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
weixin_39605835·2023-07-18 08:48

HiveSQL编程模板及注意事项

目录0引言1模板代码2代码分析及注意事项0引言hive是数据仓库、数据分析人员必用的工具之一。
莫叫石榴姐·2023-07-18 08:42

离线数仓16—— DolphinSchedule工作流调度

文章目录第13章数据仓库工作流调度13.1调度工具部署13.2新数据生成13.2.1用户行为日志13.2.2业务数据13.3工作流调度实操13.3.1DolphinScheduler集群模式13.3.2DolphinScheduler
就是这个范~·2023-07-18 07:14

Iceberg 初见

Iceberg是一个开源的大数据存储和计算平台，它的设计目标是为了解决传统数据仓库在处理大规模数据时的性能问题。本文将介绍Iceberg的基本概念、架构和特点，并讨论它在大数据领域的应用场景。
GP0000968523·2023-07-18 01:25

数据仓库性能测试方法论与工具集

目录文章目录目录数据仓库v.s.传统数据库数据仓库性能测试案例性能指标测试方案测试场景测试数据集测试用例性能指标测试脚本工具基准环境准备硬件环境软件环境测试操作步骤Cloudwave执行步骤导入数据集TestCase1
范桂飓·2023-07-17 23:22

数据湖：存储全量数据，快速实现洞察

数据湖（DataLake）已经成为继数据库、数据仓库之后敏捷处理数据、提升数据洞察力的又一标志性的技术。摸
Z1Y492Vn3ZYD9et3B06·2023-07-17 23:05

数据平台之数仓模型设计

星座模式三、ChatGPT代替SqlBoy3.1简单案例3.2复杂案例四、总结前言看到几篇不错的文章，自己总结合并了分享给小伙伴金博尔和恩门共同开创的数仓建模的设计方法，这个方法对于后来基于数据湖的现代数据仓库的设计有重要的意义
大数据指北·2023-07-17 22:48

数仓常见问题以及解决方案yyds

文章目录01数据仓库现状业务系统侧【上游】数仓内部数据应用测【下游】02如何解决问题业务系统侧【上游】数仓内部03体系化架构设计一致性维度一致性事实数据应用侧【下游】建设可视化的取数平台大家好，我是脚丫先生
大数据指北·2023-07-17 22:48

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构
云存储小天使·2023-07-17 15:54

疑问之事实表和维度表各是什么

事实表每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务所产生的数据，事实数据表通常包含大量的行。
小冕·2023-07-17 10:40

OLAP

说到olap就不得不先介绍一下数据仓库，因为olap就是基于数据仓库基础上面向分析的对多维模型进行各类操作的集合。数据仓库的概念模型最流行的数据仓库概念是多维数据模型。
茂盛哥哥·2023-07-17 09:35

Flink集成Hive之快速入门--以Flink1.12为例

使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。
大数据技术与数仓·2023-07-17 09:32

贪心十周成为数据分析师

大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。
威笑mcspmm·2023-07-17 08:13

【Android开发】2022Android官方架构指南系列文章

Repository：数据仓库类，其使用DataSource处理业务逻辑，并
程序员小森·2023-07-17 03:29

sqlflow简介，在线版：使用sqlflow，本地版：在windows上安装sqlflow

在大型数据仓库中，完整的数据血缘关系可以用来进行数据溯源、表和字段变更的
偷偷学习被我发现·2023-07-17 03:06

【数据仓库】BI看板DataEase入坑指南

开头夸夸国产开源BI软件DataEase，支持常见各种报表，还支持图表联动和上下级钻取，超赞有木有！！！再来为什么说入坑，源码启动各种不服啊。本地用的maven3.5一直导入不了Java项目backend。后来看了官网bilibili源码启动视频，搞了1个多小时。注意和官方的软件版本一定要适配才行，这点真的要注意，国产兼容性有待提高。本文最后更新在Windows下源码部署安装DataEase步骤。
wenchun001·2023-07-16 18:02

数据库，数据仓库，数据湖

数据仓库四层分层ODS——原始数据层：存放原始数据ODS层即操作数据存储，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层；一般来说ODS层的数据和源系统的数据是同构的
羞儿·2023-07-16 18:01

实时数仓详解

本专栏目录结构和参考文献请见大数据理论体系背景伴随着社会的发展，用户对数据仓库的要求越来越高。关于数据仓库请参考我的博客——数据仓库是什么？
Shockang·2023-07-16 17:18

数据仓库是如何分层的？

本专栏目录结构和文献引用请见《大数据理论体系》解答从整体的逻辑划分来讲，数据仓库模型是这三层架构。接入层:底层的数据源或者是操作数据层，一般在公司的话，统一都是称为ODS层。
Shockang·2023-07-16 17:17

数据仓库是如何建模的？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据仓库建模目前业界较为流行的数据仓库的建模方法非常多，常用的有范式建模法，维度建模法，实体建模法等几种方法。
Shockang·2023-07-16 17:17

典型的数据仓库建模方法论

本专栏目录结构和参考文献请见大数据理论体系正文ER模型数据仓库之父BillInmon提出的建模方法是从全企业的高度设计一个3NF模型，用实体关系(EntityRelationship，ER)模型描述企业业务
Shockang·2023-07-16 17:17

数据仓库与数据库的区别？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，有很高的事务要求；数据仓库存储的一般是历史数据。
Shockang·2023-07-16 17:47

OLTP和OLAP的区别？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，如银行交易；OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持
Shockang·2023-07-16 17:47

大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体

本专栏目录结构和参考文献请见大数据理论体系思维导图数据仓库数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（
Shockang·2023-07-16 17:44

hive 列转行_大数据，数据仓库，hive不能使用update更新操作解决方案

在数据仓库建设，处理日常业务需求的过程中，经常会遇到各种各样的问题。在处理更新操作数据时，遇到数据重复问题。
weixin_40000457·2023-07-16 16:53

Hive（21）：DML之Update、Delete更新、删除数据

还是面向分析，支持分析的数据仓库。这很重要。Hive是基于Hadoop的数据仓库，面向分析支持分析工具。因此在Hive中常见的操作的就是分析查询select操作。
不死鸟.亚历山大.狼崽子·2023-07-16 16:18

数据仓库的分层

离线数仓一、数仓分层源数据层(ODS)数据仓库层(DW)1.明细层(DWD)2.中间层(DWM)3.业务层(DWS)公共维度层(DIM)数据展示层(DA层)数据仓库（DataWarehouse），是为企业制定决策
Aimyon_36·2023-07-16 11:21

数仓|大数据时代,维度建模过时了吗?

20世纪80年代末期，数据仓库技术兴起。
大数据技术与数仓·2023-07-16 07:08

redux的简单使用

actiontypeActionCreator,可以返回对象或者异步函数组件中使用全局store方式直接使用创建的store.dispatch(）使用react-redux连接redux和reactredux是一个数据仓库解决方案
新时代的弩力·2023-07-16 03:05

hadoop --- hive

Hive是一个构建在Hadoop之上的数据仓库和分析工具，她提供了一种类SQL的查询语言--HiveQL，用于将结构化的查询SQL转换为MapReduce任务和Tez任务，通过Hadoop的分布式计算能力来执行查询任务
三水写代码·2023-07-16 01:52

hive load data inpath 空目录_Hive快速入门

一句话来说，Hive是基于Hadoop的数据仓库，和MySQL语法相似，但是是完全不同的两种东西，Hive是在HDFS上层的封装实质:将HQL语句转换为MR程序，如下图所示我想大家肯定有疑问，为啥需要用
weixin_39874350·2023-07-15 22:55

源启数据资产管理平台助力金融机构加速数据资产化过程

从数据仓库到数据治理、数据应用，再到后来的大数据，以及今天的数据管理。我们把这个时期总结成数据资产化时代，或者叫国产化时代。为什么有两个名字？
zhongdianjinxin·2023-07-15 20:32

数据库 OLAP、OLTP的介绍和比较

OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLTP系统强调数据库内存效率
hiekay·2023-07-15 19:29

OLAP与OLTP的比较

OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLT
baiwacuan6352·2023-07-15 19:54

卓越的流处理：Apache Flink 对 Data Lakehouse 架构的影响

在数据驱动决策的时代，数据湖仓库范式已经成为一种有前途的解决方案，将数据湖和数据仓库的优点结合起来。
沃趣数据库管理平台·2023-07-15 16:50

数据仓库常用名词汇总

数仓为了支撑企业或组织的决策和业务分析，而从各个业务系统中抽取数据集成到一个数据存储中心，这样的数据存储中心称为数据仓库（DataWarehouse），而在搭建数据仓库时，通常会采用一些命名规范，常见的有
dkjhl·2023-07-15 12:59

大数据技术之Hadoop学习(七)——Hive数据仓库

目录素材一、数据仓库简介1、数据仓库的认识（1）数据仓库是面向主题的。（2）数据仓库是随时间变化的。
雨诺风·2023-07-15 07:48

大数据技术之Hadoop(十一)——网站流量日志数据分析系统

——数据预处理1、分析预处理的数据2、实现数据的预处理（1）创建Maven项目，添加相关依赖（2）创建JavaBean对象，封装日志记录（3）创建MapReduce程序，执行数据预处理二、模块开发——数据仓库开发
雨诺风·2023-07-15 06:53

官宣！Databend Cloud 和青云科技达成合作

本次测试是对Databend云原生数据仓库系统与青云科技公司自主研发的QingStorU10000进行严格的联合测试验证。
Databend·2023-07-15 05:19

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

数据仓库的数据体系严格、治理容易，业务规模越大，ROI越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI越低，但胜在灵活。现在，鱼和熊掌我都想要，应该怎么办？
小晨说数据·2023-07-15 01:10

九、OLAP之多维分析

联机分析处理(OnLineAnalyticalProccessing，简称OLAP)是目前数据仓库上的重要应用之一，是决策分析的关键，也是数据仓库最重要的多维分析工具，它利用存储在数据仓库中的数据完成各种分析操作
vandh·2023-07-14 23:17

Hadoop和Hive的关系

hive是一个提供了查询功能的数据仓库核心组件，Hadoop底层的hdfs为hive提供了数据存储，mapreduce为hive提供了分布式运算。两者的关系：hdfs上存储着海量的数据，我们要对这些数
红乘以白·2023-07-14 20:32
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他