数据湖数据仓库

【软考】系统架构设计风格分类的个人理解

常见架构类型和常见分类常见的软考中出现的系统架构列举如下：分层架构管道-过滤器架构客户端-服务器架构模型-视图-控制器架构，即MVC架构事件驱动架构微服务架构黑板架构解释器模式数据仓库风格架构面向服务架构网上查找到的资料一般把架构分为五类架构风格
darkpush·2023-07-20 13:44

ELT太慢怎么行，试试PolyBase？

这个时候我们通常会倾向于采用ELT（ExtractLoadandTransform)，顾名思义，先把未处理的数据放在一个集中的数据湖(DataLake或者对象
Kele_73b1·2023-07-20 02:58

大数据测试之数据仓测试怎么做（上）

前面的文章我们为大家介绍了大数据测试平台和大数据系统的测试方法，接下来我们重点来讲一下数据仓库测试，首先看一下它的定义。
daopuyun·2023-07-19 23:44

描述性统计理论学习

0x00前言最近由好友推荐加入了一个名为数据异次元的微信群，群主是鹅厂做数据仓库等数据方面的大佬木东居士，在看了大部分他的公众号（、微信公众号同名：木东居士）之后深有感触，越来越觉得自己在数据这块懂的是真的浅薄
KeKe_W·2023-07-19 21:48

MySQL的存储引擎

常应用于日志和数据仓库。InnoDB：InnoDB表类型可以看作是
其然乐衣·2023-07-19 21:24

Hive基本操作

基本概念Hive是基于Hadoop的一个【数据仓库工具】，可以将结构化和半结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。
枫叶梨花·2023-07-19 18:26

Hive概述

Hive一Hive基本概念1Hive简介学习目标-了解什么是Hive-了解为什么使用Hive####1.1什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表
Wzideng·2023-07-19 15:13

Flink CDC和FlinkX与数据湖

FlinkX使用简介与安装FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQLbinlog，Kafka等。FlinkX目前包含下面这些特性：●大部分插件支持并发读写数据，可以大幅度提高读写速度；●部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复●关系数据库的Reader插件支
贾斯汀玛尔斯·2023-07-19 13:06

湖仓一体

https://m.sohu.com/a/420690978_355140/近几年，随着数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么？
七_seven·2023-07-19 13:37

信息系统管理师软考笔记 第一章 信息化和信息系统 2-系统集成

1、网络标准和网络协议2、网络设备3、网络服务器4、网络存储技术5、网络接入技术6、网络规划与设计7、数据库管理系统8、数据仓库技术9、中间件技术10、高可用性和高可靠的规划与设计网络协议：为计算机在网络中进行数据交换而建立的规则
陈金泽·2023-07-19 11:28

Hive 托管表、外部表和事务表

Hive托管表Hive是一个基于Hadoop的数据仓库基础架构，用于处理大规模数据集。Hive允许你使用类似于SQL的查询语言（称为HiveQL）来分析存储在Hadoop集群上的数据。
贾斯汀玛尔斯·2023-07-19 10:37

数据仓库系列5-Kimbal DW/BI生命周期概述

image.png一.生命周期初始活动1.1程序／项目规划与管理毫无疑问，DW/BI始于一系列的程序和项目规划活动。1.1.1评估准备  在开始DW/Bl工作前，有必要花点时间评估组织的准备工作。基于与上百家客户约谈所积累的经验，我们认为有三种因素可用于区分项目能够顺利开展还是需要付出艰辛的努力。这些因素将成为决定DW/BI是否成功的先行指标。我们将按照重要性讨论这些特征。  最关键的准备因素是有
只是甲·2023-07-19 07:55

sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed

sqoop报错：ERRORtool.ImportTool:Errorduringimport:Importjobfailed图片：可能是文件权限修改hive数据仓库权限hadoopfs-chmod777
墨卿风竹·2023-07-18 23:44

离线数据仓库

一、数据仓库1.数据仓库的概念1）数据仓库的特点：面向主题的：对数据进行整合、分析和归类的抽象集成的：将不同数据源的数据（业务数据、外部系统数据、埋点日志）经过统一编码、规范命名、字段类型转换等操作，整合到仓库相对稳定的
青果HA·2023-07-18 22:59

大数据hadoop生态体系之Hive的基本操作(15)

Hive数据仓库基于shell命令行基本操作（DDL/DML）：首先启动hive数据库仓库的shell脚本模式：命令：/opt/mysoft/hive/bin/hive1>查看当前Hive中有哪些数据库
welun·2023-07-18 22:42

ETL学习笔记之一：ETL是什么？

对于数据仓库以及ETL的知识，我基本上是个门外汉。一切都得从头开始，记个笔记，方便自已了解学习进度。首先，我们来了解最基本的定义：嗯，也有人将ETL简单称为数据抽取。
tiger119·2023-07-18 18:36

Hive简介及源码编译

Hive简介：Hive是一个基于Hadoop的数据仓库，可以将结构化数据映射成一张表，并提供类SQL的功能，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、MapReduce作为执行层
K_un·2023-07-18 09:42

hive底层原理 sql执行过程_[Hive]HiveSQL解析原理

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
weixin_39605835·2023-07-18 08:48

HiveSQL编程模板及注意事项

目录0引言1模板代码2代码分析及注意事项0引言hive是数据仓库、数据分析人员必用的工具之一。
莫叫石榴姐·2023-07-18 08:42

离线数仓16—— DolphinSchedule工作流调度

文章目录第13章数据仓库工作流调度13.1调度工具部署13.2新数据生成13.2.1用户行为日志13.2.2业务数据13.3工作流调度实操13.3.1DolphinScheduler集群模式13.3.2DolphinScheduler
就是这个范~·2023-07-18 07:14

Iceberg 初见

Iceberg是一个开源的大数据存储和计算平台，它的设计目标是为了解决传统数据仓库在处理大规模数据时的性能问题。本文将介绍Iceberg的基本概念、架构和特点，并讨论它在大数据领域的应用场景。
GP0000968523·2023-07-18 01:25

数据仓库性能测试方法论与工具集

目录文章目录目录数据仓库v.s.传统数据库数据仓库性能测试案例性能指标测试方案测试场景测试数据集测试用例性能指标测试脚本工具基准环境准备硬件环境软件环境测试操作步骤Cloudwave执行步骤导入数据集TestCase1
范桂飓·2023-07-17 23:22

数据湖：存储全量数据，快速实现洞察

“数仓出局，中台已凉，数据湖将称王！”目前，市场上出现了这样一种说法，估计大多数人很难评断真伪。既便是专业人士，也不会武断地做出这样的研判，毕竟数据湖并不是为了取代数仓而生的。
Z1Y492Vn3ZYD9et3B06·2023-07-17 23:05

数据平台之数仓模型设计

雪花模式2.3星座模式三、ChatGPT代替SqlBoy3.1简单案例3.2复杂案例四、总结前言看到几篇不错的文章，自己总结合并了分享给小伙伴金博尔和恩门共同开创的数仓建模的设计方法，这个方法对于后来基于数据湖的现代数据仓库的设计有重要的意义
大数据指北·2023-07-17 22:48

数仓常见问题以及解决方案yyds

文章目录01数据仓库现状业务系统侧【上游】数仓内部数据应用测【下游】02如何解决问题业务系统侧【上游】数仓内部03体系化架构设计一致性维度一致性事实数据应用侧【下游】建设可视化的取数平台大家好，我是脚丫先生
大数据指北·2023-07-17 22:48

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构
云存储小天使·2023-07-17 15:54

疑问之事实表和维度表各是什么

事实表每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务所产生的数据，事实数据表通常包含大量的行。
小冕·2023-07-17 10:40

OLAP

说到olap就不得不先介绍一下数据仓库，因为olap就是基于数据仓库基础上面向分析的对多维模型进行各类操作的集合。数据仓库的概念模型最流行的数据仓库概念是多维数据模型。
茂盛哥哥·2023-07-17 09:35

Flink集成Hive之快速入门--以Flink1.12为例

使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。
大数据技术与数仓·2023-07-17 09:32

贪心十周成为数据分析师

大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。
威笑mcspmm·2023-07-17 08:13

【Android开发】2022Android官方架构指南系列文章

Repository：数据仓库类，其使用DataSource处理业务逻辑，并
程序员小森·2023-07-17 03:29

sqlflow简介，在线版：使用sqlflow，本地版：在windows上安装sqlflow

在大型数据仓库中，完整的数据血缘关系可以用来进行数据溯源、表和字段变更的
偷偷学习被我发现·2023-07-17 03:06

【数据仓库】BI看板DataEase入坑指南

开头夸夸国产开源BI软件DataEase，支持常见各种报表，还支持图表联动和上下级钻取，超赞有木有！！！再来为什么说入坑，源码启动各种不服啊。本地用的maven3.5一直导入不了Java项目backend。后来看了官网bilibili源码启动视频，搞了1个多小时。注意和官方的软件版本一定要适配才行，这点真的要注意，国产兼容性有待提高。本文最后更新在Windows下源码部署安装DataEase步骤。
wenchun001·2023-07-16 18:02

数据库，数据仓库，数据湖

数据仓库四层分层ODS——原始数据层：存放原始数据ODS层即操作数据存储，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层；一般来说ODS层的数据和源系统的数据是同构的
羞儿·2023-07-16 18:01

实时数仓详解

本专栏目录结构和参考文献请见大数据理论体系背景伴随着社会的发展，用户对数据仓库的要求越来越高。关于数据仓库请参考我的博客——数据仓库是什么？
Shockang·2023-07-16 17:18

数据仓库是如何分层的？

本专栏目录结构和文献引用请见《大数据理论体系》解答从整体的逻辑划分来讲，数据仓库模型是这三层架构。接入层:底层的数据源或者是操作数据层，一般在公司的话，统一都是称为ODS层。
Shockang·2023-07-16 17:17

数据仓库是如何建模的？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据仓库建模目前业界较为流行的数据仓库的建模方法非常多，常用的有范式建模法，维度建模法，实体建模法等几种方法。
Shockang·2023-07-16 17:17

典型的数据仓库建模方法论

本专栏目录结构和参考文献请见大数据理论体系正文ER模型数据仓库之父BillInmon提出的建模方法是从全企业的高度设计一个3NF模型，用实体关系(EntityRelationship，ER)模型描述企业业务
Shockang·2023-07-16 17:17

数据仓库与数据库的区别？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，有很高的事务要求；数据仓库存储的一般是历史数据。
Shockang·2023-07-16 17:47

OLTP和OLAP的区别？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，如银行交易；OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持
Shockang·2023-07-16 17:47

大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体

本专栏目录结构和参考文献请见大数据理论体系思维导图数据仓库数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（
Shockang·2023-07-16 17:44

hive 列转行_大数据，数据仓库，hive不能使用update更新操作解决方案

在数据仓库建设，处理日常业务需求的过程中，经常会遇到各种各样的问题。在处理更新操作数据时，遇到数据重复问题。
weixin_40000457·2023-07-16 16:53

Hive（21）：DML之Update、Delete更新、删除数据

还是面向分析，支持分析的数据仓库。这很重要。Hive是基于Hadoop的数据仓库，面向分析支持分析工具。因此在Hive中常见的操作的就是分析查询select操作。
不死鸟.亚历山大.狼崽子·2023-07-16 16:18

数据仓库的分层

离线数仓一、数仓分层源数据层(ODS)数据仓库层(DW)1.明细层(DWD)2.中间层(DWM)3.业务层(DWS)公共维度层(DIM)数据展示层(DA层)数据仓库（DataWarehouse），是为企业制定决策
Aimyon_36·2023-07-16 11:21

Hudi基础知识讲解

Hudi概述Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。
Hello.Reader·2023-07-16 10:42

apache doris数据库搭建（一）

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、
Hello.Reader·2023-07-16 10:11

数仓|大数据时代,维度建模过时了吗?

20世纪80年代末期，数据仓库技术兴起。
大数据技术与数仓·2023-07-16 07:08

redux的简单使用

actiontypeActionCreator,可以返回对象或者异步函数组件中使用全局store方式直接使用创建的store.dispatch(）使用react-redux连接redux和reactredux是一个数据仓库解决方案
新时代的弩力·2023-07-16 03:05

hadoop --- hive

Hive是一个构建在Hadoop之上的数据仓库和分析工具，她提供了一种类SQL的查询语言--HiveQL，用于将结构化的查询SQL转换为MapReduce任务和Tez任务，通过Hadoop的分布式计算能力来执行查询任务
三水写代码·2023-07-16 01:52

hive load data inpath 空目录_Hive快速入门

一句话来说，Hive是基于Hadoop的数据仓库，和MySQL语法相似，但是是完全不同的两种东西，Hive是在HDFS上层的封装实质:将HQL语句转换为MR程序，如下图所示我想大家肯定有疑问，为啥需要用
weixin_39874350·2023-07-15 22:55
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他