--------【数据仓库】第46页

eMMC和Nand的区别

也就是说你可以把Flash看成是一个二进制数据仓库，你可以用电信号擦除它（清除掉仓库

zxm8513·2023-04-07 06:25

数据中心架构

从应用层面看，包括业务系统、基于数据仓库的分析系统；从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成/整合流程；从基础设施层面看，包括服务器、网络、存储和整体IT运行维护服务。

weixin_33813128·2023-04-07 06:19

ETL 与 ELT：解开关键区别

它们是与现代云数据仓库和ETL工具的开发并行发展的流程。在任一过程中，ETL/ELT中的字母代表：E：提取，当原始数据从不同的数据源中提取时。

m0_59327713·2023-04-07 04:21

发挥现代数据栈MDS的更大价值

将碎片数据集成到集中式数据仓库依赖于ELT或ETL过程，为此您可能需要多个提供程序来连接所有源。以下步骤-存储，转换，可视化和分析-都涉及将数据重新

m0_59327713·2023-04-07 04:45

数据仓库期末复习

1、什么是“数据仓库”？数据仓库是用于存储海量数据以及供分析决策的工具。

陈希瑞·2023-04-07 01:18

第七章数据仓库的链路优化

1、CDM概述CDM：公共数据层，由DWD+DWS+ADS+DIM共同构成（1）DWD核心：公共处理逻辑收敛和下沉（2）DWS+ADS的核心：统一公共指标和公共维度，减少数据的不一致性（3）DIM核心：建立整个业务范围内的一致性维度，并确保使用；2、公用数据沉淀CDM层需不断根据上游的数据需求，将公用数据沉淀到CDM层，为其他的数据需求提供服务，减少重复计算并统一口径，开发过程是不断迭代的3、链路

随缘清风殇·2023-04-07 01:56

数据仓库综述

1.传统数据和数据仓库1.1数据仓库和传统业务数据库业务数据是面向业务处理，即事务处理的—OLTP。数据仓库是面向业务分析，决策—OLAP。

breeze的一切·2023-04-06 23:22

MPP数据库简介及架构分析

特性并行处理超大规模数据仓库真正适合什么典型的分析工作量数据集中化线性可伸缩性MPP架构技术特性数据库架构分析SharedEverythingSharedDiskShareMemorySharedNothingSharedNothing

代码大师麦克劳瑞·2023-04-06 22:09

Kylin前置基础知识了解

1、数据仓库、OLAP与BI数据仓库数据仓库，英文名称DataWarehouse，简称DW。

我还不够强·2023-04-06 19:06

大数据开发之Apache Hive

大数据开发之ApacheHive1.概述ApacheHive是一款建立在hadoop生态之上的开源数据仓库系统，可以把储存在Hadoop文件中结构化，半结构化得到数据文件映射成一张数据库表，然后基于数据库表提供一种类似

C0oOder·2023-04-06 19:37

大数据之Hive

.Hive与Hadoop的关系Hive的安装部署1.derby版hive直接使用2.基于mysql管理元数据版hive外部表操作案例Hive的基本了解1.什么是HiveHive是基于Hadoop的一个数据仓库工具

韩家阿杰·2023-04-06 19:55

【大数据】Hive基础知识

Hive最适合于数据仓库应用程序，使用该应用程序进行相关的静态数据分析，不需要快速响应给出结果，而且数据本身不会频繁变化。Hive不是一个完整的数据库。

皮皮要HAPPY·2023-04-06 18:37

大数据Hive之Hive的结构

derby2.3解释器、编译器、优化器、执行器3.Hive和普通DB的异同4.元数据5.数据存储1.Hive结构介绍Hive构建在Hadoop的HDFS和MapReduce之上，用于管理和查询结构化/非结构化数据的数据仓库

RunFromHere·2023-04-06 18:07

三张图讲清楚大数据基础设施Hadoop、Lambda、kappa架构

关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进都代表着业务需求变化的趋势、技术的演进。除了数据处理方式在演进之外，数据处理的基础措施也在不断的演进

优越学院UU老师·2023-04-06 18:02

数仓设计流程规范 2020-05-29

2.选择满足数据仓库系统要求的软件平台选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、

迷藏_·2023-04-06 17:13

Vue3.0 —— 公共数据、网络、路由、数据仓库（Pinia）的配置

一、公共数据的配置因为v2使用公共配置时一般绑定在原型上无论是否使用都在每一个组件的this链上,这样的设计不太友好,v3提供了专门公共数据配置的方式:globalPropertiesgetCurrentInstancemain.js文件中：import{createApp}from'vue'importAppfrom'./App.vue'constapp=createApp(App)app.co

z_小张同学·2023-04-06 16:07

新一代数仓架构-Snowflake弹性数仓

引言Snowflake成立于2012年，Snowflake销售的数据仓库软件能在亚马逊的云端运行，能为企业提供高性能、易扩张的环境去存储大规模的信息，用以机器学习算法等应用的处理。随着企

一弦思华年·2023-04-06 16:00

探索 Snowflake Automatic Clustering 设计

ContextSnowflakeIPO大火之后大家开始慢慢了解到这个完全基于云架构而设计的新式数据仓库。

Databend·2023-04-06 15:02

ETL数据处理

风口的梅梅·2023-04-06 10:25

ETL工具与调度工具的区别（一）

简而概之就是，将数据从数据源进行抽取、进行清洗转换、最后加载到数仓模型中，在数据仓库中起到了承前启后的作用。常见的ETL工具有：kettle、RestCloud、informat

Moia Control·2023-04-06 10:52

数据仓库模型说明

1.数仓概述数据仓库的建设是一个过程，而不是一个项目。在这个过程中我们需要形成自己的规范，以方便管理和维护。

高广超·2023-04-06 09:02

Hive的安装和配置

来源：千峰科技王从明老师第三节：Hive的简介3.1什么是HiveHive是一个数据仓库的工具，它可以将一个分布式文件系统上的有结构的文件映射成一张表，可以使用类sql语言进行对文件的查询、管理等操作。

如虎添·2023-04-06 06:33

Hive简介

2)构建在Hadoop之上的数据仓库。3)Hive定义了一种类SQL的查询语言：HQL（类sql但不完全相同），在离线处理的中非常受欢迎，到目前为止还很受欢迎。

机灵鬼鬼·2023-04-06 05:44

Doris数据仓库总结

目录一、Doris简介二、Doris的定位三、产品定位四、Doris的整体架构五、Doris的数据分布六、Doris的关键性技术6.1数据可靠性6.2易于维护6.3ROLLUP表七、Doris的数据模型7.1aggregate聚合模型7.2uniqukey模型7.3duplicatekey模型7.4数据模型的选择建议八、数据组织(存储原则)--按列存储九、索引：9.1前缀索引：9.2智能索引十、m

你的玉哥·2023-04-06 04:20

爱奇艺的数仓架构

首先介绍一下爱奇艺公司整体的业务情况以及数据仓库1.0的设计和出现的问题，针对数仓1.0的缺陷，是如何演进到数仓2.0架构以及数仓2.0需要解决的问题和需要达成的目标。

javastart·2023-04-06 01:31

三十一、《大数据项目实战之用户行为分析》Spark SQL与Hive整合

Hive是一个基于Hadoop的数据仓库架构，使用SQL语句读、写和管理大型分布式数据集。

大数据张老师·2023-04-05 23:12

三十二、《大数据项目实战之用户行为分析》Spark SQL操作Hive的几种方式

SparkSQL与Hive整合成功后，可以使用以下几种方式对Hive数据仓库进行操作。1.SparkSQL终端操作SparkSQL终端启动后，可以直接使用HiveQL语句对Hive数据仓库进行操作。

大数据张老师·2023-04-05 23:12

Spark SQL实战(08)-整合Hive

1整合原理及使用ApacheSpark是一个快速、可扩展的分布式计算引擎，而Hive则是一个数据仓库工具，它提供了数据存储和查询功能。在Spark中使用Hive可以提高数据处理和查询的效率。

JavaEdge.·2023-04-05 22:01

Hive基本概念

基于Hadoop的数据仓库解决方案将结构化的数据文件映射为数据库表提供类sql的查询语言HQL（HiveQueryLanguage）Hive让更多的人使用Hadoop为什么要使用Hive？

小财迷，嘻嘻·2023-04-05 22:53

网易数据湖探索与实践

从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。主要内容包括：数据仓库平台建设的痛点数据湖Iceberg的核心原理数据湖Iceber

刘狗·2023-04-05 17:22

万字详解大数据架构新概念

来源：五分钟学大数据随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。

开源Linux·2023-04-05 17:20

网易数据湖探索与实践-范欣欣

从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。

浪尖聊大数据-浪尖·2023-04-05 17:44

数据湖探索与实践

01数据仓库平台建设的痛点痛点一：我们凌晨一些大的离线任务经常会因为一些原因出现延迟，这种延迟会导致核心报表的产出时间不稳定，有些时候会产出比较早，但是有时候就可能会产出比较晚，业务很难接受。

hellozhxy·2023-04-05 17:22

Hadoop实践（零）---Hadoop作为数据湖

将这种方法与传统的关系数据库或数据仓库对比。向数据库中添加数据的

狮锅艺·2023-04-05 17:47

数据湖：网易严选的数据湖实践

1.数据湖vs数据仓库2.数据湖的优势五、落地实践六、数据集成七、数仓建设八、特征工程九、未来规划一、业务背景网易严选在2017年中开始搭建自己的大数据体系，如今该体系已经支撑了严选的商业分析、搜索、推荐

Freedom3568·2023-04-05 17:09

如何打造一个顶尖的精确营销系统？

这是傅一平的第338篇原创【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702为好友后入群。

傅一平·2023-04-05 16:12

OLAP系统林林总总

离线数据统计，通常是T+1出数，是最典型的数据仓库解决的问题。计算复杂性最高，所以是时间就不能要求太高，否则对资源的要求将是非常高。比如计算DAU、留存等指标。

TechingOn·2023-04-05 15:33

数据仓库概论

数据仓库概论数据仓库，英文名称DataWarehouse，可简写为DW和DWH，数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，它为企业提供一定的BI（商业智能）能力

NeilNiu·2023-04-05 13:49

Hive概论、架构和基本操作

Hive是一个构建在Hadoop上的数据仓库框架，最初，Hive是由Facebook开发，后台移交由Apache软件基金会开发，并做为一个Apache开源项目。

NeilNiu·2023-04-05 13:50

3.阿里大数据——数据同步

数据采集：日志采集数据同步一、数据同步数据从业务系统同步进入数据仓库1.源数据类型关系数据库的结构化数据：mysql、oracle、db2、sqlserver等非关系型数据库等非结构化数据：oceanBase

路小漫·2023-04-05 11:18

大数据项目实战之数据仓库：数仓数据同步策略——第3章数仓环境准备

文章目录第3章数仓环境准备3.1Hive安装部署3.2Hive元数据配置到MySQL3.2.1拷贝驱动3.2.2配置Metastore到MySQL3.3启动Hive3.3.1初始化元数据库3.3.2启动Hive客户端第3章数仓环境准备3.1Hive安装部署1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-hive-

yiluohan0307·2023-04-05 10:10

Doris入门（概念理解）

定位Doris的定位是面向在线报表和分析的数据仓库系统，可以对标于商业的MPP数据仓库系统，比如Greenplum、Vertica、Teradata等。整体架构Doris的整体架构分为两层。

吉大大_吉大大·2023-04-05 08:00

Doris 学习总结

首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、兼容MySQL协议的，高性能的，分布式关系型列式数据库，用于报告和分析。

Seniscz·2023-04-05 07:10

五年数据库专家，深入剖析高性能MySQL架构系统，不来后悔一辈子

同时，MySQL既可以嵌入到应用程序中，也可以支持数据仓库、内容索引和部署软件、高可用的冗余系统、在线事务处理系统(OLTP)等各种应用类型。成为一名架构师几乎是所有程序员的梦想，然而在这大数据时代

可否分类前端后端c等分类不要互相伤害·2023-04-05 07:20

大数据之非常详细Spark SQL操作Hive的读写过程

大数据大数据之非常详细SparkSQL操作Hive的读写过程大数据目录大数据一、SparkSQL架构和原理1.shark和hive关系2.Hive的两种功能2.1作为数据仓库提供存储功能2.2作为查询引擎提供检索查询功能

派大星子fff·2023-04-05 02:13

HIVE数据库与ORACLE数据库有什么区别,目前HIVE数据库不支持哪些函数?

由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。b.数据存储位置。

空凯空凯空空凯·2023-04-05 01:57

impala 基础知识及使用

基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。

¥程序猿¥·2023-04-04 23:03

Impala基本介绍及架构介绍

impala是基于hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。impala数据流理解impala优点与缺点优点1、基于内存运算，不需要把中间结果

FOX有爱·2023-04-04 22:02

Impala架构概述

概述Imala是基于Hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。

Nekou_·2023-04-04 22:14

ODS 介绍

它主要用于支持企业处理业务应用和存储面向主题的、即时性的集成数据，为企业决策者提供当前细节性的数据，通常作为数据仓库的过渡阶段。

post_yuan·2023-04-04 22:41

推荐频道

--------【数据仓库】