--------【数据仓库】第50页

三张图讲清楚大数据基础设施Hadoop、Lambda、kappa架构

关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进都代表着业务需求变化的趋势、技术的演进。除了数据处理方式在演进之外，数据处理的基础措施也在不断的演进

优越学院UU老师·2023-04-06 18:02

数仓设计流程规范 2020-05-29

2.选择满足数据仓库系统要求的软件平台选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、

迷藏_·2023-04-06 17:13

Vue3.0 —— 公共数据、网络、路由、数据仓库（Pinia）的配置

一、公共数据的配置因为v2使用公共配置时一般绑定在原型上无论是否使用都在每一个组件的this链上,这样的设计不太友好,v3提供了专门公共数据配置的方式:globalPropertiesgetCurrentInstancemain.js文件中：import{createApp}from'vue'importAppfrom'./App.vue'constapp=createApp(App)app.co

z_小张同学·2023-04-06 16:07

新一代数仓架构-Snowflake弹性数仓

引言Snowflake成立于2012年，Snowflake销售的数据仓库软件能在亚马逊的云端运行，能为企业提供高性能、易扩张的环境去存储大规模的信息，用以机器学习算法等应用的处理。随着企

一弦思华年·2023-04-06 16:00

探索 Snowflake Automatic Clustering 设计

ContextSnowflakeIPO大火之后大家开始慢慢了解到这个完全基于云架构而设计的新式数据仓库。

Databend·2023-04-06 15:02

ETL数据处理

风口的梅梅·2023-04-06 10:25

ETL工具与调度工具的区别（一）

简而概之就是，将数据从数据源进行抽取、进行清洗转换、最后加载到数仓模型中，在数据仓库中起到了承前启后的作用。常见的ETL工具有：kettle、RestCloud、informat

Moia Control·2023-04-06 10:52

数据仓库模型说明

1.数仓概述数据仓库的建设是一个过程，而不是一个项目。在这个过程中我们需要形成自己的规范，以方便管理和维护。

高广超·2023-04-06 09:02

Hive的安装和配置

来源：千峰科技王从明老师第三节：Hive的简介3.1什么是HiveHive是一个数据仓库的工具，它可以将一个分布式文件系统上的有结构的文件映射成一张表，可以使用类sql语言进行对文件的查询、管理等操作。

如虎添·2023-04-06 06:33

Hive简介

2)构建在Hadoop之上的数据仓库。3)Hive定义了一种类SQL的查询语言：HQL（类sql但不完全相同），在离线处理的中非常受欢迎，到目前为止还很受欢迎。

机灵鬼鬼·2023-04-06 05:44

Doris数据仓库总结

目录一、Doris简介二、Doris的定位三、产品定位四、Doris的整体架构五、Doris的数据分布六、Doris的关键性技术6.1数据可靠性6.2易于维护6.3ROLLUP表七、Doris的数据模型7.1aggregate聚合模型7.2uniqukey模型7.3duplicatekey模型7.4数据模型的选择建议八、数据组织(存储原则)--按列存储九、索引：9.1前缀索引：9.2智能索引十、m

你的玉哥·2023-04-06 04:20

爱奇艺的数仓架构

首先介绍一下爱奇艺公司整体的业务情况以及数据仓库1.0的设计和出现的问题，针对数仓1.0的缺陷，是如何演进到数仓2.0架构以及数仓2.0需要解决的问题和需要达成的目标。

javastart·2023-04-06 01:31

三十一、《大数据项目实战之用户行为分析》Spark SQL与Hive整合

Hive是一个基于Hadoop的数据仓库架构，使用SQL语句读、写和管理大型分布式数据集。

大数据张老师·2023-04-05 23:12

三十二、《大数据项目实战之用户行为分析》Spark SQL操作Hive的几种方式

SparkSQL与Hive整合成功后，可以使用以下几种方式对Hive数据仓库进行操作。1.SparkSQL终端操作SparkSQL终端启动后，可以直接使用HiveQL语句对Hive数据仓库进行操作。

大数据张老师·2023-04-05 23:12

Spark SQL实战(08)-整合Hive

1整合原理及使用ApacheSpark是一个快速、可扩展的分布式计算引擎，而Hive则是一个数据仓库工具，它提供了数据存储和查询功能。在Spark中使用Hive可以提高数据处理和查询的效率。

JavaEdge.·2023-04-05 22:01

Hive基本概念

基于Hadoop的数据仓库解决方案将结构化的数据文件映射为数据库表提供类sql的查询语言HQL（HiveQueryLanguage）Hive让更多的人使用Hadoop为什么要使用Hive？

小财迷，嘻嘻·2023-04-05 22:53

网易数据湖探索与实践

从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。主要内容包括：数据仓库平台建设的痛点数据湖Iceberg的核心原理数据湖Iceber

刘狗·2023-04-05 17:22

万字详解大数据架构新概念

来源：五分钟学大数据随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。

开源Linux·2023-04-05 17:20

网易数据湖探索与实践-范欣欣

从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。

浪尖聊大数据-浪尖·2023-04-05 17:44

数据湖探索与实践

01数据仓库平台建设的痛点痛点一：我们凌晨一些大的离线任务经常会因为一些原因出现延迟，这种延迟会导致核心报表的产出时间不稳定，有些时候会产出比较早，但是有时候就可能会产出比较晚，业务很难接受。

hellozhxy·2023-04-05 17:22

Hadoop实践（零）---Hadoop作为数据湖

将这种方法与传统的关系数据库或数据仓库对比。向数据库中添加数据的

狮锅艺·2023-04-05 17:47

数据湖：网易严选的数据湖实践

1.数据湖vs数据仓库2.数据湖的优势五、落地实践六、数据集成七、数仓建设八、特征工程九、未来规划一、业务背景网易严选在2017年中开始搭建自己的大数据体系，如今该体系已经支撑了严选的商业分析、搜索、推荐

Freedom3568·2023-04-05 17:09

如何打造一个顶尖的精确营销系统？

这是傅一平的第338篇原创【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702为好友后入群。

傅一平·2023-04-05 16:12

OLAP系统林林总总

离线数据统计，通常是T+1出数，是最典型的数据仓库解决的问题。计算复杂性最高，所以是时间就不能要求太高，否则对资源的要求将是非常高。比如计算DAU、留存等指标。

TechingOn·2023-04-05 15:33

数据仓库概论

数据仓库概论数据仓库，英文名称DataWarehouse，可简写为DW和DWH，数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，它为企业提供一定的BI（商业智能）能力

NeilNiu·2023-04-05 13:49

Hive概论、架构和基本操作

Hive是一个构建在Hadoop上的数据仓库框架，最初，Hive是由Facebook开发，后台移交由Apache软件基金会开发，并做为一个Apache开源项目。

NeilNiu·2023-04-05 13:50

3.阿里大数据——数据同步

数据采集：日志采集数据同步一、数据同步数据从业务系统同步进入数据仓库1.源数据类型关系数据库的结构化数据：mysql、oracle、db2、sqlserver等非关系型数据库等非结构化数据：oceanBase

路小漫·2023-04-05 11:18

大数据项目实战之数据仓库：数仓数据同步策略——第3章数仓环境准备

文章目录第3章数仓环境准备3.1Hive安装部署3.2Hive元数据配置到MySQL3.2.1拷贝驱动3.2.2配置Metastore到MySQL3.3启动Hive3.3.1初始化元数据库3.3.2启动Hive客户端第3章数仓环境准备3.1Hive安装部署1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-hive-

yiluohan0307·2023-04-05 10:10

Doris入门（概念理解）

定位Doris的定位是面向在线报表和分析的数据仓库系统，可以对标于商业的MPP数据仓库系统，比如Greenplum、Vertica、Teradata等。整体架构Doris的整体架构分为两层。

吉大大_吉大大·2023-04-05 08:00

Doris 学习总结

首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、兼容MySQL协议的，高性能的，分布式关系型列式数据库，用于报告和分析。

Seniscz·2023-04-05 07:10

五年数据库专家，深入剖析高性能MySQL架构系统，不来后悔一辈子

同时，MySQL既可以嵌入到应用程序中，也可以支持数据仓库、内容索引和部署软件、高可用的冗余系统、在线事务处理系统(OLTP)等各种应用类型。成为一名架构师几乎是所有程序员的梦想，然而在这大数据时代

可否分类前端后端c等分类不要互相伤害·2023-04-05 07:20

大数据之非常详细Spark SQL操作Hive的读写过程

大数据大数据之非常详细SparkSQL操作Hive的读写过程大数据目录大数据一、SparkSQL架构和原理1.shark和hive关系2.Hive的两种功能2.1作为数据仓库提供存储功能2.2作为查询引擎提供检索查询功能

派大星子fff·2023-04-05 02:13

HIVE数据库与ORACLE数据库有什么区别,目前HIVE数据库不支持哪些函数?

由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。b.数据存储位置。

空凯空凯空空凯·2023-04-05 01:57

impala 基础知识及使用

基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。

¥程序猿¥·2023-04-04 23:03

Impala基本介绍及架构介绍

impala是基于hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。impala数据流理解impala优点与缺点优点1、基于内存运算，不需要把中间结果

FOX有爱·2023-04-04 22:02

Impala架构概述

概述Imala是基于Hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。

Nekou_·2023-04-04 22:14

ODS 介绍

它主要用于支持企业处理业务应用和存储面向主题的、即时性的集成数据，为企业决策者提供当前细节性的数据，通常作为数据仓库的过渡阶段。

post_yuan·2023-04-04 22:41

impala实战篇

基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。

AllenGd·2023-04-04 22:36

专家指南：大数据数据建模的常见问题

众所周知，大数据系统围绕结构需求的形式化程度较低，但是对于数据仓库继续为传统用例提供服务而言，建模仍然是非常重要的功能。

大数据杂货铺·2023-04-04 20:58

大数据项目重温——电商数据仓库(一)数据生成模块

一、数据仓库1、数据仓库概念数据仓库(DataWarehouse)，可简写为DW或DWH，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。

Moody丶·2023-04-04 19:10

大数据治理技术核心：元数据管理架构设计

元数据管理是随着数据仓库的建设逐渐完善起来的，这也决定了元数据管理主要集中在数据领域。例如数据结构、数据加工转换关系等。

公众号:肉眼品世界·2023-04-04 19:02

大数据项目之企业级数据仓库实战

学习目标：大致掌握数据仓库实战的知识学习内容：1、了解数据仓库的概念（本文暂时学习目标）2、学习核心技术框架3、了解数据仓库的基本理论4、掌握数据仓库数据采集与同步5、数据仓库维度建模剖析6、了解数据仓库的规范学习目录

西顾〃∀〃·2023-04-04 19:12

大数据项目实战之数据仓库：用户行为采集平台——第2章项目需求及架构设计

第2章项目需求及架构设计2.1项目需求分析1）采集平台（1）用户行为数据采集平台搭建（2）业务数据采集平台搭建2）离线需求主题子主题指标流量主题各渠道流量统计当日各渠道独立访客数当日各渠道会话总数当日各渠道会话平均浏览页面数当日各渠道会话平均停留时长当日各渠道跳出率路径统计路径分析用户主题用户变动统计流失用户数回流用户数用户留存统计新增留存率用户活跃统计新增用户数活跃用户数用户行为漏斗分析首页浏览

yiluohan0307·2023-04-04 19:56

手把手教数据仓库建设dataworks（小白版）

阿里云数据仓库体系目前构建数据仓库的技术主要为开源框架，像Hadoop，hive，kafka，flink，spark等等，如果自己从0到1去搭建整个数据仓库工作量比较大，且对于性价比不高，故我们采用现成的阿里云提供的数据仓库

菩提树下的呆子·2023-04-04 18:42

数据集成的两种架构：ELT和ETL

算法实现可以理解，就是通过数据挖掘算法，从数据仓库中找到“金子什么是ETL呢？ETL是英文Extract.Transform和Load的缩写，顾名思义它包括了数据抽取、转换、加载三个过程。

Nexadata·2023-04-04 14:28

数仓模型之维度建模

简单而言，数据仓库的核心目标是为展现层提供优质服务。其中包含ETL过程、数仓规范、数仓分层等建设流程，最终提供更清晰易用的展现层。

奔跑者-辉·2023-04-04 12:16

浅谈数仓建模

1、数据仓库建模的目的大家知道为什么要进行数据仓库建模？大数据的数仓建模是通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。

奔跑者-辉·2023-04-04 12:46

数据仓库和实时数据集市之间的区别？

几乎每个公司都存在数据仓库多年。尽管它们仍然与20年前一样好，并且与相同的用例相关，但它们无法解决新的，现有的挑战，并且肯定会在不断变化的数字世界中出现。

danpu0978·2023-04-04 12:14

Hive使用中常见的问题及解决方法

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供SQL查询功能。在工作中大部分场景都会用到，下面列出几个hive使用中常见的问题及解决方法。

小吴学数据·2023-04-04 12:09

大数据技术人员工具包最全集合

数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。

大数据—————————————————·2023-04-04 11:29

推荐频道

--------【数据仓库】