【数据仓库】第25页

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris

G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris

G皮T·2023-09-20 08:38

实时分析、融合统一及云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

在国内拥有2500+中大型企业用户，用户社群聚集开发者超3万人，活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑，ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？在QCon全球软件开发大会·北京站的现场，基于ApacheDoris的商业化公司飞轮科技的CEO、A

SelectDB技术团队·2023-09-20 08:30

ETL数据加载性能优化

这些实践指南可以帮助您加快数据处理速度，提升数据仓库或数据湖的效率。随着数据量的不断增长，ETL过程中的数据加载性能成为企业面临的一个重要挑战。

ETLCloud数据集成社区·2023-09-20 08:11

Clickhouse存算分离的思考

ExploringstorageandcomputingseparationforClickHouse-JuiceFSBlogClickHouse存算分离改造：小红书自研云原生数据仓库实践唯品会翻牌ClickHouse

ELI_He999·2023-09-20 06:02

Hadoop学习（8）-- Apache Hive入门

ApacheHive概述什么是HiveApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似

技术闲聊DD·2023-09-20 05:25

大数据 Hive 数据仓库介绍

目录一、数据仓库概念二、场景案例：数据仓库为何而来？2.1操作型记录的保存2.2分析型决策的制定2.3OLTP环境开展分析可行吗？

Stars.Sky·2023-09-20 05:24

【Hadoop】三、数据仓库基础与Apache Hive入门

文章目录三、数据仓库基础与ApacheHive入门1、数据仓库基本概念1.1、数据仓库概念1.2、场景案例：数据仓库为何而来1.3、数据仓库主要特征1.4、数据仓库主流开发语言--SQL2、ApacheHive

陌上人如玉এ·2023-09-20 05:22

数据仓库、Apache hive 入门

ApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言

互联网小白兔·2023-09-20 05:21

Apache Hive入门：模拟实现Hive功能、Hive架构、组件

一、ApacheHive概述什么是HiveApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似

黑马程序员官方·2023-09-20 05:48

《数据挖掘概念与技术》——第四章数据仓库与联机分析处理

一、基本概念1、宽泛概念：数据仓库是一种数据库，它与的那位的操作数据库分别维护。数据仓库系统允许将各种应用系统集成在一起，为同一的历史数据分析提供坚实的平台，对信息处理提供支持。

daxunjiu7613·2023-09-20 05:22

数据挖掘：概念与技术第一章

1.3可以挖掘什么==类型的数据==1.3.1数据库和数据仓库的区别1.3.2事务数据1.4可以挖掘什么==类型的模式==1.4.1类/概念描述：特征化与区分1.4.2挖掘频繁模式、关联和相关性1.4.3

Helelllllle·2023-09-20 05:52

数据治理-数据仓库和商务智能-部分内容

数据仓库建设应遵循原则聚焦业务目标，用于最优级的业务并解决它；以终为始，以业务优先级和最终成果驱动仓库创建；全局性的思考和设计，局部性的行动和建设；总结并持续优化，而不是一开始就这样做；提升透明度和自助服务

世润·2023-09-20 03:24

DAMA-DMBOK2重点知识整理CDGA/CDGP——第11章数据仓库和商务智能

目录一、分值分布二、重点知识梳理1、引言1.1业务驱动因素1.2目标和原则1.3基本概念2、活动2.1理解需求2.2定义和维护数据仓库/商务智能架构2.3开发数据仓库和数据集市2.4加载数据仓库2.5实施商务智能产品组合

醉酒的戈多·2023-09-20 02:19

大数据开发工程师是做什么的？

大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。

我想去吃ya·2023-09-20 01:05

Hive 数据仓库介绍

目录编辑一、Hive概述1.1Hive产生的原因1.2Hive是什么？1.3Hive特点1.4Hive生态链关系二、Hive架构2.1架构图2.2架构组件说明2.2.1Interface2.2.1.1CLI2.2.1.2JDBC/ODBC2.2.1.3WebUI2.2.2MetaData2.2.3MetaStore2.2.4Hiveserver22.2.5Driver2.2.5.1解释器2.2.5

夜夜流光相皎洁_小宁·2023-09-20 00:29

如果人工智能的上半场是分类，那么下半场就是聚类

也学了一堆不扎实的计算机：计算机图形学、计算机视觉、人工智能、数据挖掘、数据仓库、数据库、专家系统等等现在研究人工智能，最后想想，拼的还是基础数学。

david_lv·2023-09-19 20:14

架构问题：技术选型

适用场景：Web网站系统、日志记录系统、数据仓库系统、嵌入式系统2.Oracle：全球最大的商业数据库软件公司之一，提供各种可扩展的解决方案，适用于从小型应用到大

青鱼入云·2023-09-19 19:54

视频结构化

视频被结构化后，存入相应的结构化数据仓库，存储的容量极大降低。

oldms·2023-09-19 09:57

数据治理-数据仓库和商务智能

数据仓库的作用减少数据冗余，提高信息一致性，让企业能够利用数据做出更优决策的方法，数据仓库是企业数据管理的核心。

世润·2023-09-19 08:15

数据治理-数据仓库环境

数据仓库环境包括一系列组织起来以满足企业需求的架构组件，从源系统流动到数据暂存区，数据可以在这里被清晰，当数据集成并存储在数据仓库或操作数据存储中时，可以对其进行补充丰富。

世润·2023-09-19 07:41

关于Amazon Redshift性能调优的十大Tips

AmazonRedshift是一套全托管PB级大规模并行数据仓库，拥有极低的上手难度与出色的性能表现。

亚马逊云开发者·2023-09-19 05:57

Paimon+StarRocks 湖仓一体数据分析方案

本文整理自阿里云高级开发工程师曾庆栋（曦乐）在StreamingLakehouseMeetup分享的内容，深入探讨了传统数据仓库分析、Paimon+StarRocks湖仓一体数据分析、StarRocks

StarRocks_labs·2023-09-19 04:35

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到

G皮T·2023-09-19 04:45

No.13软件集成技术

EAI所连接的应用包括各种电子商务系统、ERP、CRM、SCM、OA、数据库系统和数据仓库等。表示集成表示集成也称为界面集成，这是比较原始和最浅层次的集成，这种方法将用户界面作为公共的

科技男code·2023-09-19 00:08

关于数据仓库、数据湖、数据平台和数据中台的概念和区别

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将分别介绍数据平台数据仓库数据湖和数据中台。

weixin_42073629·2023-09-18 23:36

新一代数据仓库SnowFlake

SnowFlake概念Snowflake弹性数据仓库，简称Snowflake。

凌健文Lieo·2023-09-18 23:36

数据湖与数据仓库

大家好，本期Jesse想跳脱开TSDB领域，来聊一聊数据湖与数据仓库的话题，Jesse作为局外人也想大体介绍一下二者的情况。

CnosDB·2023-09-18 23:06

数据仓库，数据湖

1.数据仓库早期系统采用数据库来管理和存放数据，但随着大数据技术的兴起，大家想要通过大数据技术来找到数据之间可能存在的关系，所以大家设计了一套新的数据存储管理系统，把所有的数据全部存储到数据仓库，然后统一对数据处理

乐十九·2023-09-18 23:06

【数据湖仓架构】数据湖和仓库：Databricks 和 Snowflake

我们比较了Databricks和Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。

架构师酒馆·2023-09-18 23:35

开箱即⽤！HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤

·2023-09-18 16:34

hive数据仓库

hivehive数据仓库1.启动hadoop2.开启mysql服务3.启动hive4.hive的操作（1）创建数据库（2）查找hive数据库（3）设置属性信息(4)修改属性(5)删除数据库5.内部表与外部表

LMY~~·2023-09-18 08:40

【Doris全面解析】存储层设计介绍2——写入流程、删除流程分析

本文转自开源中国ZhangYu0123博客1整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决了近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。

ApacheDoris·2023-09-18 08:36

使用mobx

mobx树型结构组织项目状态管理遵循mobx定义数据存储一个简单的mobx数据仓库:classPlayer{@observablename="charten"@observableposition=[0,0

CharTen·2023-09-18 05:23

数据仓库之高级事实表

事实表代理键代理键可用作所有维度表的主键。不与任何维度关联的事实表代理键，是在ETL加载过程中顺次分配的，可用于作为事实表的唯一主键列；在ETL中，用作事实表行的直接标识符，不必查询多个维度；允许将事实表更新操作分解为风险更小的插入和删除操作。蜈蚣事实表一些设计者为多对一层次的每层建立不同的规范化维度，例如，日期维度、月份维度、季度维度和年维度，并将所有外键包含在一个事实表中。这将产生蜈蚣事实表，

afansdie·2023-09-18 03:42

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

二、Hive、SparkSQL、Impala比较Hive、SparkSQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关于这三款产品的性能对比报告。1.SparkSQL简介S

xuzhichao1231·2023-09-17 19:33

复杂SQL查询和可视化报表构建

阿里云云起实验室·2023-09-17 19:02

数据仓库模型设计(收藏版)

一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素，包括

000X000·2023-09-17 15:13

Flink CDC 2.0 详解

CDC技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库/数据湖的ETL数据集成，是非常重要的数据源。CDC的技术方案非常

000X000·2023-09-17 15:43

数据仓库之ODS层设计概要

常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。而Kimball的定义：操作型系统的集成，用于当前、历史以及其它细节查询(业务系统的一部

000X000·2023-09-17 15:12

（三十一）大数据实战——一键式DolphinScheduler高可用工作流任务调度系统部署安装

前言DolphinScheduler（DolphinScheduler）是一个分布式、易扩展的开源DAG（有向无环图）工作流任务调度系统，可用于构建大规模数据处理、数据仓库、ETL等复杂的数据处理和数据分析场景

北溟溟·2023-09-17 10:12

火山引擎 ByteHouse：ClickHouse 如何保证海量数据一致性

基于高性能、分布式特点，ClickHouse可以满足大规模数据的分析和查询需求，因此字节研发团队以开源ClickHouse为基础，推出火山引擎云原生数据仓库ByteHouse。

字节跳动技术团队·2023-09-17 10:02

企业级数据仓库-理论知识

D3AM大数据中间件Hive：将SQL转化成分布式Map/Reduce进行运算，也支持转换成Spark,需要单独安装Hive集群才能访问Spark,支持60%的SQL，延迟比较大。SparkSQL:属于Spark生态圈，HiveonSqark。HBase:NoSQL,高并发读，适合表结构频繁变动。Impala:MPP架构的数据查询引擎，低层兼容Hive、SparkSQL，快速交互查询服务。HAWQ

beyond_champion·2023-09-17 03:39

企业级数据仓库-数仓实战

数仓实战安装包大小安装清单环境搭建一、环境搭建01（机器准备）准备好三台虚拟机，并进行修改hostname、在hosts文件增加ip地址和主机名映射。1、设置每个虚拟机的hostnamevi/etc/sysconfig/network修改HOSTNAME=node02修改hostnamehostnamectlset-hostnamenode022、设置每个虚拟机的ip地址和主机名映射cat>>/e

beyond_champion·2023-09-17 03:06

文本数据清洗（小技巧）

今天80%的数据是非结构化的——或者存在于数据仓库里，或者分散在不同的存储设备中。数据就像我们说话一样，一直在产生——从社交媒体中我们进行的每次对话，到从新数据源生成的每个内容。

马力_Panotech·2023-09-17 02:01

PostgreSQL 物化视图快速入门

主要用于需要快速访问数据的场景，如数据仓库和商务智能应

梦想画家·2023-09-17 00:50

浅谈数据仓库体系(2)

如上文所说，一个基本的数据仓库分为贴源层，历史层，数据模型层本文主要来讲一下贴源层(ODS），重点是如下三个方面1.贴源层的数据清洗2.贴源层的数据存储3.贴源层的数据校验一.数据清洗贴源层，一般来说抽取的是源系统的数据

半个程序员·2023-09-16 23:38

数据仓库模型设计V2.0

一、数仓建模的意义数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。高性能：良好的数据模型能够帮助我们快速查询所需要的数据。低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。高质量：良好的数

000X000·2023-09-16 21:46

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。

000X000·2023-09-16 21:54

Spark sql 数据迁移

一、迁移一张表查看表结构：desctabletb1;查看建表sql语句：showcreatetabletb1;1.同一个数据仓库中复制表和数据,使用CTAS语句;常用的三种方案：a.完全复制拷贝：createtabletb2assele

LuoZhao·2023-09-16 20:49

推荐频道

【数据仓库】