数据仓库

Hive 数据仓库介绍

目录编辑一、Hive概述1.1Hive产生的原因1.2Hive是什么？1.3Hive特点1.4Hive生态链关系二、Hive架构2.1架构图2.2架构组件说明2.2.1Interface2.2.1.1CLI2.2.1.2JDBC/ODBC2.2.1.3WebUI2.2.2MetaData2.2.3MetaStore2.2.4Hiveserver22.2.5Driver2.2.5.1解释器2.2.5
夜夜流光相皎洁_小宁·2023-09-20 00:29

如果人工智能的上半场是分类，那么下半场就是聚类

也学了一堆不扎实的计算机：计算机图形学、计算机视觉、人工智能、数据挖掘、数据仓库、数据库、专家系统等等现在研究人工智能，最后想想，拼的还是基础数学。
david_lv·2023-09-19 20:14

架构问题：技术选型

适用场景：Web网站系统、日志记录系统、数据仓库系统、嵌入式系统2.Oracle：全球最大的商业数据库软件公司之一，提供各种可扩展的解决方案，适用于从小型应用到大
青鱼入云·2023-09-19 19:54

视频结构化

视频被结构化后，存入相应的结构化数据仓库，存储的容量极大降低。
oldms·2023-09-19 09:57

数据治理-数据仓库和商务智能

数据仓库的作用减少数据冗余，提高信息一致性，让企业能够利用数据做出更优决策的方法，数据仓库是企业数据管理的核心。
世润·2023-09-19 08:15

数据治理-数据仓库环境

数据仓库环境包括一系列组织起来以满足企业需求的架构组件，从源系统流动到数据暂存区，数据可以在这里被清晰，当数据集成并存储在数据仓库或操作数据存储中时，可以对其进行补充丰富。
世润·2023-09-19 07:41

关于Amazon Redshift性能调优的十大Tips

AmazonRedshift是一套全托管PB级大规模并行数据仓库，拥有极低的上手难度与出色的性能表现。
亚马逊云开发者·2023-09-19 05:57

Paimon+StarRocks 湖仓一体数据分析方案

本文整理自阿里云高级开发工程师曾庆栋（曦乐）在StreamingLakehouseMeetup分享的内容，深入探讨了传统数据仓库分析、Paimon+StarRocks湖仓一体数据分析、StarRocks
StarRocks_labs·2023-09-19 04:35

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

No.13软件集成技术

EAI所连接的应用包括各种电子商务系统、ERP、CRM、SCM、OA、数据库系统和数据仓库等。表示集成表示集成也称为界面集成，这是比较原始和最浅层次的集成，这种方法将用户界面作为公共的
科技男code·2023-09-19 00:08

关于数据仓库、数据湖、数据平台和数据中台的概念和区别

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将分别介绍数据平台数据仓库数据湖和数据中台。
weixin_42073629·2023-09-18 23:36

新一代数据仓库SnowFlake

SnowFlake概念Snowflake弹性数据仓库，简称Snowflake。
凌健文Lieo·2023-09-18 23:36

数据湖与数据仓库

大家好，本期Jesse想跳脱开TSDB领域，来聊一聊数据湖与数据仓库的话题，Jesse作为局外人也想大体介绍一下二者的情况。
CnosDB·2023-09-18 23:06

数据仓库，数据湖

1.数据仓库早期系统采用数据库来管理和存放数据，但随着大数据技术的兴起，大家想要通过大数据技术来找到数据之间可能存在的关系，所以大家设计了一套新的数据存储管理系统，把所有的数据全部存储到数据仓库，然后统一对数据处理
乐十九·2023-09-18 23:06

【数据湖仓架构】数据湖和仓库：Databricks 和 Snowflake

我们比较了Databricks和Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。
架构师酒馆·2023-09-18 23:35

开箱即⽤！HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤
·2023-09-18 16:34

hive数据仓库

hivehive数据仓库1.启动hadoop2.开启mysql服务3.启动hive4.hive的操作（1）创建数据库（2）查找hive数据库（3）设置属性信息(4)修改属性(5)删除数据库5.内部表与外部表
LMY~~·2023-09-18 08:40

【Doris全面解析】存储层设计介绍2——写入流程、删除流程分析

本文转自开源中国ZhangYu0123博客1整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决了近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。
ApacheDoris·2023-09-18 08:36

使用mobx

mobx树型结构组织项目状态管理遵循mobx定义数据存储一个简单的mobx数据仓库:classPlayer{@observablename="charten"@observableposition=[0,0
CharTen·2023-09-18 05:23

数据仓库之高级事实表

事实表代理键代理键可用作所有维度表的主键。不与任何维度关联的事实表代理键，是在ETL加载过程中顺次分配的，可用于作为事实表的唯一主键列；在ETL中，用作事实表行的直接标识符，不必查询多个维度；允许将事实表更新操作分解为风险更小的插入和删除操作。蜈蚣事实表一些设计者为多对一层次的每层建立不同的规范化维度，例如，日期维度、月份维度、季度维度和年维度，并将所有外键包含在一个事实表中。这将产生蜈蚣事实表，
afansdie·2023-09-18 03:42

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

二、Hive、SparkSQL、Impala比较Hive、SparkSQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关于这三款产品的性能对比报告。1.SparkSQL简介S
xuzhichao1231·2023-09-17 19:33

复杂SQL查询和可视化报表构建

更多AnalyticDBMySQL相关至阿里云体验实验室简介目标是让云上数据仓库用户及开发者通过简单的步骤体验基于AnalyticDBMySQL版和DMS构建云原生数据仓库的主要流程，活动将通过实例的开通
阿里云云起实验室·2023-09-17 19:02

数据仓库模型设计(收藏版)

一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素，包括
000X000·2023-09-17 15:13

Flink CDC 2.0 详解

CDC技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库/数据湖的ETL数据集成，是非常重要的数据源。CDC的技术方案非常
000X000·2023-09-17 15:43

数据仓库之ODS层设计概要

常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。而Kimball的定义：操作型系统的集成，用于当前、历史以及其它细节查询(业务系统的一部
000X000·2023-09-17 15:12

（三十一）大数据实战——一键式DolphinScheduler高可用工作流任务调度系统部署安装

前言DolphinScheduler（DolphinScheduler）是一个分布式、易扩展的开源DAG（有向无环图）工作流任务调度系统，可用于构建大规模数据处理、数据仓库、ETL等复杂的数据处理和数据分析场景
北溟溟·2023-09-17 10:12

火山引擎 ByteHouse：ClickHouse 如何保证海量数据一致性

基于高性能、分布式特点，ClickHouse可以满足大规模数据的分析和查询需求，因此字节研发团队以开源ClickHouse为基础，推出火山引擎云原生数据仓库ByteHouse。
字节跳动技术团队·2023-09-17 10:02

企业级数据仓库-理论知识

D3AM大数据中间件Hive：将SQL转化成分布式Map/Reduce进行运算，也支持转换成Spark,需要单独安装Hive集群才能访问Spark,支持60%的SQL，延迟比较大。SparkSQL:属于Spark生态圈，HiveonSqark。HBase:NoSQL,高并发读，适合表结构频繁变动。Impala:MPP架构的数据查询引擎，低层兼容Hive、SparkSQL，快速交互查询服务。HAWQ
beyond_champion·2023-09-17 03:39

企业级数据仓库-数仓实战

数仓实战安装包大小安装清单环境搭建一、环境搭建01（机器准备）准备好三台虚拟机，并进行修改hostname、在hosts文件增加ip地址和主机名映射。1、设置每个虚拟机的hostnamevi/etc/sysconfig/network修改HOSTNAME=node02修改hostnamehostnamectlset-hostnamenode022、设置每个虚拟机的ip地址和主机名映射cat>>/e
beyond_champion·2023-09-17 03:06

文本数据清洗（小技巧）

今天80%的数据是非结构化的——或者存在于数据仓库里，或者分散在不同的存储设备中。数据就像我们说话一样，一直在产生——从社交媒体中我们进行的每次对话，到从新数据源生成的每个内容。
马力_Panotech·2023-09-17 02:01

PostgreSQL 物化视图快速入门

主要用于需要快速访问数据的场景，如数据仓库和商务智能应
梦想画家·2023-09-17 00:50

浅谈数据仓库体系(2)

如上文所说，一个基本的数据仓库分为贴源层，历史层，数据模型层本文主要来讲一下贴源层(ODS），重点是如下三个方面1.贴源层的数据清洗2.贴源层的数据存储3.贴源层的数据校验一.数据清洗贴源层，一般来说抽取的是源系统的数据
半个程序员·2023-09-16 23:38

数据仓库模型设计V2.0

一、数仓建模的意义数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。高性能：良好的数据模型能够帮助我们快速查询所需要的数据。低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。高质量：良好的数
000X000·2023-09-16 21:46

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。
000X000·2023-09-16 21:54

Spark sql 数据迁移

一、迁移一张表查看表结构：desctabletb1;查看建表sql语句：showcreatetabletb1;1.同一个数据仓库中复制表和数据,使用CTAS语句;常用的三种方案：a.完全复制拷贝：createtabletb2assele
LuoZhao·2023-09-16 20:49

Hive

Hive产生背景MapReduce编程的不便性HDFS上的文件缺少SchemaHive是什么1）由Facebook开元，最初用于解决海量结构化的日志数据统计问题2）构建在Hadoop之上的数据仓库3）Hive
捕猎者·2023-09-16 16:51

Data Lakehouse的未来-开放

这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。
大数据杂货铺·2023-09-16 09:22

大数据之Hive

Hive入门Hive是FaceBook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL查询功能。
十七✧ᐦ̤·2023-09-16 08:18

数据仓库介绍及应用场景

数据仓库（DataWarehouse）是一个用于存储、管理、检索和分析大量结构化数据的集中式数据库系统。
今晚务必早点睡·2023-09-16 08:42

【数据网格架构】分布式数据网格作为集中式数据单体的解决方案

随着数据变得越来越普遍，传统的数据仓库和数据湖架构变得不堪重负，无法有效扩展。Dehghani认为，分布式数据网格方法可以通过采用面向领域的数据所有权来克服这些固有的低效率。“我建议下一个企业数据平台
架构师酒馆·2023-09-15 18:41

大数据开发：Hive DDL操作入门

Hive针对于数据管理操作，提供了类SQL语言HQL，在Hadoop生态当中，Hive定位为数据仓库工具，对于数据的各种操作，也就是使用HQL来完成。
成都加米谷大数据·2023-09-15 11:31

开箱即⽤！HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤
HashData酷克数据·2023-09-15 08:47

数据治理-数据管理角色

无论是直接角色（如设计数据仓库的数据架构师），还是间接角色（如开发网站的Web开发人员），所有IT角色都可以映射到数据生命周期的某个点，因此他们都会影响数据管理。
世润·2023-09-15 07:02

数据仓库主题一（宽表模型设计）

一、典型的数据仓库建模思想一般主流分为两种第一种ER模型是数据仓库之父父Billlnmon提出的建模方法是从全企业的高度设计3NF模型，用实体关系（EntityRelationship,ER）模型描述企业业务
lianchaozhao·2023-09-15 07:04

GaussDB（DWS）云原生数仓技术解析：湖仓一体，体验与大数据互联互通

文章目录前言一、关于数据仓库需求场景分类二、数据仓库线下部署场景2.1、线下部署场景介绍及优劣势说明2.2、线下部署场景对应的客户需求三、数据仓库公有云部署场景3.1、公有云部署场景介绍及优劣势说明3.2
白鹿第一帅·2023-09-15 07:56

BI与数据治理以及数据仓库有什么区别

你可能已经听说过BI、数据治理和数据仓库这些术语，它们在现代企业中起着重要的作用。虽然它们都与数据相关，但它们之间有着明显的区别和各自独特的功能。
qingyunliushuiyu·2023-09-15 06:42

T-ETL和ELT区别

ETLETL，即抽取、转换、加载，是从不同的数据源抽取信息，将其转换为根据业务定义的格式，然后将其加载到其他数据库或数据仓库中。
ELI_He999·2023-09-15 06:38

火山引擎 ByteHouse：两个关键技术，揭秘 OLAP 引擎中的数据导入技术

作为一款OLAP引擎，火山引擎云原生数据仓库ByteHouse源于开源ClickHouse，在字节跳动多年打磨下，提供更丰富的能力和更强性能，能为用户带来极速分析体验，支撑实时数据分析和海量离线数据分析
字节数据平台·2023-09-14 19:28

大数据-Hive

Hive简介Hive是基于Hadoop的一个【数据仓库工具】，可以将结构化和半结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。
HikZ.919·2023-09-14 06:35

【数据仓库设计基础1】关系数据模型理论与数据仓库Inmon方法论

关系数据模型中的结构1．关系2．属性3．属性域4．元组5.关系数据库6．关系表的属性7．关系数据模型中的键二.关系完整性1．空值（NULL）2．关系完整性规则3．业务规则4．关系数据库语言三.规范化四.关系数据模型与数据仓库关系模型被广泛应用于数据处理和数据存储
roman_日积跬步-终至千里·2023-09-14 05:26
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他