数据湖数据仓库

大数据技术Hive详解

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序。
wespten·2023-10-15 12:04

Hadoop Hive sql 语法详解

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将
hong2511·2023-10-15 12:30

走进Hive

什么是HiveHadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，构建在分布式HDFS系统运行的数据库应用场景大数据集的批处理作用，做离线的数据分析日志分析多维度数据分析海量结构化数据离线分析统计网站一个时间段内的
、小H·2023-10-15 09:15

反范式化设计

反范式化设计通常用于需要高度优化的读取密集型应用程序，如数据仓库和大数据分析。其实就是使用空间来换取时间。
冷风扇666·2023-10-15 06:26

数据湖和数据仓库的区别？

进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？
RonnieZhang1989·2023-10-15 03:25

与其他云提供商相比，Azure 中的分析速度快 14 倍，成本却低 94％。为什么还要寻寻觅觅？

只有Azure能够提供从数据提取到存储到数据仓库再到机器学习和商业智能的最全面的分析服务组合。每一项服务都经过精心调整，能够以无与伦比的价值提供行业领先的性能、安全性和易用性。
醍醐灌顶·2023-10-14 23:48

用于数据仓库现代化的云原生数据流的案例

数据仓库现代化，从使用Stitch的批处理ETL到使用Kafka的流式ETL大多数组织的用例简单且标准：提取、转换和加载(ETL)Salesforce数据到GoogleBigQuery数据仓库，以便企业可以使用这些数据
wouderw·2023-10-14 23:45

新一代大数据技术：构建PB级云端数仓实践

在数据大爆炸时代，随着企业的业务数据体量的不断发展，半结构化以及无结构化数据越来越多，传统的数据仓库面临重大挑战。
腾讯云开发者·2023-10-14 23:07

Google云平台构建数据ETL任务的最佳实践

假设我们的业务场景需要定期从Kafka中获取数据，经过一些数据清洗，数据关联，数据Enrich操作之后，把数据写入到Bigquery数据仓库，从而方便以后生成统计分析报表。Go
gzroy·2023-10-14 23:04

大数据学习(11)-hive on mapreduce详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦前面的学习我们知道Hive是一个基于Hadoop的数据仓库工具
viperrrrrrr·2023-10-14 22:31

人大金仓分析型数据库分区表介绍

表分区是逻辑的：数据库在逻辑上划分大表来提升查询性能并且有利于数据仓库维护任务，例如把旧数据移出数据仓库。
天宫空间站·2023-10-14 18:56

数据仓库DW-理论知识储备

数据仓库DW数据仓库具备采集数据、分析数据、存储数据的功能，最后得出一些有用的数据，一些目标数据来使用。采集来自不同源的数据，然后对这些数据进行分析和计算得出一些有用的指标，提供数据决策支持。
躺着听Jay·2023-10-14 09:37

hive 复合类型_Hive实战：详解Hive复合数据类型

1.概述Hive作为大数据中离线数据的存储,并把Hive作为构建数据仓库的环境，一般情况下数据仓库的数据类型都是基本数据类型如int、string、double等，但是有时候也会需要一些复合数据结构来存储数据
杨海宏·2023-10-14 04:51

starrocks

starrocks分布式OLAP数据库系统，高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景定位面向在线报表和分析的数据仓库系统。它采用了全面向量化技术，比同类产品平均快3-5倍。
EnndmeRedis·2023-10-14 01:44

Flink CDC使用DataStream API方式同步数据到Iceberg数据湖

目录1.背景2.同步表情况3.程序4.结果说明1.背景虽然使用SQL的方式进行同步非常方便。但是该方式，每向一个Iceberg目标表导入数据，都会向集群提交一个Application，非常消耗集群的资源通过DataStreamAPI的方式，可以只检索Mysql的数据源一次，就可同步多个数据库的多个数据表。然后通过Flink的SideOutput将数据分成多个流。然后再将多个流分别导入到不同的Ice
Bulut0907·2023-10-14 01:45

apache atlas 案例_元数据治理 Apache Atlas

采用Hadoop必须考虑数据管理的实际情况，元数据与数据治理成为企业级数据湖的重要部分。该项
CelioHsu·2023-10-13 18:47

Apache atlas 元数据管理治理平台使用和架构

随着企业业务量的逐渐膨胀，数据日益增多，不同业务线的数据可能在多种类型的数据库中存储，最终汇集到企业的数据仓库中进行整合分析，这个时候如果想要追踪数据来源，理清数据之间的关系将会是一
白鸽呀·2023-10-13 18:13

Vuex获取、修改参数值及异步数据处理

可以将其想象为一个“前端数据库”（数据仓库），让其在各个页面上实现数据的共享包括状态，并且可操作。（核心就是解决组件间的通讯问题）1.2vuex核心State（单一状态树）：存储
Java_文昊‍️·2023-10-13 14:15

MaxCompute全套攻略

概况介绍大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。
JQW_FY·2023-10-13 13:08

阿里巴巴大数据计算平台MaxCompute全套攻略

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
chulicheng5417·2023-10-13 13:36

建立hive-solr外部映射表 用于solr4版本

hive-solr4使用Hive读写solr4，由于市面上没有solr4这个版本的组件于是我自己根据hive-solr5的代码改了一个（一）Hive+Solr简介Hive作为Hadoop生态系统里面离线的数据仓库
胖子捏肚子·2023-10-13 13:55

【Vue】之Vuex的入门使用，取值，修改值，同异步请求处理---保姆级别教学

可以想象为一个“前端数据库”（数据仓库），让其在各个页面上实现数据的共享包括状态，并且可操作1.2Vuex的核心概念State（状态）
Love-Java.·2023-10-13 09:46

hive小文件合并机制_转：Hive小文件合并

但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。
亿码数码·2023-10-13 08:56

hive小文件合并机制_hive小文件合并

但是在数据仓库中，越是上层的表汇总程度就越高，数据量也就越小，而且这些表通常会有日期分区，随着时间的推移，HDFS的文件数目就会逐步增加。
大Victor·2023-10-13 08:56

软件设计师学习笔记（六）数据库技术基础（一）

数据库技术基础（一）一、数据库基本概念1、数据库体系结构1、分布式数据库特点2、分布式数据库透明性2、三级模式结构——三级模式和两级映射3、数据仓库二、数据库设计过程三、概念设计阶段1、概念设计过程2、
ؓ初尘·2023-10-13 00:23

软件设计师笔记之数据库系统基础

（1）数据库模型（概念模式、外模式、内模式）（2）数据模型，ER图，规范化（3）数据操作（4）数据库语言（5）数据库管理系统的功能和特征（6）数据库的控制功能（7）数据仓库和分布式数据库基础知识数据库系统的考点主要集中在
Zcoder`Blog·2023-10-13 00:50

Dremio：新一代数据湖仓引擎

Dremio数据湖引擎1、什么是Dremio2、数据湖仓2.1、什么是数据湖仓2.2、数据湖仓的历史和演变2.3、开放数据对数据湖和湖仓的重要性2.4、数据湖仓的作用2.5、数据湖仓如何工作2.6、数据湖仓的元素
对许·2023-10-12 15:03

主流的商业智能BI工具推荐，学会数据分析没难度

百度百科解释是商业智能（BusinessIntelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
明月说数据·2023-10-12 15:02

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下

文章目录集成Spark开发Spark编程读写示例DeltaStreamer集成Flink环境准备sql-clent使用启动插入数据流式读取Bucket索引HudiCatalog集成Spark开发Spark编程读写示例通过IDE如Idea编程实质上和前面的spark-shell和spark-sql相似，其他都是Spark编程的知识，下面以scala语言为示例，idea新建scala的maven项目p
IT小神·2023-10-12 15:56

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-上

文章目录概述定义发展历史特性使用场景编译安装编译环境编译Hudi关键概念TimeLine(时间轴)FileLayouts(文件布局)索引表类型查询类型概述定义ApacheHudi官网地址https://hudi.apache.org/ApacheHudi官网文档https://hudi.apache.org/docs/overviewApacheHudiGitHub源码地址https://gith
IT小神·2023-10-12 15:55

大数据之Hudi数据湖_版本兼容与Maven安装配置_解决Hudi与Hadoop3.0的兼容问题_编译hudi源码---大数据之Hudi数据湖工作笔记0002

然后我们来看一下,hudi我们这次安装的时候,各个组件的版本信息这个hudi对各个版本的支持还是很多的,需要在安装的时候查一下具体的可以这样查一下去看一下具体的hudi对spark的支持是多少,对flink的支持的版本是多少等等可以很容易查到然后hudi
脑瓜凉·2023-10-12 15:47

使用kettle工作流程

Kettle是一个用于数据集成和数据管理的开源工具，主要用于数据库、数据仓库和商业智能领域的数据转换和同步。
明算科·2023-10-12 12:53

数据仓库Hive（林子雨课程慕课）

文章目录9.数据仓库Hive9.1数据仓库的概念9.2Hive简介9.3SQL语句转换为MapReduce作业的基本原理9.4Impla9.4.1Impala简介9.4.2Impala系统架构9.4.3Impala
几窗花鸢·2023-10-12 12:51

大数据笔记--Hive（第一篇）

和数据库的比较3、特点①、优点②、缺点二、Hive的安装1、概述2、安装步骤3、Hive运行日志4、参数配置一、Hive1、概述Hive原本时有Facebook公司开发后来贡献给了Apache的一套用于进行数据仓库管理的机制
是小先生·2023-10-12 05:02

为什么BI对企业这么重要？

通常，该过程涉及将您的公司数据收集到数据仓库或其他存储库中，并使用专门设计的工具来分析数据。
喜欢下厨的数据分析师·2023-10-12 02:26

数据仓库与数据湖的联系与区别

一、数据仓库1，定义数据仓库是从广泛的运营和外部数据源中积累的组织数据的大型存储库。数据经过结构化、过滤并已针对特定目的进行处理。
晓之以理的喵~~·2023-10-11 22:03

数据仓库与数据湖的区别以及数据入湖方式

数据仓库与数据湖的区别1)从使用对象来看，数据仓库主要是给BI分析的数据分析师使用的，而数据湖是给AI处理的数据科学家使用，数据仓库也可以给AI使用，但是侧重点是BI.2)从数据处理的过程来看，数据仓库是
一米大六的八个·2023-10-11 22:21

hive 知识总结

编辑社区公告教程下载分享问答JD登录注册01hive介绍与安装1hive介绍与原理分析Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。
添柴少年yyds·2023-10-11 21:17

余老师带你学习大数据框架全栈第十三章Hudi第一节核心技术

1.前言1.1为什么产生数据湖数据量比较大，越来越不满足处理结构化的数据，比如说数仓，数仓就是处理结构化数据。
weixin_45810046·2023-10-11 20:55

流式数据湖平台Hudi核心概念二：表和查询类型

Hudi表类型定义了如何在DFS上对数据进行索引和布局，以及如何在此类组织之上实现上述原语和时间线活动（即如何写入数据）。反过来，查询类型定义了底层数据如何向查询公开（即如何读取数据）。表类型支持的查询类型CopyOnWrite快照查询增量查询增量查询（CDC）timetravel
shangjg3·2023-10-11 20:54

流式数据湖平台Hudi核心概念一：时间线

1.什么是HudiHudi（HadoopUpsertsDeletesandIncrementals）是一个开源的数据湖工具，用于管理大规模数据湖中的数据。
shangjg3·2023-10-11 20:53

数据湖系列(1) - Hudi 核心功能原理剖析

随着互联网业务的逐步成熟，数仓和模型训练的基本盘逐步稳固，越来越多的工程师从业务开发需求转移到了工程的架构升级，而常用的Hudi和Iceberg往往会成为替代Hive/Hdfs等架构升级的选型。概要网上关于Hudi和Iceberg对比的内容有很多，比如Iceberg对Schema友好，Hudi支持Upsert等优劣点的对比，这些内容很大程度上已经过时，在未来的几个月内，我们就能看到大部分关键功能在
小晨说数据·2023-10-11 20:49

流式数据湖平台Hudi核心概念三：索引

1.索引Hudi通过索引机制将给定的hoodiekey（recordkey+分区路径）映射到文件id，实现了高效的upstart。一旦将记录的第一个版本写入文件，recordkey和文件组/文件id之间的映射就永远不会改变。简而言之，映射的文件组包含一组记录的所有版本。对于Copy-On-Write表，可以实现快速的追加和删除操作，避免了对整个数据集进行连接以确定要重写的文件。对于Merge-On
shangjg3·2023-10-11 20:17

实施运维面试题

为什么要用数仓数据仓库是一种分析数据库，用于存储和处理数据，以便对数据进行分析。数据仓库有两个主要功能：存储分析数据和处理分析数据。
Geneartion_Z·2023-10-11 18:44

高频时序数据仓库

天软课堂将在本周四添加新主题--天软超高频行情数据。针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。
Tinysoft_SH·2023-10-11 16:24

Vuex.

可以想象为一个“前端数据库”（数据仓库），让其在各个页面上实现数据的共享包括状态，并且可操作作用：用来管理整个spa项目Vuex主要由四部分组成：1.State：单一状态树2.Getters：状态获取3
zw._123·2023-10-11 16:48

大数据原理与技术（八）：数据仓库Hive

Hive是基于Hadoop的数据仓库软件，可与将结构化的数据文件映射为数据库表，并提供类SQL查询功能。Hive将SQL语句转化成MapReduce任务进行处理，适用于大型分布式数据集的查询管理。
昊In·2023-10-11 12:29

Hive实战(03)-深入了解Hive JDBC：在大数据世界中实现数据交互

在大数据领域，Hive作为一种数据仓库解决方案，为用户提供了一种SQL接口来查询和分析存储在Hadoop集群中的数据。
JavaEdge.·2023-10-11 12:23

悠星网络基于阿里云分析型数据库PostgreSQL版的数据实践

悠星网络基于阿里云分析型数据库PostgreSQL版的数据实践说到“大数据”，当下这个词很火，各行各业涉及到数据的，目前都在提大数据，提数据仓库，数据挖掘或者机器学习，但同时另外一个热门的名词也很火，那就是
阿里云技术·2023-10-11 10:03

mpp架构 mysql,MPP架构知识整理

什么是MPPMassivelyParallelProcessing,即大规模并行处理一般用来指多个SQL数据库节点搭建的数据仓库系统。
筱筱吖·2023-10-11 10:51
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他