数据湖数据仓库

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下

文章目录集成Spark开发Spark编程读写示例DeltaStreamer集成Flink环境准备sql-clent使用启动插入数据流式读取Bucket索引HudiCatalog集成Spark开发Spark编程读写示例通过IDE如Idea编程实质上和前面的spark-shell和spark-sql相似，其他都是Spark编程的知识，下面以scala语言为示例，idea新建scala的maven项目p
IT小神·2023-10-12 15:56

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-上

文章目录概述定义发展历史特性使用场景编译安装编译环境编译Hudi关键概念TimeLine(时间轴)FileLayouts(文件布局)索引表类型查询类型概述定义ApacheHudi官网地址https://hudi.apache.org/ApacheHudi官网文档https://hudi.apache.org/docs/overviewApacheHudiGitHub源码地址https://gith
IT小神·2023-10-12 15:55

大数据之Hudi数据湖_版本兼容与Maven安装配置_解决Hudi与Hadoop3.0的兼容问题_编译hudi源码---大数据之Hudi数据湖工作笔记0002

然后我们来看一下,hudi我们这次安装的时候,各个组件的版本信息这个hudi对各个版本的支持还是很多的,需要在安装的时候查一下具体的可以这样查一下去看一下具体的hudi对spark的支持是多少,对flink的支持的版本是多少等等可以很容易查到然后hudi
脑瓜凉·2023-10-12 15:47

使用kettle工作流程

Kettle是一个用于数据集成和数据管理的开源工具，主要用于数据库、数据仓库和商业智能领域的数据转换和同步。
明算科·2023-10-12 12:53

数据仓库Hive（林子雨课程慕课）

文章目录9.数据仓库Hive9.1数据仓库的概念9.2Hive简介9.3SQL语句转换为MapReduce作业的基本原理9.4Impla9.4.1Impala简介9.4.2Impala系统架构9.4.3Impala
几窗花鸢·2023-10-12 12:51

大数据笔记--Hive（第一篇）

和数据库的比较3、特点①、优点②、缺点二、Hive的安装1、概述2、安装步骤3、Hive运行日志4、参数配置一、Hive1、概述Hive原本时有Facebook公司开发后来贡献给了Apache的一套用于进行数据仓库管理的机制
是小先生·2023-10-12 05:02

为什么BI对企业这么重要？

通常，该过程涉及将您的公司数据收集到数据仓库或其他存储库中，并使用专门设计的工具来分析数据。
喜欢下厨的数据分析师·2023-10-12 02:26

数据仓库与数据湖的联系与区别

一、数据仓库1，定义数据仓库是从广泛的运营和外部数据源中积累的组织数据的大型存储库。数据经过结构化、过滤并已针对特定目的进行处理。
晓之以理的喵~~·2023-10-11 22:03

数据仓库与数据湖的区别以及数据入湖方式

数据仓库与数据湖的区别1)从使用对象来看，数据仓库主要是给BI分析的数据分析师使用的，而数据湖是给AI处理的数据科学家使用，数据仓库也可以给AI使用，但是侧重点是BI.2)从数据处理的过程来看，数据仓库是
一米大六的八个·2023-10-11 22:21

hive 知识总结

编辑社区公告教程下载分享问答JD登录注册01hive介绍与安装1hive介绍与原理分析Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。
添柴少年yyds·2023-10-11 21:17

余老师带你学习大数据框架全栈第十三章Hudi第一节核心技术

1.前言1.1为什么产生数据湖数据量比较大，越来越不满足处理结构化的数据，比如说数仓，数仓就是处理结构化数据。
weixin_45810046·2023-10-11 20:55

流式数据湖平台Hudi核心概念二：表和查询类型

Hudi表类型定义了如何在DFS上对数据进行索引和布局，以及如何在此类组织之上实现上述原语和时间线活动（即如何写入数据）。反过来，查询类型定义了底层数据如何向查询公开（即如何读取数据）。表类型支持的查询类型CopyOnWrite快照查询增量查询增量查询（CDC）timetravel
shangjg3·2023-10-11 20:54

流式数据湖平台Hudi核心概念一：时间线

1.什么是HudiHudi（HadoopUpsertsDeletesandIncrementals）是一个开源的数据湖工具，用于管理大规模数据湖中的数据。
shangjg3·2023-10-11 20:53

数据湖系列(1) - Hudi 核心功能原理剖析

随着互联网业务的逐步成熟，数仓和模型训练的基本盘逐步稳固，越来越多的工程师从业务开发需求转移到了工程的架构升级，而常用的Hudi和Iceberg往往会成为替代Hive/Hdfs等架构升级的选型。概要网上关于Hudi和Iceberg对比的内容有很多，比如Iceberg对Schema友好，Hudi支持Upsert等优劣点的对比，这些内容很大程度上已经过时，在未来的几个月内，我们就能看到大部分关键功能在
小晨说数据·2023-10-11 20:49

流式数据湖平台Hudi核心概念三：索引

1.索引Hudi通过索引机制将给定的hoodiekey（recordkey+分区路径）映射到文件id，实现了高效的upstart。一旦将记录的第一个版本写入文件，recordkey和文件组/文件id之间的映射就永远不会改变。简而言之，映射的文件组包含一组记录的所有版本。对于Copy-On-Write表，可以实现快速的追加和删除操作，避免了对整个数据集进行连接以确定要重写的文件。对于Merge-On
shangjg3·2023-10-11 20:17

实施运维面试题

为什么要用数仓数据仓库是一种分析数据库，用于存储和处理数据，以便对数据进行分析。数据仓库有两个主要功能：存储分析数据和处理分析数据。
Geneartion_Z·2023-10-11 18:44

高频时序数据仓库

天软课堂将在本周四添加新主题--天软超高频行情数据。针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。
Tinysoft_SH·2023-10-11 16:24

Vuex.

可以想象为一个“前端数据库”（数据仓库），让其在各个页面上实现数据的共享包括状态，并且可操作作用：用来管理整个spa项目Vuex主要由四部分组成：1.State：单一状态树2.Getters：状态获取3
zw._123·2023-10-11 16:48

大数据原理与技术（八）：数据仓库Hive

Hive是基于Hadoop的数据仓库软件，可与将结构化的数据文件映射为数据库表，并提供类SQL查询功能。Hive将SQL语句转化成MapReduce任务进行处理，适用于大型分布式数据集的查询管理。
昊In·2023-10-11 12:29

Hive实战(03)-深入了解Hive JDBC：在大数据世界中实现数据交互

在大数据领域，Hive作为一种数据仓库解决方案，为用户提供了一种SQL接口来查询和分析存储在Hadoop集群中的数据。
JavaEdge.·2023-10-11 12:23

悠星网络基于阿里云分析型数据库PostgreSQL版的数据实践

悠星网络基于阿里云分析型数据库PostgreSQL版的数据实践说到“大数据”，当下这个词很火，各行各业涉及到数据的，目前都在提大数据，提数据仓库，数据挖掘或者机器学习，但同时另外一个热门的名词也很火，那就是
阿里云技术·2023-10-11 10:03

mpp架构 mysql,MPP架构知识整理

什么是MPPMassivelyParallelProcessing,即大规模并行处理一般用来指多个SQL数据库节点搭建的数据仓库系统。
筱筱吖·2023-10-11 10:51

数据仓库的MPP架构

数据仓库的MPP架构1.MPP架构的大数据计算引擎Impala、ClickHouse、Druid、Doris，采用MPP架构的很多OLAP引擎号称：亿级秒开2.MPP架构MPP是系统架构角度的一种服务器分类方法
美美的大猪蹄子·2023-10-11 10:17

Hive内部表、外部表、分区表、桶表概述

  Hive是基于Hadoop的一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类sql查询功能，Hive底层将sql语句转化为mapreduce任务运行。
千释炎·2023-10-11 10:56

Analysis Services 建立数据仓库实例-ssas

AnalysisServices建立数据仓库实例-ssas环境配置好SqlServer2019-》SqlServerSSMS(管理工具)-》visualstudio第一，最好按照这个顺序安装。
何以问_·2023-10-11 07:07

python数据导入hive_hive常用功能：Hive数据导入导出方式

作为数据仓库的Hive，存储着海量用户使用的数据。在平常的Hive使用过程中，难免对遇到将外部数据导入到Hive或者将Hive中的数据导出来。今天主要就来学习一下Hive的几种数据导入和导出的方式。
摆摊卖爱情·2023-10-11 06:04

postgresql、mysql自己整理txt的一些小知识（持续更新）

whichpython#liunx数据库系统OLTP主要是业务操作数据库，工作简单只需要简单的事务能力就行，用户数量为上千个，库的大小也只有100MB-GB,但是时间要求很高，具有实时性OLAP主要是用于分析决策的数据仓库
平淡中的乐趣·2023-10-11 03:20

iceberg简介004_iceberg和其他数据湖框架的对比---数据湖Apache Iceberg工作笔记0004

然后来看一下iceberg和其他数据湖框架的对比这里可以看到hudi支持的多一点对吧,但是iceberg有自己的优势,并且他们都支持timeline也就是时间旅行对吧.然后这个图是显示了,数据湖三剑客的开源时间
脑瓜凉·2023-10-11 02:47

大数据学习(2)Hadoop-分布式资源计算hive(1)

哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦1.1什么是Hive1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具
viperrrrrrr·2023-10-11 00:19

该如何设计数仓的汇总层(DWS)

关于数据仓库的分层，似乎大家都有一个共同的认识。但涉及到每一层该如何去建模，可能每个人都有自己的理解。
大数据技术与数仓·2023-10-10 23:28

【数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式&写入模式&Bucket索引】

数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式一、读取方式1流读（StreamingQuery）二、限流三、写入方式1.CDC数据同步1.使用第二种方式cdc+kafka进行mysql
Apache Minor Trend·2023-10-10 21:36

【数据湖Hudi-8-Hudi集成Flink-入门】

数据湖Hudi-8-Hudi集成Flink-入门Hudi集成Flink入门1.Hudi集成Flink版本对照关系2.Flink环境准备3.FlinkSQLClient方式处理任务1.修改配置2.创建表格
Apache Minor Trend·2023-10-10 21:06

数据仓库，Hive中使用 != 或 ＜＞符号进行条件过滤时的坑

最近在建设数据仓库，处理数据的过程中，经常反复使用hive的HQL语句，尽管HQL和SQL语言有很多相同之处，但也并不是说HQL就能通用SQL的语法。在使用过程中要尤为注意。
雾岛与鲸·2023-10-10 19:51

MPP和hadoop

特别是在企业数据仓库建设中，MPP架构与Hadoop架构代表两类典型的技术路线选型，事实上，在2015年左右甚至有人认为基于Hadoop体系的数仓将彻底取代基于MPP数据库的数仓。
方璧·2023-10-10 18:03

系统架构设计：11 论湖仓一体架构及其应用

目录一湖仓一体（Lakehouse）1数据仓库2数据湖3数据仓库和数据湖4湖仓一体（Lakehouse）
Jackilina_Stone·2023-10-10 18:01

Linux 部署 MinIO 分布式对象存储 & 配置为 typora 图床

前言MinIO是一款高性能的对象存储系统，它可以用于大规模的AI/ML、数据湖和数据库工作负载。它的API与AmazonS3云存储服务完全兼容，可以在任何云或本地基础设施上运行。
凉了的凉茶·2023-10-10 14:51

Flink系列之Flink的应用场景（一）

ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreamsDT时代，人们对于数据的要求越来越严格，从开始的大数据到现在慢慢转变成快数据，我们很多公司都是基于Hadoop生态搭建自己的数据仓库
当_下·2023-10-10 11:23

Python操作Hive数据仓库

2、Python连接Hive数据仓库1、Python如何连接Hive？
对许·2023-10-10 11:32

Hive面试常见基础问题

答：Hive是一个开源的数据仓库工具，用于处理和分析大规模结构化数据。它能够创建、修改和查询表结构，支持多种数据类型和查询操作，同时提供数据汇总和数据查询的功能。Hive和MySQL有什么不同？
饭九钦vlog·2023-10-10 10:24

天翼云 云中台融合部署（大纲案例）

”的统一技术底座构建云化IPTV业务管理平台，按照L3标准上云，具体包括：1.业务平台上天翼云；2.不依赖特定的专用硬件和商业软件；3.通过云翼平台使用PaaS清单内组件；4.平台数据按照规范要求入大数据湖
小可爱J 人工智能学者 全栈工程师·2023-10-10 08:32

spark sql如何行转列

在数据仓库中，行转列通常称为”变形”(Pivoting)或“透视”(Pivoting)，可使用SparkSQL的pivot语句实现。
大模型大数据攻城狮·2023-10-10 06:04

商业数据的获取与清洗

目录分析需求的数据化数据描述内部数据外部数据逻辑描述表态数据动态数据数据词典数据源前期准备PowerBI获取外部数据方法一：直接抓取表格数据方法二：使用示例抓取数据方法三：抓取JSON格式方法四：批量抓取数据MySQL内部获取可视化连接软件NAVICAT数据库与数据仓库数据库数据仓库举例数据的导入导入
熬不了夜哇·2023-10-09 21:22

中国移动对大数据分析需求猛增 成转型必备工具

北京时间5月14日早间消息（张月红）中国移动业务支撑系统部信息管理处处长陶涛，多年来一直在中国移动公司总部工作，负责数据仓库系统的建设。
cigang4063·2023-10-09 18:21

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2023-10-09 08:33

数据湖

一、什么是数据湖数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
大数据翻身·2023-10-09 08:31

2023.4.14 CSDN数开实习面试

4.14CSDN数开实习面试(20min)1.自我介绍2.你是潮汕人，知道我们公司在哪嘛，为何不在广州深圳找，找这个工作是出于岗位还是城市3.项目数据量4.数据库与数据仓库的区别5.知道scd嘛(反复确认了一下没听错
wang_jun_xin·2023-10-09 06:45

阶段项目总结

通过对互联网的舆论信息进行采集和分析，可以满足用户对网络舆情的检测和热点的追踪项目价值实现了从互联网上采集海量的数据，基于这个海量的数据，以及用户定制的主题，进行数据分析提供了热点发现，数据走势技术栈数据端：离线部分数据仓库的构建离线统计分析实时统计分析技术栈
The_Boy_le·2023-10-09 05:32

hive初识

数据仓库：DataWarehouse简写为DW数据仓库面向分析（大而全、准确性）：是面向主题、集成、不可修改、反映历史变化用于数据分析，辅助管理决策数据库面向事务（一致性、时效性）为什么分区？
The_Boy_le·2023-10-09 05:02

数据仓库——分层原理

目录一、什么是数据仓库二、数仓建模的意义，为什么要对数据仓库分层？
纠结安然猿·2023-10-08 23:05

数据分析与建模挖掘- 数据获取

在这里插入图片描述数据获取手段数据仓库检测与抓取填写日志埋点计算数据仓库分析仅靠运行的数据库无法完成数据更改减少冗余需要把用户的操作过程如实记录并长期保留将所有业务数据经汇总处理构成数据仓库(DW)全部事实记录
志䦀zy·2023-10-08 14:36
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他