数据湖

支持多模型数据分析探索的存算分离湖仓一体架构解析（上）

当企业需要建设独立的数据仓库系统来支撑BI和业务分析业务时，有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。
星环科技·2023-04-17 15:51

【大数据OLAP引擎】图文详解 Apache Doris 架构

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建
禅与计算机程序设计艺术·2023-04-17 05:13

ETL基础概念及要求详解

ETL基础概念及要求详解概念ETL与ELT数据湖与数据仓库ETL应用场景ETL具体流程及操作要求抽取清洗转换加载ETL设计模式SQL+脚本语言ETL工具设计ETL工具+SQLETL接口设计要求明确接口属性约定接口形式确定接口抽取方法规范接口格式概念
Lin-CT·2023-04-16 16:40

实践篇 | 构建下一代云上数据湖，助力车企数字化转型

在数据湖上如何构建？Ky
Kyligence·2023-04-16 00:50

Spark+Flink+Iceberg打造湖仓一体架构实践探索

数据湖-大数据生态杀青数据湖-大数据生态杀青数据仓库的痛点只能存储结构化数据，无法采集存储非结构化数据无法存储原始数据，所有的数据须经过ETL清洗过程离线数仓的数据表牵一发而动全身，数据调整工程量大实时数仓存储空间有限
架构师老狼·2023-04-15 23:13

关于数据湖的建立

问题1：碎片化数据已经形成数据孤岛数据小组的工作范围主要涵盖财务，供应链，业务运营三类部门。财务要求精准的进出库数量，时间，金额。用于支持对账和结算。供应链要求物料和库存的周转，有一定的供应链预测需求，主要用于物控。业务要求看商品和客户维度的数据，用于发现异常和拓客。有爬虫需求。运营要求线上的用户的所有行为数据。微服务架构下，数据存储零散，每个库的设计的基本没有考虑到对未来数据工作的考虑。导致同一
创无意·2023-04-15 15:49

多库多表场景下使用 Amazon EMR CDC 实时入湖最佳实践

Hudi作为最热的数据湖技术框架之一,用于构建具有增量数据处理管道的流式数据湖。其核心的能力包括对象存储上数据行级别
亚马逊云开发者·2023-04-14 14:27

如何使用 Delta Lake 构建批流一体数据仓库

DeltaLake是一个开源存储层，它为数据湖带来了可靠性。DeltaLake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。
阿里云技术·2023-04-14 03:56

实践数据湖iceberg 第三十六课 基于数据湖icerberg的流批一体架构--update mysql select from icberg语法是增量更新测试

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:24

实践数据湖iceberg 第四十一课 iceberg的实时性-业界的checkpoint配置

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:24

实践数据湖iceberg 第四十二课（业界视野）业界的流批一体架构

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:24

实践数据湖iceberg 第三十五课 基于数据湖icerberg的流批一体架构--测试增量读是读全量还是仅读增量

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:54

实践数据湖iceberg 第二十七课 flink cdc 测试程序故障重启：能从上次checkpoint点继续工作

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:53

实践数据湖iceberg 第二十八课 把公有仓库上不存在的包部署到本地仓库

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:23

实践数据湖iceberg 第二十九课 如何优雅高效获取flink的jobId

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:23

实践数据湖iceberg 第二十四课 iceberg元数据详细解析

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:53

实践数据湖iceberg 第二十五课 后台运行flink sql 增删改的效果

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:53

实践数据湖iceberg 第二十六课 checkpoint设置方法

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:53

实践数据湖iceberg 第二十二课 flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:52

实践数据湖iceberg 第二十一课 flink1.13.5 + iceberg0.131 CDC(测试成功INSERT,变更操作失败)

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:22

实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题，测试失败)

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:52

实践数据湖iceberg 第十六课 通过spark3打开iceberg的认知之门

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:51

实践数据湖iceberg 第十七课 hadoop2.7,spark3 on yarn运行iceberg配置

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:51

实践数据湖iceberg 第十九课 flink count iceberg，无结果问题

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:51

实践数据湖iceberg 第十五课 spark3安装与集成iceberg0.13 (jersey包冲突，安装完成)

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:50

实践数据湖iceberg 第十八课 多种客户端与iceberg交互启动命令(常用命令)

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:20

实践数据湖iceberg 第十二课 catalog是什么

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:50

实践数据湖iceberg 第十三课 metadata比数据文件大很多倍的问题

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:50

实践数据湖iceberg 第十四课 元数据合并(解决元数据随时间增加而元数据膨胀的问题)

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:50

实践数据湖iceberg 第十课 快照删除

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:49

实践数据湖iceberg 第十一课 测试分区表完整流程(造数、建表、合并、删快照)

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:49

实践数据湖iceberg 第九课 合并小文件

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:49

实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）

系列文章目录提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言1.启动flinksql2.建kafka表3.读kafka的数据写入到kafka4.写入到iceberg4.1创建hivecatalog从kafka->iceberg4.2创建hadoopcatalog，从kafka->iceberg总结前言之前使用flink1.11.6iceberg0.11没写成
*星星之火*·2023-04-14 03:18

实践数据湖iceberg 第八课 hive与iceberg集成

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:18

实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式

实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录实践数据湖iceberg第二课iceberg基于hadoop
*星星之火*·2023-04-14 03:48

实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg

实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到iceberg在sqlclient中，以sql方式从kafka读数据到iceberg提示：写完文章后，目录可以自动生成
*星星之火*·2023-04-14 03:48

实践数据湖iceberg 第五课 hive catalog特点

系列文章目录@[TOC](文章目录)前言不以完美记录做为目标。以记录自己学习过程为主线，进行记录，记录通过实践，来了解原理，并把这个实践过程分享给后来需要学习的同学。本节：了解hivecatalog与hadoopcatalog的区别，进行认识1.建立hivecatalog，建表创建hive_catalog与表CREATECATALOGhive_catalog4WITH('type'='iceber
*星星之火*·2023-04-14 03:48

实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决

实践数据湖iceberg系列文章目录实践数据湖iceberg第一课.实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式.实践数据湖iceberg第三课在sqlclient中，以sql
*星星之火*·2023-04-14 03:48

数据湖之iceberg系列(三)iceberg快速入门

1环境准备准备大数据集群.安装HDFS,HIVE,SAPRK,FLINK下载运行集群环境运行是需要的jar包下载地址:http://iceberg.apache.org/releases/2spark将读写iceberg表中数据准备spark集群,并配置iceberg环境在spark的配置目录中添加hadoop和hive的配置文件方便spark与hadoop和hive整合在spark的jars包中
hellozhxy·2023-04-14 03:12

实践数据湖iceberg 第三十四课 基于数据湖icerberg的流批一体架构-流架构测试

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-04-14 03:09

基于Apache Hudi新一代数据湖实践

根据维基百科对数据湖的定义：数据湖（DataLake）是一个以原始格式存储数据的存储库或系统，它按原样存储数据，无需事先对数据进行结构化处理。
科杰科技·2023-04-13 16:52

湖仓一体架构构建与平台应用实践（附件PDF下载）

数据湖适合存储非结构化的、信息密度低的、未经清洗的数据。例如生产中我们获取到的日志信息、长文本信息等都可以直接放到数据湖中。曾经有一段时间，大家
公众号:肉眼品世界·2023-04-12 20:11

数据湖与数据仓库的新未来：阿里提出湖仓一体架构

近几年，随着数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么？
天秤座的架构师·2023-04-12 20:36

湖仓一体架构

文章目录数据湖数据湖产生数据库时代传统数据仓库数仓+数据湖数据湖和数仓的区别数据湖引发的问题数据湖和数据仓库湖仓一体要解决的问题湖仓一体架构的提出湖仓一体的主要特征湖仓一体现有的技术途径访问层元数据层优化层存储层
Dlimeng·2023-04-12 19:21

数据湖 | Apache Hudi 设计与架构最强解读

1.简介ApacheHudi(简称：Hudi)允许您在现有的hadoop兼容存储之上存储大量数据，同时提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分
王知无(import_bigdata)·2023-04-12 12:45

企业大数据湖总体规划及大数据湖 一体化运营管理建设方案

背景：数据快速入湖，分析更加智能，应用更加多样，服务更加开放更多企业数据将进入数据湖，来自传统系统的数据和传感器等新型数据资源不断融合，数据孤岛将继续被打破。
数字化动态·2023-04-11 18:01

推荐好文：深度对比 Delta、Iceberg 和 Hudi 三大开源数据湖方案（附最新更新）

这篇文章深度对比了3种开源数据湖技术，对每个技术的优缺点做了详细对比。不过当前2022年初，社区情况有了一些变化，会列在文后。
曲奇饼·2023-04-11 09:37

Hudi学习01 -- Hudi简介及编译安装

pom文件修改源码兼容hadoop3解决spark模块依赖的问题hudi编译命令Hudi简介Hudi概述ApacheHudi(HadoopUpsertsDeleteandIncremental)是下一代流数据湖平台
patrick_wang_bigdata·2023-04-11 07:31

数据湖之Hudi

一、简介Hudi是Uber公司开源的数据湖架构，它是围绕数据库内核构建的流式数据湖。
Ayanha·2023-04-11 01:38

云原生数据湖是什么？

最近几年，"数据湖"正在被越来越多人提起，尽管各方对数据湖的定义并不统一，但这不妨碍企业纷纷下水实践，比如亚马逊、阿里、腾讯、华为等，都在探索建设数据湖。
c++服务器开发·2023-04-10 23:30
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他