数据湖

Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive

1.架构图2.实现实例2.1通过flinkcdc的两张表合并成一张视图，同时写入到数据湖(hudi)中同时写入到kafka中2.2实现思路1.在flinksql中创建flinkcdc表2.创建视图(用两张表关联后需要的列的结果显示为一张速度
wudl5566·2023-06-16 15:35

论数据湖技术及其应用

论数据湖技术及其应用摘要2020年6月，我所在的公司中标某银行数据湖平台搭建项目1.0，该项目周期为2年，总投资为5000万人民币，通过该项目，搭建该银行数据湖建设项目，实现该银行所有业务数据以及用户行为日志入湖
mischen520·2023-06-16 01:34

数据湖仓一体化架构：探究新一代数据处理的可能性

在这种背景下，数据湖和数据仓库这两种不同的架构模式各自展现出其独特的优势。而数据湖仓一体化架构，是对这两种模式优势的综合，为企业提供了一个全新的数据管理方案。
gongxsh00·2023-06-15 12:39

数据湖应用解析：Spark on Elasticsearch一致性问题

摘要：脏数据对数据计算的正确性带来了很严重的影响。因此，我们需要探索一种方法，能够实现Spark写入Elasticsearch数据的可靠性与正确性。概述Spark与Elasticsearch（es）的结合，是近年来大数据解决方案很火热的一个话题。一个是出色的分布式计算引擎，另一个是出色的搜索引擎。近年来，越来越多的成熟方案落地到行业产品中，包括我们耳熟能详的Spark+ES+HBase日志分析平台
·2023-06-15 11:12

数据湖和数据仓库区别介绍

从数据仓库到数据湖仓库和湖泊仓库是人为提前建造好的，有货架，还有过道，并且还可以进一步为放置到货架的物品指定位置。
dkjhl·2023-06-15 11:20

主流商业智能（BI）工具的比较（三）：Qlik与Domo

一、Domo简介Domo成立于2010年，是一个一体化、完全移动、基于云的平台，旨在增强企业当前的数据湖、数据仓库和BI工具。
虹科云科技·2023-06-14 20:10

详解数据仓库数据湖及湖仓一体

比别人更快接收好文章随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。
产品经理自我修养·2023-06-14 07:43

直播预告 | 博睿学院：算法平台底座-数据湖应用

数据湖一种大型数据存储和处理方案，允许企业将大量结构化和非结构化数据存储在数据湖中,并进行批处理和实时处理。数据湖的三种常用管理工具分别是Delta、Hudi和Iceberg。
·2023-06-13 18:32

Dinky: 实时即未来，让 Flink SQL 纵享丝滑--如何本地编译、运行

Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。
java编程艺术·2023-06-13 17:27

快手流批一体数据湖构建实践

导读本次将介绍快手为什么建设数据湖，在数据湖建设过程中遇到的问题和取得的成果，并对未来发展进行展望。
Openlab.cosmoplat·2023-06-13 17:56

小米基于 Flink 的实时数仓建设实践

上图展示的是小米目前的技术架构，在存储侧我们主要应用数据湖Iceberg和自
·2023-06-13 16:44

阿里云EMR 2.0：定义下一代云原生智能数据湖

摘要：本文整理自阿里云资深技术专家吴威(无谓)在阿里云EMR2.0线上发布会的分享。本篇内容主要分为三个部分：1.兼容开源阶段2.贡献开源阶段3.超越开源阶段兼容开源阶段开源这个词在最近这几年异常的火爆，各行各业的各个厂商纷纷宣布拥抱开源并且支持开源生态。尤其在大数据这个领域，开源技术已经成为了推动整个大数据技术演进和行业发展的最重要的一股力量，同时开源技术栈也成为大数据行业的一个技术标准。阿里云
·2023-06-13 16:37

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
·2023-06-13 12:49

终于定了，小海豚再度牵手数据湖三剑客之一 Apache Hudi社区！

王昱翔，活动组织者社区Contributor读完需要10分钟随着大数据技术的快速发展，数据调度、数据湖的构建和数据存储变得越来越重要。
DolphinScheduler社区·2023-06-13 10:44

python与金融数据分析论文_python 金融大数据分析 pdf

[5_6_3](https://yqfile.alicdn.com/b5d02cbd3d11b339b0eb566e8fc102f9fe6e1dd8.gif)写在前面：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建
weixin_39846191·2023-06-13 02:03

【数据湖架构】在 Azure Data Lake Storage (ADLS)二代上构建数据湖

介绍一开始，规划数据湖似乎是一项艰巨的任务——决定如何最好地构建数据湖、选择哪种文件格式、是拥有多个数据湖还是只有一个数据湖、如何保护和管理数据湖。
超级架构师·2023-06-12 15:36

各大厂应用实践 — 大数据

大厂应用实践美团美团外卖流量数据的采集加工和应用：点击这里美团外卖实时数仓建设实践：点击这里美团外卖离线数仓建设实践：点击这里美团Flink实时数仓应用经验分享：点击这里DruidSQL和Security在美团点评的实践：点击这里Flink数据湖助力美团数仓增量生产
菜鸟也学大数据·2023-06-12 06:17

爱奇艺数据湖实战

01什么是数据湖？数据湖概念于2010年[1]首次提出，经过多年的演变，目前演化出两种不同的定义——公有云数据湖、非公有云数据湖。
爱奇艺技术产品团队·2023-06-11 11:17

大数据任务调度和数据同步组件初探

本文个人博客地址本文公众号地址背景数据从最原始的状态，可能是一个excel，一个文本，或者是来自业务数据库的数据，格式各种各样，落地到数据仓库、数据湖中，数据的同步过程是必不可少的图片来源传统的数据同步方式主要是基于定时任务的模式
xiaoliizi·2023-06-11 02:48

ByteLake：字节跳动基于Apache Hudi的实时数据湖平台

一篇关于字节跳动基于ApacheHudi的实时数据湖平台ByteLake的分享。
大数据技术架构·2023-06-10 21:20

【Hudi】数据湖

1.数据湖是什么？数据湖：定义、特点和应用数据湖系统以原始格式存储数据，可以存储结构化（表格或图形）、半结构化（CSV、JSON、日志）、非结构化（电子邮件、文档）和二进制数据（音频、照片等）。
Learn Forever·2023-06-10 21:50

数据湖全面解析

前言数据湖近几年迅速蹿红，今天笔者做一个综述，包括数据湖的缘起、数据湖的定义、数据湖的特征、数据湖的技术、数据湖的趋势和数据湖的案例六大部分，如果你要入门数据湖，一定要看一看。
SunnyRivers·2023-06-10 21:19

数据湖架构落地实战

与传统的数据架构要求整合、面向主题、固定分层等特点不同，数据湖为企业全员独立参与数据运营和应用创新提供了极大的灵活性，并可优先确保数据的低时延、高质量和高可用，给运营商数据架构优化提供了很好的参考思路。
产品经理自我修养·2023-06-09 16:10

【数据治理】数据治理领域最容易混淆的16组术语概念辨析

01发表于湖北前言一、3T差异（（信息化(IT)、工业运营技术（OT）、数字化转型（DT）二、2个I差异（商业智能（BI）、生产运营智能（OI））与工业互联网三、多个数据平台差异（数据仓库、大数据平、数据湖
强heaven·2023-06-09 13:37

StarRocks 3.0 极速统一的湖仓新范式

本文主要从存算分离架构、极速数据湖分析和数据应用三个大方向全面解读StarRocks3.0版本。最后，我们会对3.x后续的规划做一个分享
StarRocks_labs·2023-06-09 13:12

直播｜StarRocks 3.0 极速统一的湖仓新范式

全新升级的StarRocks3.0：通过存算分离架构，帮助用户降低存储成本、提升计算弹性通过数据湖分析、物化视图等特性简化湖仓融合，实现极速统一湖仓分析通过新的RBAC权限框架，实现湖仓数据的统一管理4
StarRocks_labs·2023-06-09 13:11

新手必看｜StarRocks 入门教程来啦

作为一款高性能分析型数据库，StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上多种格式的数据。
StarRocks_labs·2023-06-09 13:41

认识数据湖加速器(Data Lake Accelerator Goose FileSystem，GooseFS)

认识数据湖加速器DataLakeAcceleratorGooseFileSystem，GooseFS一、产品概述二、产品功能三、产品优势四、快速入门五、使用GooseFS预热Table中的数据六、使用GooseFS
最笨的羊羊·2023-06-09 11:18

[2.0快速体验]Apache Doris 2.0 弹性计算节点快速体验

目前是一个典型的Share-Nothing的架构，Doris通过绑定数据和计算资源在同一个节点获得非常好的性能表现.但随着Doris计算引擎性能持续提高,越来越多的用户也开始选择使用Doris直接查询数据湖数据
hf200012·2023-06-09 10:08

Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践

原文：FlinkCDC+Hudi+Hive+Presto构建实时数据湖最佳实践摘要：本文作者罗龙文，分享了如何通过FlinkCDC、Hudi、Hive、Presto等构建数据湖。
javastart·2023-06-09 07:08

Doris半结构化数据分析（倒排索引使用）快速入门

与基于ES的日志存储方案相比，有如下优势：性价比提升：存储成本降低50%以上，写入速度提升2倍以上支持复杂数据分析：支持多种JOIN、复杂子查询、Hive数据湖外表，支持标准SQL数据管理更简单：支持标准
wangleigiser·2023-06-09 05:22

基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog

前言：为实现基于数据湖的流批一体，采用业内主流技术栈hudi、flink、CDH（hive、spark）。
吴培洪·2023-06-09 02:49

数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查

二、数据湖hudi快速上手2.1编译hudi源码Hadoop3.1.3Hive3.1.2Flink1.13.6，scala-2.12Spark3.2.2，scala-2.122.1.1环境准备[root
undo_try·2023-06-09 02:15

数仓和数据湖的区别

1、数据仓库是存储结构化的数据，而数据湖是什么数据都能存（非结构化的数据也能存）。结构化数据可以理解为我们的二维表、JSON数据，非结构化的数据可以理解为图像文件之类的。
Six_Hundred_Miles·2023-06-08 22:32

数据湖与数据仓库区别

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、DeltaLake。
000X000·2023-06-08 22:49

小米基于 Flink 的实时数仓建设实践

上图展示的是小米目前的技术架构，在存储侧我们主要应用数据湖Iceberg和自
·2023-06-08 20:58

超级独角兽 Databricks 的崛起之路

因此，数据湖的需求逐渐增长。数据湖是一种存储库，能够以本机格式摄取大量原始数据，使企业能够在需要时轻松地访问它们。Data
CnosDB·2023-06-08 19:48

大数据架构系列：如何理解湖仓一体？

从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂商也纷纷推出自己的数据湖
dkjhl·2023-06-08 18:58

《数据智能知识地图》——数据湖篇

关  注gzh“大数据食铁兽”，回复“知识地图”获取《数据智能知识地图》数据集成篇数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。
大数据食铁兽·2023-06-08 18:36

数据仓库、数据湖、湖仓一体，有什么区别？

一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据，提供弹性的容量和吞吐能力，能够覆盖广泛的数据源，支持多种计算与处理分析引擎直接对数据进行访问的统一存储平台。
jane9872·2023-06-08 15:22

千亿级爱奇艺数据湖平台建设实践

主要内容包括以下几大部分：1.爱奇艺OLAP简介2.为什么要数据湖3.数据湖平台建设4.性能优化5.业务落地分享嘉宾｜林豪爱奇艺助理研究员出品社区｜DataFun01爱奇艺OLAP简介首先简单介绍一下爱奇艺
架构师小秘圈·2023-06-07 14:32

LinkFlow CDP科普篇06：CDP可以替代数据湖吗？

我们正以极快的速度奔向一个客户体验占据主导地位的时代。Walker表示，到2020年，客户体验将取代产品和价格，成为关键的差异化因素。2014年Gartner也曾说过，未来五年，89%的企业将通过客户体验实现差异化。现在是2019年，时间到了!客户的期望是拥有统一的客户体验，但随着客户渠道和触点的日益增多，协调客户旅程中的所有触点以提供统一的客户体验也变得愈加艰难。目前，行业中有两个解决方案——使
·2023-04-21 16:08

基于亚马逊云科技湖仓架构的营销数据湖，赋能品牌数字化体验

伴随着不断深化的数字化趋势，数据驱动已然成为企业降本增效、业务创新的重要动力。企业开始依托创新技术，着重搭建客户与企业之间优质体验的桥梁，不断探索客户与企业之间的价值连接。传统营销已无法帮助企业在竞争激烈的市场环境中获得显著突破。企业品牌营销建设迎来关键窗口期，尤其个性化营销产出、数字化营销策略、多渠道购物以及客户隐私保护等痛点问题，亟需重新思考实现品牌价值增长的方式。3月17日下午，“数字体验驱
静观事态·2023-04-21 12:13

【IDEA】数据湖 Hudi 0.12.0 基础使用

文章目录创建Maven项目插入数据查询数据更新数据增量查询删除数据前言集群系统：CentOS7.5服务器信息：服务器角色IPhadoop104服务器Master192.168.0.104hadoop105服务器Slave1192.168.0.105hadoop106服务器Slave2192.168.0.106使用的组件版本如下：组件名称版本号JDK1.8Hadoop3.1.3Spark3.1.1H
月亮给我抄代码·2023-04-20 21:58

数据湖学习笔记No.02（湖仓一体）

因此对于Kappa架构来说，依旧以流处理为主，但是数据却在数据湖层面进行了存储，当需要进行离线分析或者再次计算的时候，则将数据湖的数据再
SEUsmith·2023-04-20 20:36

StarRocks 3.0 新特性介绍

在2.x版本中，StarRocks针对实时和数据湖分析场景做了深入的打磨，PrimaryKey
StarRocks_labs·2023-04-20 15:01

数据仓库、数据中台、数据湖都是什么？

相信很多人都在最近的招聘市场上看到过招聘要求里提到了数据仓库、数据中台，甚至还有数据湖，这些层出不穷的概念让人困扰。今天我就来跟大家讲一讲数据仓库、数据中台以及数据湖的概念及区别。
产品要主动·2023-04-19 20:46

数字化转型中数据底座“湖仓一体化”

一数据是数字化转型的基础和引擎数据湖是支撑企业数字化转型的数据底座，是提供数据驱动、精准决策的全方位技术支撑。数据价值将经历数据统一化、数据资产化、数据业务化、数据生态化四个阶段。
公众号:肉眼品世界·2023-04-19 11:43

详解数据仓库数据湖及湖仓一体

随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。
weixin_38754337·2023-04-19 11:42

数据湖VS数据仓库？湖仓一体了解一下

导读：随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。
浪尖聊大数据-浪尖·2023-04-19 11:12
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他