数据湖

【Apache Spark 】第 9 章使用 Apache Spark构建可靠的数据湖

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-10-22 07:00

数据湖及湖仓一体化项目学习框架

文章目录数据湖及湖仓一体化项目学习框架前言一、数据湖基础知识介绍1、数据湖技术Hudi2、数据湖技术Iceberg二、湖仓一体化项目数据湖及湖仓一体化项目学习框架前言利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂
Lansonli·2022-10-18 17:26

Hudi

目录数据湖技术选型-Hudi；Iceberg；DataLakeHudiHudi的前世今生：1.1.1什么是ApacheHudi1.1.2Hudi支持的文件格式1.1.3表格式1.1.2使用Hudi的优点
xu-ning·2022-10-18 17:23

KLOOK客路旅行基于Apache Hudi的数据湖实践

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统1.业务背景介绍客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当
[虚幻私塾】·2022-10-18 17:49

漫说数据湖——如何建湖？如何做数据ETL？为什么大数据需要数据湖？

作者|友创云天来源|http://t.hk.uy/bt5数据湖概述数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
zhisheng_blog·2022-10-18 08:53

大数据精品栏目介绍

文章目录博客精品栏目介绍一、大数据入门核心技术二、数据湖基础+湖仓一体电商项目三、大数据OLAP技术体系四、客快物流大数据项目五、大数据进阶知识六、大数据调度系统七、数据治理博客精品栏目介绍一、大数据入门核心技术大数据入门核心技术栏目里集合
Lansonli·2022-10-12 07:38

技术分享 | Presto性能对比测试：Kubernetes部署 VS 物理机部署

Uber将Presto用于SQL数据湖，每周有超过7000名活跃
·2022-10-11 13:09

JuiceFS 在数据湖存储架构上的探索

大家好，我是来自Juicedata的高昌健，今天想跟大家分享的主题是《JuiceFS在数据湖存储架构上的探索》，以下是今天分享的提纲：首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点，然后介绍什么是
Juicedata·2022-10-11 09:15

“数据湖”：概念、特征、架构与案例

写在前面：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？
天秤座的架构师·2022-10-10 07:00

阿里资深架构师答疑：数据湖概相关念、特征、架构与案例

写在前面：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？
天秤座的架构师·2022-10-10 07:30

aws消息服务器,经验分享：我们如何使用AWS构建无服务器架构 - hypertrack

用于从我们的SDK中提取数据流，准确处理它们，使位置可用于实时定位功能，以及在我们的数据湖中保存数据以进行分析和机器学习;我们通过无服务器架构利用Amazo
灰色派·2022-10-08 09:05

Apache Hudi技术与架构-1

1前言ApacheHudi是大数据领域中新一代的基于流式计算的数据存储平台，又称之为数据湖平台（DataLakePlatform），其综合传统的数据库与数据仓库的核心功能，提供多样化的数据集成、数据处理以及数据存储的平台能力
uesowys·2022-10-08 08:27

数据库、数据仓库、大数据平台、数据中台、数据湖大对比

层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：目录数据什么是大数据数据分析与数据挖掘的区别是什么数据库什么是数据库数据库中的分布式事务理论数据仓库什么是数据仓库数据库与数据仓库有什么区别什么是数据集市大数据平台什么是大数据平台什么是大数据开发平台数据中台什
灵境旅行家·2022-10-03 07:31

数据库、数据仓库、大数据平台、数据中台、数据湖对比分析

写在前面层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：数据什么是大数据数据分析与数据挖掘的区别是什么数据库什么是数据库数据库中的分布式事务理论数据仓库什么是数据仓库什么是数据集市数据库与数据仓库的区别是什么大数据平台什么是大数据平台什么是大数据开发平台数据
csdn-延·2022-10-03 07:13

数据的世界

大数据、数据库、数据仓库、大数据平台、数据中台、数据湖随着社会的发展，数据的价值越来越被重视，数据的应用也越来越复杂，对于层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系
小旗·2022-10-03 07:42

GooseFS 在云端数据湖存储上的降本增效实践

基于云端对象存储的大数据和数据湖存算分离场景已经被广泛铺开，计算节点的独立扩缩容极大地优化了系统的整体运行和维护成本，云端对象存储的无限容量与高吞吐也保证了计算任务的高
·2022-09-28 17:56

Doris入门到精通-阶段一（简介&安装&使用）

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、
顶尖高手养成计划·2022-09-26 20:34

PostgreSQL逻辑复制解密

为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。
京东云开发者·2022-09-25 07:56

峰会倒计时1天！九位行业大咖邀您共启极速统一的数据分析新范式

本次峰会上，将首次全方位解析StarRocks功法秘笈，并发布产品3.0版本路线图，带你感受从OLAP到数据湖的跃迁。峰会倒计时1天之际，来自中原银行、华润万家、AMINOCapi
·2022-09-23 19:13

峰会倒计时3天！硅谷传奇投资人登陆专场，围炉共话分析型数据库的爆发式增长

本次峰会上，将首次全方位解析StarRocks功法秘笈，并发布产品3.0版本路线图，带你感受从OLAP到数据湖的跃迁。在下午的金融与新经济专场，AMINOCapital丰元资本创始
·2022-09-22 10:04

技术干货｜基于Apache Hudi 的CDC数据入湖「内附干货PPT下载渠道」

简介：阿里云技术专家李少锋(风泽)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题将介绍典型CDC入湖场景，以及如何使用Pulsar/Hudi来构建数据湖，
阿里云云栖号·2022-09-21 18:14

技术干货｜基于Apache Hudi 的CDC数据入湖

简介：阿里云技术专家李少锋(风泽)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题将介绍典型CDC入湖场景，以及如何使用Pulsar/Hudi来构建数据湖，
阿里云开发者·2022-09-21 18:12

PostgreSQL逻辑复制解密原理解析

为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。而
·2022-09-21 14:57

PostgreSQL逻辑复制解密

为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。
·2022-09-21 13:38

大数据不得不说的事儿（一）：存算分离凭什么能一统天下

另一个是效率问题，大数据处理组件多，不同组件使用不同的数据处理格式，比如大家熟悉的数据湖、数据仓库使用的就是不同的格式，多样化的数据格式导致数据存储变得复杂，系统中应对不同的场景
大数据在线·2022-09-21 07:28

数据平台发展史-从数据仓库数据湖到数据湖仓

数据平台发展史-从数据仓库数据湖到数据湖仓做数据的同学经常听到一些数据相关的术语，常见的包括数据仓库，逻辑数据仓库，数据湖，数据湖仓/湖仓一体，数据网格datamesh,数据编织datafabric等.
·2022-09-20 19:20

数据湖管理及优化

摘要：本文整理自阿里云开源大数据高级开发工程师杨庆苇在7月17日阿里云数据湖技术专场交流会的分享。
·2022-09-20 15:51

【湖仓一体化】存OR算之争？SPL 我都要

它和数据仓库、数据湖的关系是什么？为什么要用一体来形容呢？从一体机、超融合到云计算、HTAP，我们不断尝试将多种应用场景融合在一起并试图通过一种技术来解决一类问题，借以达到使用简单高效的目标。
Pushkin.·2022-09-14 18:17

亮点抢先看｜StarRocks Summit Asia 2022 全议程公布！

创立两年多来，StarRocks打造了全面向量化执行引擎和CBO优化器，查询能力相对同类系统实现3-5倍提升，用户可以统一分析实时数据和数据湖的离线数据。StarRocks
·2022-09-13 20:14

阿里云全链路数据湖开发治理解决方案

简介：阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
·2022-09-08 11:01

数据湖架构及概念简介

简介：本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。摘要：本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。
·2022-09-08 11:30

数据湖统一元数据与权限

简介：本文整理自阿里云数据湖构建与分析研发熊佳树在7月17日阿里云数据湖技术专场交流会的分享。摘要：本文整理自阿里云数据湖构建与分析研发熊佳树在7月17日阿里云数据湖技术专场交流会的分享。
·2022-09-08 11:30

数据湖统一元数据与权限

点击查看直播回放一、元数据与权限背景介绍开源元数据体系由来、演进及问题开源大数据体系是指以Hadoop为中心的生态系统，而目前Hive是开源数仓的事实标准。关于大数据的由来和发展，要追溯到谷歌在2003年发表的论文，论文中提出了HDFS和MapReduce两个组件。HDFS组件最早用于解决网页存储问题，它可以部署在大量廉价的机器上，提供极佳的硬件容错能力以及存储的扩展性。MapReduce的初衷是
·2022-09-08 11:26

2022爱分析·数据智能应用实践报告

特别鸣谢（按拼音排序）报告摘要湖仓一体强化全域数据管理效能为解决数据类型丰富、数据体量倍增带来的存储问题，同时满足人工智能、机器学习在趋势预测、探索分析等方面的应用需求，同时配置数据仓库、数据湖成为企业的普遍选择
·2022-09-07 16:54

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

孙方彬中国移动云能力中心软件开发工程师编辑整理：HohXil出品平台：DataFunTalk导读：在云原生+大数据的时代，随着业务数据量的爆炸式增长以及对高时效性的要求，云原生大数据分析技术，经历了从传统数仓到数据湖
·2022-09-06 17:33

使用Apache Flink 和 Apache Hudi 创建低延迟数据湖管道

近年来出现了从单体架构向微服务架构的转变。微服务架构使应用程序更容易扩展和更快地开发，支持创新并加快新功能上线时间。但是这种方法会导致数据存在于不同的孤岛中，这使得执行分析变得困难。为了获得更深入和更丰富的见解，企业应该将来自不同孤岛的所有数据集中到一个地方。AWS提供复制工具，例如AWSD
leesf·2022-09-04 20:00

数据湖架构及概念简介

摘要：本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分：数据湖演进历程云原生数据湖架构一、数据湖演进历程什么是数据湖？
阿里云大数据AI技术·2022-09-02 20:35

数据湖架构及概念简介

摘要：本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分：数据湖演进历程云原生数据湖架构一、数据湖演进历程什么是数据湖？
·2022-09-01 11:40

活动预约｜9.3 Lakehouse Meetup

简介：9月3日下午13:30开始，一起探讨数据湖仓解决方案。
·2022-08-30 12:39

如何在5分钟内发现 SQL 语言中的数据血缘

数据仓库和数据湖中处理数据用的最多的工具就是SQL语言，无论是数据加载、数据转换、还是数据清洗，都会用到SQL查询语言，更不用说数据查询和分析了。
.Zeoy·2022-08-26 10:58

湖仓一体技术解读｜流式计算实现秒级数据入湖

SequoiaDB是巨杉数据库通过10年的不断迭代，从多模数据湖架构演进出来的“湖仓一体”架构产品。SequoiaDB的“湖仓一体”结合了数据湖与数据仓库，是一个融合的基础设施环境，支持从原始数据
巨杉数据库SequoiaDB·2022-08-25 14:17

数据中台与数据湖概念认知

一、数据中台1.什么是中台？按照数据咨询公司Thoughtworks首席咨询师王健给出的10个字定义，中台就是：“企业级的能力复用平台”“企业级”划定了中台的范围，区分开了单系统的服务化与微服务。“能力”指定了中台的主要承载对象，能力的抽象解释了各种各样中台的存在。“复用”定义了中台的核心价值，过去的平台化对于易复用性并没有给予足够关注。中台的兴起，使得人们的目光更多的从平台内部，转换到平台对于前
wapecheng·2022-08-25 12:16

ArchSummit回顾：从云原生到实时数据湖，架构如何支撑业务发展

在近日举办的ArchSummit全球架构师峰会上，网易数帆高级技术专家、资深架构师裴斐和网易数帆高级技术专家周劲松分别分享了云原生业务改造和数据湖实时化的最新架构实践。
·2022-08-25 11:45

基于Apache Hudi构建分析型数据湖

对数据湖的需求在NoBrokerco
leesf·2022-08-20 22:00

6W+字记录实验全过程 | 探索Alluxio经济化数据存储策略

探索背景随着大数据应用的不断发展，数据仓库、数据湖的大数据实践层出不穷；无论是电信、金融、政府，各个行业的大数据热潮蓬勃发展。
·2022-08-19 12:48

如何避免数据湖变成数据沼泽

本文转载自www.dbta.com，作者李栋今年，Gartner发布了《分析查询加速的市场引导报告》(MarketGuideforAnalyticsQueryAccelerators)，指出企业在享受数据湖带来灵活性的同时
·2022-08-19 12:48

简述：数据中台、数据仓库、数据湖

概述：简述数据仓库、数据湖、数据中台的相关概念。
傻子般白痴·2022-08-19 10:33

开源流式湖仓服务 Arctic 详解：并非另一套 Table Format

我们在2020年开始关注数据湖新的技术，并用它来构建流批一体、湖仓一体的架构。最早我们使用Flink+Iceberg，但是实践过程中发现这个架构距离生产场景还有很大的gap
·2022-08-18 16:28

湖仓一体，Hologres加速云数据湖DLF技术原理解析

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构，为业务提供实时决策的能力，让大数据发挥出更大的商业价值。从阿里集团诞生到云上商业化，随着业务的发展和技术的演进，Hologres也在持续不断
阿里云大数据AI技术·2022-08-18 13:14

阿里云发布中国云原生数据湖应用洞察白皮书

近日，阿里云发布《中国云原生数据湖应用洞察白皮书》。在数字经济的背景下，互联网行业及传统企业加速云化转型，中国整体云服务市场的规模逐年扩增，云成为新一代IT基础设施已经成为不争的事实。
阿里云大数据AI技术·2022-08-18 13:14
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他