数据湖

千万不要用新技术重新开发一次啊_阿朱=行业趋势+开发管理+架构-CSDN博客

但2023年以后，你不需要这么搞了，它上面有啥数据库&数据湖仓、中间件、运维&安全等等你都可以直接使用了，你不需要为你的应用基础做思考，你只关注你的应用就行了。
·2021-12-05 08:00

基于Delta lake、Hudi格式的湖仓一体方案

简介：DeltaLake和Hudi是流行的开放格式的存储层，为数据湖同时提供流式和批处理的操作，这允许我们在数据湖上直接运行BI等应用，让数据分析师可以即时查询新的实时数据，从而对您的业务产生即时的洞察
·2021-12-03 19:07

数据网格简史

要了解数据网格，就需要从数据系统的源头开始，了解数据系统是如何从硬编码、SQL、数据库、数据仓库、数据湖一路发展到数据网格。
DeepNoMind·2021-11-27 15:50

两条华子也换不来的数据湖讲解

前言数据湖一词进入我的视野是两年前，我记得当时是我们老板给做了DataBricks的技术分享报告，那个时候其实是介绍Spark的一些新特性，然后顺便介绍了数据湖。
敏叔V587·2021-11-27 00:57

企业级数据湖最佳实践

简介：2021云栖大会云原生企业级数据湖专场，阿里云智能高级解决方案架构师周皓为我们带来《企业级数据湖最佳实践》的分享。本文主要分享了数据湖的核心能力及几个最佳实践案例。
·2021-11-24 10:45

离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

通过从数据湖到数
·2021-11-23 11:58

从消息到数据湖：看 Apache RocketMQ、Hudi、Kyuubi 最新进展

简介：聚焦消息队列&数据湖场景，ApacheRocketMQwithHudi&Kyuubi上海的开发者小伙伴们，12月18号，ApacheRocketMQ&ApacheHudi&ApacheKyuubi
·2021-11-22 12:50

从消息到数据湖：看 Apache RocketMQ、Hudi、Kyuubi 最新进展

本场活动聚焦ApacheRocketMQ及Hudi，Kyuubi数据湖结合，帮助开发者能更好地应对业务挑战。活动将邀请喜马拉雅、平安证券、网易、阿里云的众多技术专家，共同为大家分享Ap
·2021-11-17 20:45

Apache Kyuubi 在 T3 出行的深度实践

因为车联网数据的多样性，T3出行构建了以ApacheHudi为基础的企业级数据湖，提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言，平台的技术门槛是另一种挑战。
·2021-11-12 15:26

Apache Kyuubi 在 T3 出行的深度实践

因为车联网数据的多样性，T3出行构建了以ApacheHudi为基础的企业级数据湖，提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言，平台的技术门槛是另一种挑战。
网易数帆·2021-11-12 15:00

COSCon‘21 精彩回顾 | Apache Kyuubi 在 T3 出行的深度实践

因为车联网数据的多样性，T3出行构建了以ApacheHudi为基础的企业级数据湖，提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言，平台的技术门槛是另一种挑战。
网易杭研·2021-11-12 09:33

hudi clustering 数据聚集（一）

概要数据湖的业务场景主要包括对数据库、日志、文件的分析，而管理数据湖有两点比较重要：写入的吞吐量和查询性能，这里主要说明以下问题：1、为了获得更好的写入吞吐量，通常把数据直接写入文件中，这种情况下会产生很多小的数据文件
努力爬呀爬·2021-11-11 09:00

Flink cdc2.0

2.应用场景1.数据同步，用于备份，容灾2.数据分发，一个数据源分发给多个下游3.数据采集(E)，面向数据仓库/数据湖的ETL数据集成3.cdc技术目前业界主流的实现机制的可以分为
wudl·2021-11-07 17:43

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
·2021-11-05 17:33

数据湖构建与计算

简介：2021云栖大会云原生企业级数据湖专场，阿里云智能高级产品专家李冰为我们带来《数据湖构建与计算》的分享。本文主要从数据的入湖和管理、引擎的选择展开介绍了数据湖方案降本增效的特性。
·2021-11-05 15:25

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
·2021-11-05 11:05

云湖共生-释放企业数据价值

摘要：2021云栖大会云原生企业级数据湖专场，阿里云智能资深技术专家、对象存储OSS负责人罗庆超为我们带来《云湖共生-释放企业数据价值》的分享。
·2021-11-05 11:59

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
阿里云开发者·2021-11-05 11:38

贾扬清谈云原生-让数据湖加速迈入3.0时代

简介：摘要：2021云栖大会云原生企业级数据湖专场，阿里云智能高级研究员贾扬清为我们带来《云原生--让数据湖加速迈入3.0时代》的分享。
·2021-11-04 12:21

基于Delta lake、Hudi格式的湖仓一体方案

简介：DeltaLake和Hudi是流行的开放格式的存储层，为数据湖同时提供流式和批处理的操作，这允许我们在数据湖上直接运行BI等应用，让数据分析师可以即时查询新的实时数据，从而对您的业务产生即时的洞察
·2021-10-27 14:04

数据湖YYDS！ Flink+IceBerg实时数据湖实践

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜数据湖的前世今生互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。
王知无(import_bigdata)·2021-10-12 08:00

Flink cdc2.0

2.应用场景1.数据同步，用于备份，容灾2.数据分发，一个数据源分发给多个下游3.数据采集(E)，面向数据仓库/数据湖的ETL数据集成3.cdc技术目前业界主流的实现机制的可以分为
wudonglianga·2021-10-02 20:17

Apache Hudi 在 B 站构建实时数据湖的实践

本文作者喻兆靖，介绍了为什么B站选择Flink+Hudi的数据湖技术方案，以及针对其做出的优化。
·2021-09-23 21:03

Apache Hudi 在 B 站构建实时数据湖的实践

简介：B站选择Flink+Hudi的数据湖技术方案，以及针对其做出的优化。本文作者喻兆靖，介绍了为什么B站选择Flink+Hudi的数据湖技术方案，以及针对其做出的优化。
·2021-09-10 11:16

数据湖搭建指南——几个核心问题

1、什么是数据湖？数据湖是一种技术系统，可以大批量并且廉价的分析结构化和非结构化数据资产。其实很简单，数据湖的最大魅力在于可以分析一切类型的数据。
·2021-09-10 10:09

使用 Flink Hudi 构建流式数据湖

本文介绍了FlinkHudi通过流计算对原有基于mini-batch的增量计算模型不断优化演进。用户可以通过FlinkSQL将CDC数据实时写入Hudi存储，且在即将发布的0.9版本Hudi原生支持CDCformat。主要内容为：背景增量ETL演示一、背景近实时从2016年开始，ApacheHudi社区就开始通过Hudi的UPSERT能力探索近实时场景的使用案例[1]。通过MR/Spark的批处理
·2021-09-08 18:30

技术干货｜基于Apache Hudi 的CDC数据入湖「内附干货PPT下载渠道」

简介：阿里云技术专家李少锋(风泽)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题将介绍典型CDC入湖场景，以及如何使用Pulsar/Hudi来构建数据湖，
·2021-09-06 17:03

技术干货｜基于Apache Hudi 的CDC数据入湖

简介：阿里云技术专家李少锋(风泽)在ApacheHudi与ApachePulsar联合Meetup杭州站上的演讲整理稿件，本议题将介绍典型CDC入湖场景，以及如何使用Pulsar/Hudi来构建数据湖，
·2021-09-06 17:25

SAP HANA Cloud 学习教程之一： 如何在 SAP BTP 上创建 SAP HANA Cloud 实例

提供了将数据存储从内存中扩展到本机存储扩展到数据湖的能力，同时提供了一个通用访问层，使您能够进一步控制性能和成本。以下是SAPHANACloud和内部部署版本之间的一
·2021-09-02 16:01

浪潮云说丨浪潮云IBP数据工场，打造行业数据基座

在一体化大数据中心建设方面，IBP数据工场利用数据湖构建工具建设一体化数据中心，实现数据的高效汇聚、有效治理，
·2021-08-30 19:34

在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务

GooseFS是腾讯云对象存储团队最新推出的高性能、高可用以及可弹性伸缩的分布式缓存系统，依靠对象存储（CloudObjectStorage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口
·2021-08-26 13:44

数据湖在大数据场景下应用和实施方案调研笔记(增强版)

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜在读本文前你应该看过这些：《我看好数据湖的未来，但不看好数据湖的现在》《数据湖解决方案关键一环，IceBerg会不会脱颖而出？》
王知无(import_bigdata)·2021-08-24 08:00

数据湖还数据仓库？湖仓一体了解下

当前面临的问题的复杂性、综合性、交叉性，导致数据的使用成本越来越高，企业迫切需求能够有效打破数据孤岛、解决数据主权、统一数据汇聚和共享的混合式数据平台，数据湖应运而生。
·2021-08-23 11:16

FusionInsight怎么帮「宇宙行」建一个好的「云数据平台」？

摘要：基于数据湖架构，应用效率得以极大提升。经过几年发展，当前集群规模已经达到1000多节点，数据量几十PB，日均处理作业数大概是10万，赋能于180多个总行应用和境内外41家分行及子公司。
·2021-08-23 11:07

拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现

01前言数据湖加速器GooseFS是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。
·2021-08-19 10:52

GooseFS 统一命名空间 | 加速存储业务访问

01前言GooseFS是腾讯云存储团队推出的分布式缓存方案，主要针对需要缓存加速的数据湖业务场景，提供基于对象存储COS服务的近计算端数据加速层。
·2021-08-17 20:04

OPPO数据湖统一存储技术实践

目前业界的流行解决方案是数据湖，本文介绍的OPPO自研的数据湖存储CBFS在很大程度上可解决目前的痛点。▌数据湖简述数据湖定义：一种集中化的存储仓库，它将数据按其原始的
·2021-08-17 11:45

GooseFS助力大数据业务数倍提升计算能力

前言GooseFS是由腾讯云推出的一款分布式缓存方案，主要针对包括需要缓存加速的数据湖业务场景，提供基于对象存储COS服务的近计算端数据加速层。
·2021-08-11 00:14

Apache Hudi 是如何维护小文件的

ApacheHudi是一种数据湖平台技术，它提供了构建和管理数据湖所需的几个功能。hudi提供的一个关键特性是自我管理文件大小，这样用户就不需要担心手动维护表。
·2021-08-09 00:00

快来看，大数据两地三中心的容灾也可以如此省心！

摘要：随着数据湖技术从离线向实时的发展，数据湖在业务已逐渐从辅助决策向实时决策，实时干预甚至提前预防的方向发展，同时，随着国家把数据作为第五种生产要素，数据据价值在逐步提升，这样对海量数据湖的可靠性提出了新的要求
·2021-08-06 12:01

CloudCanal和Canal的区别

研发团队CloudCanal核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作，包括阿里云分布式数据库中间件产品DRDS、内部核心系统数据同步工具精卫、阿里云数据湖产品
·2021-08-03 15:23

Flink + Iceberg，腾讯百亿级实时数据入湖实战

简介：上海站FlinkMeetup分享内容，腾讯数据湖的百亿级数据场景落地的案例分享。
·2021-07-27 19:09

Flink + Iceberg + 对象存储，构建数据湖方案

简介：上海站FlinkMeetup分享内容，如何基于Flink、对象存储、Iceberg来构建数据湖生态。
·2021-07-27 19:52

数据湖加速器GooseFS，加速湖上数据分析性能

数据湖加速器GooseFS是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。
·2021-07-27 19:46

Flink + Iceberg + 对象存储，构建数据湖方案

简介：上海站FlinkMeetup分享内容，如何基于Flink、对象存储、Iceberg来构建数据湖生态。
·2021-07-27 19:36

数据湖分析如何面向对象存储OSS进行优化？

简介：最佳实践，以DLA为例子。DLA致力于帮助客户构建低成本、简单易用、弹性的数据平台，比传统Hadoop至少节约50%的成本。其中DLAMeta支持云上15+种数据数据源（OSS、HDFS、DB、DW）的统一视图，引入多租户、元数据发现，追求边际成本为0，免费提供使用。DLALakehouse基于ApacheHudi实现，主要目标是提供高效的湖仓，支持CDC及消息的增量写入，目前这块在加紧产品
·2021-07-27 19:44

数据仓库VS数据湖泊，OLTP VS OLAP一篇文章说清楚

简单来说，数据仓库是一种用于存储并分析数据最终生成分析报告的系统。数据通常来自多个系统，然后将其存入数据仓库以进行长期存储和分析。存储在数仓中的数据都是结构化的使得企业中许多部门或部门的用户可以按需访问和分析数据。该图显示了数据仓库如何连接到其他业务系统数据仓库中的数据有很多来源：数据库、日志、点击流等，这些数据被用来分析并挖掘出商业价值。数据仓库具有双重角色：分析工具：为许多部门的用户提供决策和
吕信·2021-06-27 16:50

Flink 和 Iceberg 如何解决数据入湖面临的挑战

一、数据入湖的核心挑战数据实时入湖可以分成三个部分，分别是数据源、数据管道和数据湖（数仓），本文的内容将围绕这三部分展开。
·2021-06-27 03:22

利用Spark监听listener来监控任务完成进度

一、背景当时在做数据湖的项目，需要使用SparkSQL做数据ETL，即并发地将全表数据从RDBMS经过数据转换等导入到HDFS中。
alexlee666·2021-06-26 19:15

一击进榜！达摩院十年“扫地僧”，揭秘阿里云数据仓库逆袭之旅

在阿里，离哲始终坚持长期主义的技术态度，最终带领研发团队，研发的产品云原生数据仓库AnalyticDB和云原生数据湖分析DalaLakeAnalytics得到广
·2021-06-25 15:52
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他