数据湖

拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现

01前言数据湖加速器GooseFS是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。
·2021-08-19 10:52

GooseFS 统一命名空间 | 加速存储业务访问

01前言GooseFS是腾讯云存储团队推出的分布式缓存方案，主要针对需要缓存加速的数据湖业务场景，提供基于对象存储COS服务的近计算端数据加速层。
·2021-08-17 20:04

OPPO数据湖统一存储技术实践

目前业界的流行解决方案是数据湖，本文介绍的OPPO自研的数据湖存储CBFS在很大程度上可解决目前的痛点。▌数据湖简述数据湖定义：一种集中化的存储仓库，它将数据按其原始的
·2021-08-17 11:45

GooseFS助力大数据业务数倍提升计算能力

前言GooseFS是由腾讯云推出的一款分布式缓存方案，主要针对包括需要缓存加速的数据湖业务场景，提供基于对象存储COS服务的近计算端数据加速层。
·2021-08-11 00:14

Apache Hudi 是如何维护小文件的

ApacheHudi是一种数据湖平台技术，它提供了构建和管理数据湖所需的几个功能。hudi提供的一个关键特性是自我管理文件大小，这样用户就不需要担心手动维护表。
·2021-08-09 00:00

快来看，大数据两地三中心的容灾也可以如此省心！

摘要：随着数据湖技术从离线向实时的发展，数据湖在业务已逐渐从辅助决策向实时决策，实时干预甚至提前预防的方向发展，同时，随着国家把数据作为第五种生产要素，数据据价值在逐步提升，这样对海量数据湖的可靠性提出了新的要求
·2021-08-06 12:01

CloudCanal和Canal的区别

研发团队CloudCanal核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作，包括阿里云分布式数据库中间件产品DRDS、内部核心系统数据同步工具精卫、阿里云数据湖产品
·2021-08-03 15:23

Flink + Iceberg，腾讯百亿级实时数据入湖实战

简介：上海站FlinkMeetup分享内容，腾讯数据湖的百亿级数据场景落地的案例分享。
·2021-07-27 19:09

Flink + Iceberg + 对象存储，构建数据湖方案

简介：上海站FlinkMeetup分享内容，如何基于Flink、对象存储、Iceberg来构建数据湖生态。
·2021-07-27 19:52

数据湖加速器GooseFS，加速湖上数据分析性能

数据湖加速器GooseFS是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。
·2021-07-27 19:46

Flink + Iceberg + 对象存储，构建数据湖方案

简介：上海站FlinkMeetup分享内容，如何基于Flink、对象存储、Iceberg来构建数据湖生态。
·2021-07-27 19:36

数据湖分析如何面向对象存储OSS进行优化？

简介：最佳实践，以DLA为例子。DLA致力于帮助客户构建低成本、简单易用、弹性的数据平台，比传统Hadoop至少节约50%的成本。其中DLAMeta支持云上15+种数据数据源（OSS、HDFS、DB、DW）的统一视图，引入多租户、元数据发现，追求边际成本为0，免费提供使用。DLALakehouse基于ApacheHudi实现，主要目标是提供高效的湖仓，支持CDC及消息的增量写入，目前这块在加紧产品
·2021-07-27 19:44

数据仓库VS数据湖泊，OLTP VS OLAP一篇文章说清楚

简单来说，数据仓库是一种用于存储并分析数据最终生成分析报告的系统。数据通常来自多个系统，然后将其存入数据仓库以进行长期存储和分析。存储在数仓中的数据都是结构化的使得企业中许多部门或部门的用户可以按需访问和分析数据。该图显示了数据仓库如何连接到其他业务系统数据仓库中的数据有很多来源：数据库、日志、点击流等，这些数据被用来分析并挖掘出商业价值。数据仓库具有双重角色：分析工具：为许多部门的用户提供决策和
吕信·2021-06-27 16:50

Flink 和 Iceberg 如何解决数据入湖面临的挑战

一、数据入湖的核心挑战数据实时入湖可以分成三个部分，分别是数据源、数据管道和数据湖（数仓），本文的内容将围绕这三部分展开。
·2021-06-27 03:22

利用Spark监听listener来监控任务完成进度

一、背景当时在做数据湖的项目，需要使用SparkSQL做数据ETL，即并发地将全表数据从RDBMS经过数据转换等导入到HDFS中。
alexlee666·2021-06-26 19:15

一击进榜！达摩院十年“扫地僧”，揭秘阿里云数据仓库逆袭之旅

在阿里，离哲始终坚持长期主义的技术态度，最终带领研发团队，研发的产品云原生数据仓库AnalyticDB和云原生数据湖分析DalaLakeAnalytics得到广
·2021-06-25 15:52

大数据篇：一文读懂@数据仓库

智慧城市、智慧社会企业层面的：数字互联网，数字经济、数字平台、数字城市、数字政府；平台层面的：物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱技术层面的：数据仓库、数据集市、大数据平台、数据湖
数据僧·2021-06-24 22:36

数据湖构建DLF数据探索快速入门-淘宝用户行为分析

简介本教程通过使⽤数据湖构建（DLF）产品对于淘宝⽤户⾏为样例数据的分析，介绍DLF产品的数据发现和数据探索功能。
·2021-06-24 18:31

apache iceberg 数据湖

理解首先，大家要明白为什么出现了类似Iceberg这样的数据技术。大数据领域发展至今已经经历了相当长时间的发展和探索，虽然大数据技术的出现和迭代降低了用户处理海量数据的门槛，但是有一个问题不能忽视，数据格式对不同引擎适配的对接。这句话是什么意思呢？我们在使用不同的引擎进行计算时，需要将数据根据引擎进行适配。这是相当棘手的问题为此出现了一种新的解决方案：介于上层计算引擎和底层存储格式之间的一个中间层
邵红晓·2021-06-23 14:25

Flink 和 Iceberg 如何解决数据入湖面临的挑战

一、数据入湖的核心挑战数据实时入湖可以分成三个部分，分别是数据源、数据管道和数据湖（数仓），本文的内容将围绕这三部分展开。
·2021-06-22 21:13

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要由云厂商
·2021-06-22 11:36

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要由云厂商
·2021-06-21 00:57

漫说数据湖——如何建湖？如何做数据ETL？如何使用数据......

从前，数据少的时候，人们拿脑子记就可以了，大不了采用结绳记事：后来，为了更有效率的记事和工作，数据库出现了。数据库核心是满足快速的增删改查，应对联机事务。比如你用银卡消费了，后台数据库就要快速记下这笔交易，更新你的卡余额。日子久了，人们发现，库里的数据越来越多了，不光要支持联机业务，还有分析的价值。但是，传统数据库要满足频繁、快速的读写需求，并不适合这种以读取大量数据为特征的分析业务。于是，人们在
DataHunter小数·2021-06-19 23:30

一击进榜！达摩院十年“扫地僧”，揭秘阿里云数据仓库逆袭之旅

在阿里，离哲始终坚持长期主义的技术态度，最终带领研发团队，研发的产品云原生数据仓库AnalyticDB和云原生数据湖分析DalaLakeAnalytics得到广
·2021-06-18 22:14

数据湖分析如何面向对象存储OSS进行优化？

简介：最佳实践，以DLA为例子。DLA致力于帮助客户构建低成本、简单易用、弹性的数据平台，比传统Hadoop至少节约50%的成本。其中DLAMeta支持云上15+种数据数据源（OSS、HDFS、DB、DW）的统一视图，引入多租户、元数据发现，追求边际成本为0，免费提供使用。DLALakehouse基于ApacheHudi实现，主要目标是提供高效的湖仓，支持CDC及消息的增量写入，目前这块在加紧产品
·2021-06-18 22:59

百信银行基于 Apache Hudi 实时数据湖演进方案

本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在Hudi上的方案和实践方法，以及实时计算平台集成Hudi和使用Hudi的方式。
·2021-06-18 21:08

年营收近 11 亿，七牛云今日递交招股书拟在纳斯达克上市

七牛云成立于2011年，作为企业级云计算和数据服务提供商，建立了统一的异构数据湖，打造了完备的视频云服务和视频数据分析平台，并创建了简洁开放的机器数据处理平台｡七牛云开创了“云+数据”的一体化PaaS平台
·2021-06-18 21:45

Delta Lake: 数据湖？数据仓库？

DeltaLake的横空出世，又点爆了一个新的热点。今天，就用砖厂【Databricks】的大神MichaelArmbrust上周的讲座【全球巡演Boston站】来揭开它的神秘面纱。https://v.youku.com/v_show/id_XNDI0OTE4NzYzNg【《---优酷Link,强烈建议认真听听主创者是如何介绍DeltaLake的动机和底层实现细节】听完后，思考一个简单的问题，Sp
smilegator·2021-06-11 17:30

从火星的古海洋，读懂蓝星的数据湖之变

相比传统的数据仓库架构，数据湖（DataLake）已经成为数字化进程中，对现代企业和组织极具吸引力的大数据“着陆地”。简单来说，数
脑极体unity007·2021-06-05 03:02

“行业毒瘤”低代码

什么是数据湖？什么是智能湖仓？下面进入我们进入今天的正题。
程序员小灰·2021-05-29 11:00

什么是数据湖？什么是智能湖仓？

首先，我们来讲一讲什么是数据库。作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。但是，内存的空间是有限的，也无法长期保存有用的数据。对于那些大量的，需要长期使用的数据，我们需要对它们进行持久的、规范化的存储，于是就有了数据库（DataBase）。市场上常用的数据库有很多种，包括像MySQL、Oracle这样的关系型数据库，也包括Redis，
Python专业代码搬运工·2021-05-28 10:19

什么是数据湖？什么是智能湖仓？

首先，我们来讲一讲什么是数据库。作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。但是，内存的空间是有限的，也无法长期保存有用的数据。对于那些大量的，需要长期使用的数据，我们需要对它们进行持久的、规范化的存储，于是就有了数据库（DataBase）。市场上常用的数据库有很多种，包括像MySQL、Oracle这样的关系型数据库，也包括Redis，
程序员小灰·2021-05-28 09:00

解密华为云FusionInsight MRS新特性：一架构三湖

摘要：华为云安全网关产品总监郭冕在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsightMRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS
华为云·2021-05-25 10:07

数据湖

一、数据湖概述数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
梅西爱骑车·2021-05-22 20:36

一些文章资讯汇总（数据库篇）

数据库数据仓库的前世今生网易严选数据湖建设实践微服务开发中的数据构架设计4次版本迭代，我们将项目性能提升了3
一日三浪·2021-05-21 17:25

人工智能18年发展预测

人工智能也必须连接并融合各个领域的知识和数据，成为数据湖，价格有更多的第三方公司提供数据服务。人工智能提高生产力的途径：1.使得重复流程自动化；2.通过数据分析预测发展趋势；3.
一个帅气的名字呀·2021-05-12 19:37

Flink+iceberg环境搭建以及问题处理

概述作为实时计算的新贵，Flink受到越来越多公司的青睐，它强大的流批一体的处理能力可以很好地解决流处理和批处理需要构建实时和离线两套处理平台的问题，可以通过一套Flink处理完成，降低成本，Flink结合数据湖的处理方式可以满足我们实时数仓和离线数仓的需求
小小一刀·2021-05-11 10:47

腾讯云存储产品矩阵全面升级，发布三维生态战略

5月10日，腾讯云在北京举行存储产品战略发布会，发布了业界首款十微秒级的极速型云硬盘、业界首款突破百GB吞吐的文件存储、以及业界首创能够10倍提升数据湖存储分析性能的对象存储三级加速器等新一代云存储产品矩阵
AI科技大本营·2021-05-10 17:15

精彩回顾 | Apache Flink x Iceberg Meetup · 上海站

本次Meetup，社区邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的4位技术专家分享了超多关于Flink&数据湖的内容，全方位解析数据湖生产应用难题。
阿里云开发者·2021-04-30 15:29

数据湖 Iceberg 在网易云音乐的实践

Iceberg详细设计ApacheIceberg是Netflix开源的全新的存储格式，我们已经有了Parquet、ORC、Arvo等非常优秀的存储格式以后，Netfix为什么还要设计出Iceberg呢？和Parquet、ORC等文件格式不同，Iceberg在业界被称之为TableForamt，Parquet、ORC、Avro等文件等格式帮助我们高效地修改、读取单个文件；同样TableForamt帮
NetEaseResearch·2021-04-30 15:29

FusionInsight MRS：你的大数据“管家”

本文分享自华为云社区《HDC.Cloud2021一文回顾华为云FusionInsightMRS云原生数据湖亮点》，原文作者：沙漏。
华为云·2021-04-27 14:08

这才是大数据的正确打开方式

不过随着数据量级的不断扩大，从数据仓库到数据湖再到仓湖一体，如何将各种大数据技术栈整合在一起，发挥出大数据技术的最大价值成为业界都在关注的问题。
华为云·2021-04-17 14:40

阿里数据中台大火，国外却在建设数据湖，这两者什么关系？

不知道大家有没有发现，这几年的数据领域有好多的概念，例如：大数据、人工智能、物联网、边缘计算、数据治理、数据湖、数据中台、数据可视化……。这说明数据这个领域真的很“火”，可谓是“百花齐放”！
数据分析不是个事儿·2021-04-15 00:21

Flink集成数据湖之实时数据写入iceberg

背景随着大数据处理结果的实时性要求越来越高，越来越多的大数据处理从离线转到了实时，其中以flink为主的实时计算在大数据处理中占有重要地位。Flink消费kafka等实时数据流。然后实时写入hive，在大数据处理方面有着广泛的应用。此外由于列式存储格式如parquet或者orc在查询性能方面有着显著的提高，所以大家都会优先选择列式存储作为我们的存储格式。传统的这种架构看似不错，但是还是有很多没有解
大数据技术与应用实战·2021-04-14 20:14

Apache Flink Meetup · 上海站，超强数据湖干货等你来！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主
·2021-04-08 19:26

Apache Flink Meetup · 上海站，超强数据湖干货等你来！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主
·2021-04-08 19:25

Apache Flink Meetup · 上海站，超强数据湖干货等你！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主
阿里云开发者·2021-04-08 16:16

Apache Iceberg 数据湖从入门到放弃(0) —— 初步入门三部曲

数据处理现状：当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。实时数仓建设：实时数仓1.0传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。对于实时处理场景，我们一般又可以分为两类，一类诸如
黄瓜炖啤酒鸭·2021-04-08 09:11

Apache Iecberg 从入门到放弃(0) —— 初步入门

什么是数据湖在开始整活之前，先介绍一下什么是数据湖，来一段亚马逊云上的介绍：数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。
Flink-狄杰·2021-04-07 20:08

深度 | 面向云原生数据湖的元数据管理技术解析

简介：作者：沐远、明惠背景数据湖当前在国内外是比较热的方案，MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。
·2021-04-01 12:45
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他