数据湖

【金猿投融展】Kyligence——改变人类使用数据的习惯

数据智能产业创新服务媒体——聚焦数智·改变商业上海跬智信息技术有限公司(Kyligence)由ApacheKylin创始团队于2016年3月创办，致力于打造下一代企业级智能多维数据库，为企业简化数据湖上的多维数据分析
数据猿·2022-12-28 04:30

直播预约｜阿里云EMR 2.0 重磅发布

一方面，原有Hadoop体系的产品迭代趋于稳定；另一方面，「流处理」、「数据可视化」、「交互式分析」、「数据湖」等技术领域成为热点。阿里
阿里云大数据AI技术·2022-12-25 03:58

当云原生成为一种显学，对象存储和数据湖如何顺势而为

前言：已经成为数字化时代显学的云原生并非单项技术，而是一种重塑了软件开发和和业务运行应用的设计思想，是一套技术体系和方法论。云原生“CloudNative”的Cloud是指云平台，Native则表示应用程序从设计之初即使用云环境、天生为云而设计，充分利用和发挥云平台的弹性+分布式优势。据相关机构（Gartner）预测，部署在云原生平台上的数字工作负载将由2021年的30%增长至2025年的95%。
阿里云技术·2022-12-24 13:59

DLF +DDI 一站式数据湖构建与分析最佳实践

简介：本文由阿里云数据湖构建DLF团队和Databricks数据洞察团队联合撰写，旨在帮助您更深入地了解阿里云数据湖构建（DLF）+Databricks数据洞察（DDI）构建一站式云上数据入湖。
阿里云云栖号·2022-12-24 12:35

当云原生成为一种显学，对象存储和数据湖如何顺势而为

前言：已经成为数字化时代显学的云原生并非单项技术，而是一种重塑了软件开发和和业务运行应用的设计思想，是一套技术体系和方法论。云原生“CloudNative”的Cloud是指云平台，Native则表示应用程序从设计之初即使用云环境、天生为云而设计，充分利用和发挥云平台的弹性+分布式优势。据相关机构（Gartner）预测，部署在云原生平台上的数字工作负载将由2021年的30%增长至2025年的95%。
阿里云云栖号·2022-12-24 08:27

2万字，详解数据湖，概念、特征、架构、方案、场景以及建湖全过程（建议收藏）...

公众号回复：干货，领取价值58元/套IT管理体系文档公众号回复：ITIL教材，领取最新ITIL4中文教材更多专业文档请访问www.itilzj.com最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建
公众号:ITIL之家·2022-12-23 16:09

当云原生成为一种显学，对象存储和数据湖如何顺势而为

前言：已经成为数字化时代显学的云原生并非单项技术，而是一种重塑了软件开发和和业务运行应用的设计思想，是一套技术体系和方法论。云原生“CloudNative”的Cloud是指云平台，Native则表示应用程序从设计之初即使用云环境、天生为云而设计，充分利用和发挥云平台的弹性+分布式优势。据相关机构（Gartner）预测，部署在云原生平台上的数字工作负载将由2021年的30%增长至2025年的95%。
·2022-12-23 15:19

当云原生成为一种显学，对象存储和数据湖如何顺势而为

前言：已经成为数字化时代显学的云原生并非单项技术，而是一种重塑了软件开发和和业务运行应用的设计思想，是一套技术体系和方法论。云原生“CloudNative”的Cloud是指云平台，Native则表示应用程序从设计之初即使用云环境、天生为云而设计，充分利用和发挥云平台的弹性+分布式优势。据相关机构（Gartner）预测，部署在云原生平台上的数字工作负载将由2021年的30%增长至2025年的95%。
·2022-12-23 15:13

4万字长文全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2022-12-22 09:29

全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
浪尖聊大数据-浪尖·2022-12-22 09:59

4W字全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
浪尖聊大数据-浪尖·2022-12-22 09:28

阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界

二、DataWorks是什么DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台
风一样的美狼子·2022-12-22 09:24

移动云PFS重磅更新

对象存储，因其低成本、易接入、EB级大容量存储能力等特性，成为数据采集上云形成数据湖的优选；但因访问接口协议有限，且无法满足高性能访问需求，进而无法深度分析存储数据，让诸多企业“望湖兴叹”。
移动云开发者联盟·2022-12-22 09:47

数据湖与数据仓库与数据集市

数据湖、数据仓库和数据集市这三种架构现在都已在企业中建立起来，并且是可靠数据平台的一部分，但它们之间有何不同？但是，可以说这些概念不仅是竞争者，而且是相互建立和依赖的。
DataView数据科技研究院·2022-12-22 07:57

Hudi入门到实战

简介ApacheHudi（HadoopUpsertsDeleteandIncremental）是下一代流数据湖平台。ApacheHudi将核心仓库和数据库功能直接引入数据湖。
顶尖高手养成计划·2022-12-21 07:13

亚马逊云科技推出安全数据湖Amazon Security Lake

2022年12月2日，亚马逊云科技在2022re:Invent全球大会上宣布，推出AmazonSecurityLake，该服务可以自动将客户在云端和本地的安全数据集中到客户在亚马逊云科技账户下专门构建的数据湖中
ZN海景房·2022-12-19 02:05

当打造一款极速湖分析产品时，我们在想些什么

作者：王有卓，StarRocksContributor随着开源数据湖技术的快速发展以及湖仓一体全新架构的提出，传统数据湖在事务处理、流式计算以及数据科学场景的限制逐渐得以优化解决。
StarRocks_labs·2022-12-17 05:49

技术内幕 | 阿里云EMR StarRocks 极速数据湖分析

双方联手增强StarRocks的数据湖分析能力，使其不仅能够分
StarRocks_labs·2022-12-17 05:48

数据湖与数据仓库的根本区别，在于前者是“市场经济”，而后者是“计划经济”...

这是傅一平的第356篇原创正文开始很多同学跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，有不觉明历的，也有认为是概念炒作的，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。
dbLenis·2022-12-16 18:14

有了数据湖，距离数据仓库消失还有几年？

很多人跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。
Leo.yuan·2022-12-16 18:14

TeaTalk·Online 大数据+云原生，再度风云起

这次分享主要讲解大数据云原生的关键技术，这里主要包括大数据组件容器化、计算存储分离、数据湖&湖仓一体方面：1、介绍移动云云原生大数据分析Lakeh
wargzn_·2022-12-16 16:42

中台的理解分析与建设

关键字：下沉、中间件、能力输出概述随着企业及组织信息化、数字化、智能化的转型与推进，比如云计算、大数据、人工智能、物联网等概念已如雷贯耳，而衍生的雾计算、霾计算、边缘计算、边缘存储、时序存储、数据湖、中台等概念依然层出不穷
戰士·2022-12-16 14:26

星环数据云平台 TDC 3.1 发布，新增滚动重启、存储回收站等八大核心功能

TDC是采用云原生技术，融合星环科技全系产品打造的统一PaaS平台，可以为企业提供数据流通交易平台、企业湖仓一体数据湖、企业数据中台、联邦云、企业数字化转型、政务大数据、云原生数据科学云和高并发数据应用八大解决方案
·2022-12-15 20:11

星环数据云平台 TDC 3.1 发布，新增滚动重启、存储回收站等八大核心功能

TDC是采用云原生技术，融合星环科技全系产品打造的统一PaaS平台，可以为企业提供数据流通交易平台、企业湖仓一体数据湖、企业数据中台、联邦云、企业数字化转型、政务大数据、云原生数据科学云和高并发数据应用八大解决方案
·2022-12-15 19:38

当打造一款极速湖分析产品时，我们在想些什么

作者：王有卓，StarRocksContributor随着开源数据湖技术的快速发展以及湖仓一体全新架构的提出，传统数据湖在事务处理、流式计算以及数据科学场景的限制逐渐得以优化解决。
·2022-12-15 18:05

新一代云原生实时数仓 SelectDB 发布会精华干货！五大核心特色解读。

基于传统数据库共享存储架构和专门面向分析型的无共享MPP架构第二阶段：湖仓并行时代使用场景：企业内部报表与分析，更大规模的ETL数据工程、行为分析和画像等新型数据应用分析，百万级外部客户高并发需求技术实现：离线数据湖
·2022-12-15 14:02

COS数据湖存储引领大数据存储和自动驾驶存储发展趋势

COS数据湖存储引领大数据存储和自动驾驶存储发展趋势数据是企业的核心资产，随着数据规模的快速增长，企业对存储功能和性能的要求也在不断增加。
·2022-12-15 12:10

腾讯云原生数据湖存储服务能力再上新，三级加速体系助力企业用数赋智

随着数据价值被越来越多企业认可，数据湖存储已成为企业级存储的首选和新一代提升生产力的服务。
·2022-12-14 14:34

腾讯云存储产品全线升级，满足更多高性能存储场景

12月1日，在2022腾讯全球数字生态大会存储专场上，腾讯云发布了多款云存储产品能力上新，并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享，为广大企业实现数字化转型和业务创新提供参考借鉴
·2022-12-14 14:34

如何在5分钟内发现 SQL 语言中的数据血缘

数据仓库和数据湖中处理数据用的最多的工具就是SQL语言，无论是数据加载、数据转换、还是数据清洗，都会用到SQL查询语言，更不用说数据查询和分析了。
chensuper·2022-12-14 04:33

数仓、数据湖、数据中台介绍

关于数仓、数据集市、数据湖、大数据平台以及数据中台，看到一篇从事21年的大佬写的文章分享，将这几者的本质和区别，结合自身经验，讲得偏僻入理，于是转来分享，希望对大家都有所感悟！
hzp666·2022-12-10 20:06

数据湖概念

数据库,数据仓库,数据集市，数据湖，数据中台_迷路剑客的博客-CSDN博客_数据仓库数据集市数据湖是一个概念，基本的架构构成：分布式对象存储+多模态计算引擎+数据管理存储的数据视角：多元异构的原始数据；
陶醉·2022-12-10 13:05

一文搞懂什么是数据湖(data lake)？

一、概论datalake数据湖，最早由Pentaho的CTO,JamesDixon发明。
海若[MATRIX]·2022-12-09 15:18

Flink写入数据到Hudi数据湖的各种方式 + Flink从Hudi数据湖读取数据的各种方式

目录1.写入方式1.1CDCIngestion1.2BulkInsert1.3IndexBootstrap2.写入模式2.1ChangelogMode2.2AppendMode3.write写入速率限制4.读取方式4.1StreamingQuery4.2IncrementalQuery1.写入方式1.1CDCIngestion有两种方式同步数据到Hudi使用FlinkCDC直接将Mysql的bin
Bulut0907·2022-12-08 10:46

大数据之数据湖---flink 整合hudi

1.hudi简介Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Log
wudl5566·2022-12-08 10:15

Flink CDC 2.2.0同步Mysql数据到Hudi数据湖

目录1.介绍2.Deserialization序列化和反序列化3.添加FlinkCDC依赖3.1sql-client3.2Java/ScalaAPI4.使用SQL方式同步Mysql数据到Hudi数据湖4.1Mysql
Bulut0907·2022-12-08 10:15

使用 Flink Hudi 构建流式数据湖平台

▼关注「ApacheFlink」，看更多大咖▼摘要：本文整理自阿里巴巴技术专家陈玉兆(玉兆)、阿里巴巴开发工程师刘大龙(风离)在FlinkForwardAsia2021实时数据湖专场的演讲。
Apache Flink·2022-12-08 10:14

flink连接“数据湖”hudi，并将数据存入hdfs

依赖：其实最重要的是前面hudi和hadoop\fink的依赖，不过懒得再挑，直接全部粘这里了org.apache.hadoophadoop-client3.1.3org.apache.hadoophadoop-hdfs3.1.3org.apache.hadoophadoop-common3.1.3org.apache.hudihudi-flink-bundle_2.120.9.0com.alib
@anSon_·2022-12-08 10:14

数据湖？停止纠结，流批融合的极速 Lakehouse来了！

万物皆数据的时代，各行各业对数据分析架构的要求日益拔高，打破传统的数据湖应需而生。企业得以用更低廉的成本、更完善的ACID支持、更实时的方式，导入并存储所有结构化、半结构化和非结构化数据。
StarRocks_labs·2022-12-05 14:36

数据领域概念横行？让我们从本质出发

数据领域也不例外，从最早的数据库、数据仓库、数据集市、到数据湖、湖仓一体、数据中台、以及最近出镜率较高的DataMesh、DataFabric。
IT转型指北·2022-12-05 14:05

全场景 MPP 数据库ERM StarRocks 源代码数据湖分析

双方联手增强StarRocks的数据湖分析能力，使其不仅能够分析存储在StarRocks本地的数据，还能够以同样出色的表现分析存储在ApacheHive（以下简称Hive）、ApacheIceberg（
自橙一派·2022-12-04 22:43

Hudi on Flink 的集成

HudionFlink的集成一、背景二、环境准备三、Batch模式的读写四、Streaming读五、总结一、背景ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics[
明月清风，良宵美酒·2022-12-04 19:37

【Hudi】数据湖（四）：Hudi与Spark整合

Hudi与Spark整合一、向Hudi插入数据默认Spark操作Hudi使用表类型为CopyOnWrite模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下:Hudi这里使用的是0.8.0版本，其对应使用的Spark版本是2.4.3+版本Spark
菜鸟蜀黍·2022-12-04 18:43

通过Spark操作Hudi(增、删、改、查、增量查)

一、概览Hudi数据湖框架，基于spark计算引擎，对数据进行CRUD操作，使用官方模拟生成出租车出行数据任务一：模拟数据，插入Hudi表，采用COW模式任务二：快照方式查询(SnapshotQuery
嘣嘣嚓·2022-12-04 18:42

Spark——0基础入门数据湖Hudi的读写

前言开发环境：spark：3.2.1hive：2.1hudi：0.11.1scala：2.12hudi建表语句CREATEEXTERNALTABLE`tb1_trips_cow_w`(`_hoodie_commit_time`string,`_hoodie_commit_seqno`string,`_hoodie_record_key`string,`_hoodie_partition_path`
CarsonBigData·2022-12-04 18:41

亮点抢先看｜StarRocks Summit Asia 2022 全议程公布！

创立两年多来，StarRocks打造了全面向量化执行引擎和CBO优化器，查询能力相对同类系统实现3-5倍提升，用户可以统一分析实时数据和数据湖的离线数据。StarRocks
StarRocks_labs·2022-12-04 04:43

数据湖？停止纠结，流批融合的极速 Lakehouse来了！

万物皆数据的时代，各行各业对数据分析架构的要求日益拔高，打破传统的数据湖应需而生。企业得以用更低廉的成本、更完善的ACID支持、更实时的方式，导入并存储所有结构化、半结构化和非结构化数据。
·2022-12-03 12:18

技术内幕 | 阿里云EMR StarRocks 极速数据湖分析

双方联手增强StarRocks的数据湖分析能力，使其不仅能够分
·2022-12-03 12:05

CDC工具之Canal

1.2应用场景数据同步，用于备份，容灾数据分发，一个数据源分发给多个下游系统数据采集，面向数据仓库/数据湖的ETL数据集成，是非常重要的数据源1.3主要实现机制分类
数新网络·2022-12-03 08:24

实践数据湖iceberg 第三十一课 使用github的flink-streaming-platform-web工具，管理flink任务流，测试cdc重启场景

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2022-12-02 21:05
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他