冰湖溃决

40% 降本：多点 DMALL x StarRocks 的湖仓升级实战

小编导读：多点DMALL成立于2015年，持续深耕零售业，为企业提供一站式全渠道数字零售解决方案DMALLOS。作为DMALLOS数字化能力的技术底座，大数据平台历经多次迭代平稳支撑了公司ToB业务的快速开展。随着国家产业升级和云原生技术的成熟，平台架构也从存算一体逐步转向存算分离。本文将以StarRocks的升级演进为例，分享这一过程中的探索与实践。通过引入StarRocks的存算分离架构、La

·2025-03-25 23:41

大数据（2）Hadoop架构深度拆解：HDFS与MapReduce企业级实战与高阶调优

目录一、分布式系统的设计哲学演进1.1从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1联邦架构的深度实践2.2生产环境容灾设计2.3性能压测方法论三、MapReduce引擎内核解密3.1Shuffle

一个天蝎座白勺程序猿·2025-03-25 13:48

鸿蒙HarmonyOS NEXT开发实战：【远场通信】送网络请求-HTTP

（从零基础入门到精通）“一杯冰美式的时间”了解鸿蒙HarmonyOSNext应用开发路径！RemoteCommunicationKit（远场通信服务）是华为提供的HTTP发起数据请求的NAPI封装。

我很英俊小名男男·2025-03-25 06:25

小米新款智能眼镜今日发布；苹果CEO库克来访中国，盛赞DeepSeek | 极客头条

小米米家智能眼镜新品今日发布，号称“精细之镜”宇树科技王兴兴谈家用人形机器人何时上市：近两三年实现不了网传商汤联创徐冰或离职，公司回应：目前未收到辞呈何小鹏：预计2025年下半年会实现L3级别全场景自动驾驶

CSDN资讯·2025-03-24 17:43

CG-0A 电子水尺城市道路积水助手预警实时监测

适用于江、河、湖、水库及蓄水池、水渠等处的水位测量使用。本产品采用了生产工艺技术，使用不锈钢材料做壳体防护材料，内部用高性能的密封材料进行特殊处理，产品具有防腐、防冻、耐热、耐老化的特点。

zhang13383089075·2025-03-24 11:24

数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比(1)

4.Schema变更支持对比项ApacheIcebergApacheHudiApachePaimonSchemaEvolutionALLback-compatibleback-compatibleSelf-definedschemaobjectYESNO(spark-schema)NO（我理解，不准确）SchemaEvolution：指schema变更的支持情况，我的理解是hudi仅支持添加可选列

2301_79098963·2025-03-23 17:45

【数据治理】数据湖治理实践：腾讯云数据湖元数据实践指南

最近数据湖非常的火，但是一旦没弄好，就会变成“数据沼泽”。如何避免“数据湖”变成“数据沼泽”呢？最好的办法就是治理先行。

菜鸟蜀黍·2025-03-21 17:59

LakeHouse湖仓一体成为下一站灯塔，数仓、数据湖架构即将退出群聊

摘要：当前的大数据技术应用趋势表明，客户对单一的数据湖和数仓架构并不满意。

科杰科技·2025-03-21 17:26

StarRocks 主键（Primary Key）深度解析

作为新一代湖仓（Lakehouse）加速引擎，StarRocks融合了MPP架构和列式存储引擎的优势，能够支持亿级数据秒级查询响应。

·2025-03-21 03:21

科技资讯杂志科技资讯编辑部科技资讯杂志社2025年第2期目录

学思践悟二十大党的二十大背景下以人民为中心发展教育的路径探究宋靖玮;韩冰;1-3党的二十大精神引领下药学课程群思政育人探索与实践——以应用型本科生物制药专业为例张志国;张媛婷;刘畅;闫立地;岳华;徐晶雪

QQ296078736·2025-03-20 22:12

数据湖：Apache Iceberg在腾讯的探索和实践

本文结合腾讯大数据技术分享内容和2020全球软件开发大会分享内容进行整理，主要内容包括：1、数据湖技术概述2、ApacheIceberg的简介3、腾讯为什么选择ApacheIceberg4、腾讯看点万亿数据下的业务痛点

学而知之@·2025-03-20 00:15

Apache Doris整合Iceberg + Flink CDC构建实时湖仓体的联邦查询分析架构

随着大数据技术的迅猛发展，构建实时湖仓体并进行联邦查询分析成为了许多企业的迫切需求。

MfvShell·2025-03-20 00:10

使用 DingoDB 创建自查询检索器的实战演示

DingoDB深入解析与实战演示DingoDB是一种分布式多模向量数据库，它结合了数据湖和向量数据库的特点，能够存储任何类型和大小的数据（如Key-Value、PDF、音频、视频等）。

fgayif·2025-03-19 19:34

第4章：二房东都怕你知道：用DeepSeek让隔断房电表不再吃人

国家电网反窃电实验室的对比测试显示，改装电表的计量误差可达+43%，这意味着租客每年要白白多付794元电费，足够买下24杯星冰乐。上周我收到

m0_65737849·2025-03-18 10:00

Apache Doris 3.0.4 版本正式发布

该版本持续在存算分离、湖仓一体、异步物化视图等方面进行改进提升与问题修复，进一步加强系统的性能和稳定性，欢迎大家下载体验。

·2025-03-17 14:06

红队内网攻防渗透：内网渗透之内网对抗：隧道技术篇&防火墙组策略&HTTP反向&SSH转发&出网穿透&CrossC2&解决方案

红队内网攻防渗透1.内网隧道技术1.1HTTP隧道搭建内网穿透：（解决目标出站限制做信息收集）1.1.1项目Neo-reGeorg1.1.2HTTP隧道搭建上线C2：（解决目标出站限制上线C2）1.1.3哥斯拉&冰蝎自带

HACKNOE·2025-03-15 16:19

老板既要又要还要......我用Doris+Hudi把不可能变成了日常

老板既要又要还要......我用Doris+Hudi把不可能变成了日常探索Doris与Hudi的完美融合智能查询优化华丽转身-不止于快的进化Doris+Hudi湖仓一体的"艺术之美"大数据江湖中流传着这样一个传说

一臻数据·2025-03-15 15:42

使用 Doris 和 Iceberg

作为一种全新的开放式的数据管理架构，湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用

向阳1218·2025-03-15 15:10

使用 Doris 和 LakeSoul

作为一种全新的开放式的数据管理架构，湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用

向阳1218·2025-03-15 15:10

如何设计高效的数据湖架构？

1.引言在大数据时代，数据湖（DataLake）逐渐成为企业存储和处理海量数据的重要基础设施。相比于传统数据仓库，数据湖能够支持结构化、半结构化和非结构化数据，同时提供更灵活的存储与计算能力。

晴天彩虹雨·2025-03-14 02:41

Activeloop Deep Lake: AI时代的数据湖解决方案

该解决方案是一个无服务器的数据湖，具备版本控制、查询引擎和深度学习框架的流媒体数据加载器。核心原理解析DeepLake

HGWAcsdgvs·2025-03-13 22:15

Deep Lake：人工智能时代的数据湖

DeepLake是一款由Activeloop开发的开源深度学习数据湖，旨在解决深度学习数据管理的挑战。

开源项目精选·2025-03-13 22:43

从零开始搭建搜索推荐系统（五十四）多路召回之万剑归宗

用户搜'朝阳区低糖芝士草莓冰沙'，你家系统

hanyi_·2025-03-13 20:56

一文理清概念：数据中台(DMP)-数据仓库(DW)-数据湖(DL)-湖仓一体-数据治理(DG)

数据仓库、数据中台、数据湖、湖仓一体是数据管理和分析领域的重要概念，它们在功能、架构和应用场景上各有特点，同时也在演进中相互关联和补充。

Debug_Snail·2025-03-11 13:07

鸿蒙（HarmonyOS NEXT）开发实战：Distributed Service Kit（分布式管理服务开发）

（从零基础入门到精通）“一杯冰美式的时间”了解鸿蒙HarmonyOSNext应用开发路径！DistributedServiceKit（分布式管理服务）实现了分布式设备管理、分布式硬件管

我很英俊小名男男·2025-03-11 09:01

数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark

1.引言：数据湖与数据仓库的融合趋势在大数据时代，传统的数据仓库（DataWarehouse,DW）因其强一致性和高效查询能力，一直是企业数据分析的核心。

晴天彩虹雨·2025-03-10 03:22

互联网晚报 | 10月6日星期三 | 微软正式推送Windows 11；网易严选西南首店落地成都；2021年诺贝尔物理学奖揭晓...

2021年诺贝尔物理学奖揭晓，授予3位“复杂物理系统”研究者✦淘宝直播发布“超级种草官计划”，千万奖金、亿级流量奖励招募短视频种草达人✦网易严选西南首店落地成都，为新中产打造高品质生活方式✦电影《长津湖》

「已注销」·2025-03-09 18:28

湖仓一体化及冷、热、实时三级存储

一、湖仓一体化（Lakehouse）湖仓一体化（Lakehouse）是数据湖（DataLake）与数据仓库（DataWarehouse）的结合，旨在解决传统数据架构中数据孤岛、存储冗余、计算性能不足等问题

麦当当MDD·2025-03-07 12:24

Python Turtle召唤童年：喜羊羊与灰太狼之喜羊羊绘画

往期绘画>>点击进所有绘画序号链接01用Python与Turtle创作属于你的“冰墩墩

栗子风暴·2025-03-07 09:43

国产化替代 | 星环科技TDH替代IBM数仓，助力城商行构建湖仓一体平台

某城市商业银行在此背景下，启动数据仓库系统升级项目，将数据仓库从IBMNetezza迁移到星环科技大数据基础平台TDH，不但成功实现了数据仓库的国产化替代，还建设了新一代的湖仓一体平台，为银行业务发展提供新

·2025-03-05 11:08

doris: Hive

通过该功能，用户可以通过ApacheDoris对Hive进行完整的数据查询和写入操作，进一步帮助用户简化湖仓一体架构。本文介绍在ApacheDoris中支持的Hive操作，语法和使用须知。

向阳1218·2025-03-05 11:17

云原生存储架构：构建数据永续的新一代存储基础设施

Snowflake的存储计算分离架构使其数据湖查询速度提升14倍，存储成本降低82%。

桂月二二·2025-03-04 15:14

文件系统、关系型数据库、NoSQL 和数据湖

本文将介绍四种主要的数据存储方式：文件系统、关系型数据库（RDBMS）、NoSQL和数据湖。1.文件系统文件系统（FileSystem）是一种将数据按文件形式进行存储和管理的技术。

晴天彩虹雨·2025-03-04 12:46

华为鸿蒙2025,转载：华为鸿蒙，一个本属于2025年的产品

再往前几天，在东莞的松山湖，华为在“全球开发者大会”上高调地发布了“鸿蒙OS2.0”操作系统。在美国人收紧绞索的前一刻仍然能够淡然自若地发布新产品，明明是一个处在包围圈中的企业却表现得像是一个胜

激光不是红外线·2025-03-02 03:44

数据整合平台Airbyte中的Shopify连接器使用指南

技术背景介绍Airbyte是一种专门用于ELT数据集成的平台，支持从API、数据库和文件到数据仓库和数据湖的管道搭建。其拥有最大规模的ELT连接器目录，支持众多的数据仓库和数据库。

bavDHAUO·2025-03-01 03:49

四、数据湖应用平台架构

数据湖应用平台是一个用于存储、处理和分析大容量、用途数据的平台。它旨在以隐蔽、高效率的方式，为企业提供全面的数据管理和应用能力。

moton2017·2025-02-28 03:51

数据湖构建

阿里云的数据湖构建（DataLake）是一种用于存储和处理大量不同类型数据的解决方案，通常用于大数据分析和机器学习等应用场景。

HaoHao_010·2025-02-28 00:25

LakeSoul 国产湖仓框架新篇章：开源基金会孵化，国产信创认证，新版本重磅发布

LakeSoul作为国产自研开源湖仓框架，具备湖仓一体、流批一体、BI/AI一体等核心设计理念和实现，在并发读写和IO性能等方面有着显著的优势。

元灵数智·2025-02-28 00:22

国产唯一开源湖仓框架LakeSoul 2.0 重磅升级：支持快照回滚、Flink和Hive对接

首先，附上Github链接LakeSoul：https://github.com/meta-soul/LakeSoul，可搜索公众号元灵数智，在底部菜单了解我们-用户交流获取官方技术交流群二维码，进群与业内大佬进行技术交流。DMetaSoul团队于7月初发布了LakeSoul2.0版本，对1.0版本进行了多方面升级优化，提高了自身架构设计的灵活性，也更好地适应客户未来业务高速发展的需要。2.0版本

元灵数智·2025-02-28 00:52

使用 LakeSoul 构建实时机器学习样本库

开源湖仓平台LakeSoul设计理念详解》中，我们介绍了LakeSoul开源流批一体表存储框架的设计理念和部分实现原理。LakeSoul设计的初衷，是

元灵数智·2025-02-28 00:22

【数据分析】4 商业数据分析技能模型总结

优秀的商业分析师需要具备的能力数据分析能力逻辑思维能力赢得结果能力一、数据分析能力扩展：工具链生态与进阶场景1.数据获取技术升级企业级数据源管理：数据湖架构（AWSS3/阿里云OSS）与数据仓库（Snowflake

loyd3·2025-02-27 19:44

【变化：海平面上升，城市下沉关键字摘要】

如果南极的冰全部融化，会导致全球海平面平均上升66米。而北京、上海、广州、纽约、伦敦的海拔分别是31米、5米、6米、10米、11米，没有一个超过66米的。

严文文-Chris·2025-02-27 06:02

使用 Airbyte 数据集成平台加载 Shopify 数据

技术背景介绍Airbyte是一个用于API、数据库及文件到仓库和数据湖的ELT管道的数据集成平台。它拥有最全的ELT连接器目录，为各种数据源提供强大支持。

fgayif·2025-02-26 19:33

架构师论文《论湖仓一体架构及其应用》

软考论文-系统架构设计师摘要作为某省级商业银行数据中台建设项目技术负责人，我在2020年主导完成了从传统数据仓库向湖仓一体架构的转型。

pccai-vip·2025-02-25 12:28

鸿蒙开发实战：状态管理框架代理-getTarget接口详解

（从零基础入门到精通）“一杯冰美式的时间”了解鸿蒙HarmonyOSNext应用开发路径！

我很英俊小名男男·2025-02-24 21:42

如何通过高效的缓存策略无缝加速湖仓查询

引言本文将探讨如何利用开源项目StarRocks的缓存策略来加速湖仓查询，为企业提供更快速、更灵活的数据分析能力。

·2025-02-24 14:57

SHMIP：冰下水文模式比较计划

题目：SHMIPThesubglacialhydrologymodelintercomparisonProjectSHMIP（冰下水文模型比较计划）是一个致力于解决冰下水文多种理论方法问题的项目。

星仔如雨·2025-02-23 21:24

Ai阅读各种需求文档需求文档

让AI阅读不同格式需求文档的方法在软件项目开发中，需求文档通常以多种格式存储，如Word、Figma、蓝湖和Axure。要让AI阅读这些文档，需针对不同格式采用特定的处理方式。

小赖同学啊·2025-02-23 15:04

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

主要分为以下四个部分：一、鹰角数据平台架构二、数据湖选型三、湖仓一体建设四、未来展望一、鹰角数据平台架构首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前，关于鹰角我先给大家做简单的介绍。

·2025-02-21 19:13

HarmonyOS鸿蒙开发 (5.0 ) WLAN无线局域网数据传输详解