E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
锦湖轮胎
【数据治理】数据
湖
治理实践:腾讯云数据
湖
元数据实践指南
最近数据
湖
非常的火,但是一旦没弄好,就会变成“数据沼泽”。如何避免“数据
湖
”变成“数据沼泽”呢?最好的办法就是治理先行。
菜鸟蜀黍
·
2025-03-21 17:59
数据治理
大数据
LakeHouse
湖
仓一体成为下一站灯塔,数仓、数据
湖
架构即将退出群聊
摘要:当前的大数据技术应用趋势表明,客户对单一的数据
湖
和数仓架构并不满意。
科杰科技
·
2025-03-21 17:26
大数据
数据仓库
StarRocks 主键(Primary Key)深度解析
作为新一代
湖
仓(Lakehouse)加速引擎,StarRocks融合了MPP架构和列式存储引擎的优势,能够支持亿级数据秒级查询响应。
·
2025-03-21 03:21
数据库数据分析主键缓存物化视图
数据
湖
:Apache Iceberg在腾讯的探索和实践
本文结合腾讯大数据技术分享内容和2020全球软件开发大会分享内容进行整理,主要内容包括:1、数据
湖
技术概述2、ApacheIceberg的简介3、腾讯为什么选择ApacheIceberg4、腾讯看点万亿数据下的业务痛点
学而知之@
·
2025-03-20 00:15
数据库
腾讯
大数据
java
编程语言
Apache Doris整合Iceberg + Flink CDC构建实时
湖
仓体的联邦查询分析架构
随着大数据技术的迅猛发展,构建实时
湖
仓体并进行联邦查询分析成为了许多企业的迫切需求。
MfvShell
·
2025-03-20 00:10
apache
flink
架构
Flink
使用 DingoDB 创建自查询检索器的实战演示
DingoDB深入解析与实战演示DingoDB是一种分布式多模向量数据库,它结合了数据
湖
和向量数据库的特点,能够存储任何类型和大小的数据(如Key-Value、PDF、音频、视频等)。
fgayif
·
2025-03-19 19:34
python
Apache Doris 3.0.4 版本正式发布
该版本持续在存算分离、
湖
仓一体、异步物化视图等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。
·
2025-03-17 14:06
老板既要又要还要......我用Doris+Hudi把不可能变成了日常
老板既要又要还要......我用Doris+Hudi把不可能变成了日常探索Doris与Hudi的完美融合智能查询优化华丽转身-不止于快的进化Doris+Hudi
湖
仓一体的"艺术之美"大数据江湖中流传着这样一个传说
一臻数据
·
2025-03-15 15:42
大数据
Doris
大数据
数据分析
数据库
使用 Doris 和 Iceberg
作为一种全新的开放式的数据管理架构,
湖
仓一体(DataLakehouse)融合了数据仓库的高性能、实时性以及数据
湖
的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求,在企业的大数据体系中已经得到越来越多的应用
向阳1218
·
2025-03-15 15:10
大数据
doris
使用 Doris 和 LakeSoul
作为一种全新的开放式的数据管理架构,
湖
仓一体(DataLakehouse)融合了数据仓库的高性能、实时性以及数据
湖
的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求,在企业的大数据体系中已经得到越来越多的应用
向阳1218
·
2025-03-15 15:10
大数据
doris
如何设计高效的数据
湖
架构?
1.引言在大数据时代,数据
湖
(DataLake)逐渐成为企业存储和处理海量数据的重要基础设施。相比于传统数据仓库,数据
湖
能够支持结构化、半结构化和非结构化数据,同时提供更灵活的存储与计算能力。
晴天彩虹雨
·
2025-03-14 02:41
架构
大数据
数据仓库
Activeloop Deep Lake: AI时代的数据
湖
解决方案
该解决方案是一个无服务器的数据
湖
,具备版本控制、查询引擎和深度学习框架的流媒体数据加载器。核心原理解析DeepLake
HGWAcsdgvs
·
2025-03-13 22:15
人工智能
python
Deep Lake:人工智能时代的数据
湖
DeepLake是一款由Activeloop开发的开源深度学习数据
湖
,旨在解决深度学习数据管理的挑战。
开源项目精选
·
2025-03-13 22:43
人工智能
目前使用ORACLE EBS的公司列表
(相关文章:目前使用SAP的公司列表)1摩托罗拉2LG电子3济南钢铁4长安福特5百度6伊利7亚信8佳通9移动10电信11湘钢12韶钢13三角
轮胎
14广州铁道车辆厂15美的集团16青岛啤酒17珠江啤酒18
又是两个大汉堡
·
2025-03-11 19:21
一文理清概念:数据中台(DMP)-数据仓库(DW)-数据
湖
(DL)-
湖
仓一体-数据治理(DG)
数据仓库、数据中台、数据
湖
、
湖
仓一体是数据管理和分析领域的重要概念,它们在功能、架构和应用场景上各有特点,同时也在演进中相互关联和补充。
Debug_Snail
·
2025-03-11 13:07
Hadoop
Big
Data
Data
Science
数据仓库
大数据
数据中台
数据湖
数据治理
数据
湖
架构与实时数仓实践:Hudi、Iceberg、Kafka + Flink + Spark
1.引言:数据
湖
与数据仓库的融合趋势在大数据时代,传统的数据仓库(DataWarehouse,DW)因其强一致性和高效查询能力,一直是企业数据分析的核心。
晴天彩虹雨
·
2025-03-10 03:22
架构
kafka
flink
数据仓库
互联网晚报 | 10月6日 星期三 | 微软正式推送Windows 11;网易严选西南首店落地成都;2021年诺贝尔物理学奖揭晓...
2021年诺贝尔物理学奖揭晓,授予3位“复杂物理系统”研究者✦淘宝直播发布“超级种草官计划”,千万奖金、亿级流量奖励招募短视频种草达人✦网易严选西南首店落地成都,为新中产打造高品质生活方式✦电影《长津
湖
》
「已注销」
·
2025-03-09 18:28
区块链
微软
iot
比特币
物联网
湖
仓一体化及冷、热、实时三级存储
一、
湖
仓一体化(Lakehouse)
湖
仓一体化(Lakehouse)是数据
湖
(DataLake)与数据仓库(DataWarehouse)的结合,旨在解决传统数据架构中数据孤岛、存储冗余、计算性能不足等问题
麦当当MDD
·
2025-03-07 12:24
数据仓库
Spark
大数据
数据库
数据仓库
数据库架构
电动智能充气泵方案【天吉智芯接方案】
无论是汽车
轮胎
、自行车
轮胎
,还是各类充气玩具、气垫床等,该充气泵都能胜任,广泛应用于家庭、汽车维修店、户外运动等场景。
天吉智芯
·
2025-03-06 10:02
充气泵
无刷电动充气泵
一体机
单片机
JavaOOP02——继承、重载与重写
比如,轿车和卡车都是车辆的一种,它们都具有
轮胎
、引擎等共同特征。在软件开发中,如果每当我们遇到类似的问题就需要从头开始编写代码的话,将会非常低效。因此,继承的概念
搬码红绿灯
·
2025-03-05 21:15
java
开发语言
国产化替代 | 星环科技TDH替代IBM数仓,助力城商行构建湖仓一体平台
某城市商业银行在此背景下,启动数据仓库系统升级项目,将数据仓库从IBMNetezza迁移到星环科技大数据基础平台TDH,不但成功实现了数据仓库的国产化替代,还建设了新一代的
湖
仓一体平台,为银行业务发展提供新
·
2025-03-05 11:08
ibm
doris: Hive
通过该功能,用户可以通过ApacheDoris对Hive进行完整的数据查询和写入操作,进一步帮助用户简化
湖
仓一体架构。本文介绍在ApacheDoris中支持的Hive操作,语法和使用须知。
向阳1218
·
2025-03-05 11:17
大数据
hive
hadoop
数据仓库
doris
模型参数超 RFdiffusion 5 倍!英伟达等发布 Proteina,从头设计蛋白质主链性能达 SOTA
自2016年以来,由分子之心创始人兼首席科学家许
锦
波等人开启的一场科技革命,正悄然改变着这一领域。他们开创性地将深度残差网络ResNet架构引入结构预测领
·
2025-03-04 19:47
hyperai
云原生存储架构:构建数据永续的新一代存储基础设施
Snowflake的存储计算分离架构使其数据
湖
查询速度提升14倍,存储成本降低82%。
桂月二二
·
2025-03-04 15:14
云原生
架构
文件系统、关系型数据库、NoSQL 和数据
湖
本文将介绍四种主要的数据存储方式:文件系统、关系型数据库(RDBMS)、NoSQL和数据
湖
。1.文件系统文件系统(FileSystem)是一种将数据按文件形式进行存储和管理的技术。
晴天彩虹雨
·
2025-03-04 12:46
数据库
nosql
大数据
hadoop
【电动充气泵方案设计解析】【天吉智芯方案】
汽车
轮胎
充气泵,车用打气泵又叫充气机、打气机、车载充气泵,通过内部马达的运转来工作。
天吉智芯
·
2025-03-03 09:22
单片机
嵌入式硬件
华为鸿蒙2025,转载:华为鸿蒙,一个本属于2025年的产品
再往前几天,在东莞的松山
湖
,华为在“全球开发者大会”上高调地发布了“鸿蒙OS2.0”操作系统。在美国人收紧绞索的前一刻仍然能够淡然自若地发布新产品,明明是一个处在包围圈中的企业却表现得像是一个胜
激光不是红外线
·
2025-03-02 03:44
华为鸿蒙2025
数据整合平台Airbyte中的Shopify连接器使用指南
技术背景介绍Airbyte是一种专门用于ELT数据集成的平台,支持从API、数据库和文件到数据仓库和数据
湖
的管道搭建。其拥有最大规模的ELT连接器目录,支持众多的数据仓库和数据库。
bavDHAUO
·
2025-03-01 03:49
python
V8引擎:一场关于速度与内存的十年博弈 (1)
这个决定就像F1赛车手突然在决赛圈突然换用家用
轮胎
缘起——移动端的内存暴击在智能手机走进千家万户后,V8团队发现一个致命问题:用Full-codegen编译一个中型Web应用(如Gmail)需要消耗
寒鸦xxx
·
2025-02-28 15:32
科技研究所
前端
架构
经验分享
node.js
四、数据
湖
应用平台架构
数据
湖
应用平台是一个用于存储、处理和分析大容量、用途数据的平台。它旨在以隐蔽、高效率的方式,为企业提供全面的数据管理和应用能力。
moton2017
·
2025-02-28 03:51
大数据治理
大数据
数据湖
数据管理
数据架构
数据安全
大数据管理
数据仓库
数据
湖
构建
阿里云的数据
湖
构建(DataLake)是一种用于存储和处理大量不同类型数据的解决方案,通常用于大数据分析和机器学习等应用场景。
HaoHao_010
·
2025-02-28 00:25
服务器
云服务器
云计算
阿里云
LakeSoul 国产
湖
仓框架新篇章:开源基金会孵化,国产信创认证,新版本重磅发布
LakeSoul作为国产自研开源
湖
仓框架,具备
湖
仓一体、流批一体、BI/AI一体等核心设计理念和实现,在并发读写和IO性能等方面有着显著的优势。
元灵数智
·
2025-02-28 00:22
开源
人工智能
语言模型
gpt-3
chatgpt
大数据
国产唯一开源
湖
仓框架LakeSoul 2.0 重磅升级:支持快照回滚、Flink和Hive对接
首先,附上Github链接LakeSoul:https://github.com/meta-soul/LakeSoul,可搜索公众号元灵数智,在底部菜单了解我们-用户交流获取官方技术交流群二维码,进群与业内大佬进行技术交流。DMetaSoul团队于7月初发布了LakeSoul2.0版本,对1.0版本进行了多方面升级优化,提高了自身架构设计的灵活性,也更好地适应客户未来业务高速发展的需要。2.0版本
元灵数智
·
2025-02-28 00:52
大数据
数据库
spark
使用 LakeSoul 构建实时机器学习样本库
开源
湖
仓平台LakeSoul设计理念详解》中,我们介绍了LakeSoul开源流批一体表存储框架的设计理念和部分实现原理。LakeSoul设计的初衷,是
元灵数智
·
2025-02-28 00:22
big
data
大数据
数据仓库
数据库架构
数据库开发
【数据分析】4 商业数据分析技能模型总结
优秀的商业分析师需要具备的能力数据分析能力逻辑思维能力赢得结果能力一、数据分析能力扩展:工具链生态与进阶场景1.数据获取技术升级企业级数据源管理:数据
湖
架构(AWSS3/阿里云OSS)与数据仓库(Snowflake
loyd3
·
2025-02-27 19:44
数据分析
数据分析
数据挖掘
使用 Airbyte 数据集成平台加载 Shopify 数据
技术背景介绍Airbyte是一个用于API、数据库及文件到仓库和数据
湖
的ELT管道的数据集成平台。它拥有最全的ELT连接器目录,为各种数据源提供强大支持。
fgayif
·
2025-02-26 19:33
python
利用条形码和 OCR 彻底改变 VIN 和 TIN 识别方式
利用条形码和OCR彻底改变VIN和TIN识别方式在汽车行业中,车辆识别号(VIN)和
轮胎
识别号(TIN)不可或缺。这些字母数字代码在确保车辆跟踪和安全方面起着至关重要的作用。
sdk大全
·
2025-02-25 19:15
Dynamsoft
Barcode
Reader
人工智能
架构师论文《论
湖
仓一体架构及其应用》
软考论文-系统架构设计师摘要作为某省级商业银行数据中台建设项目技术负责人,我在2020年主导完成了从传统数据仓库向
湖
仓一体架构的转型。
pccai-vip
·
2025-02-25 12:28
架构
软考论文
如何通过高效的缓存策略无缝加速
湖
仓查询
引言本文将探讨如何利用开源项目StarRocks的缓存策略来加速
湖
仓查询,为企业提供更快速、更灵活的数据分析能力。
·
2025-02-24 14:57
开源数据分析
Ai阅读各种需求文档需求文档
让AI阅读不同格式需求文档的方法在软件项目开发中,需求文档通常以多种格式存储,如Word、Figma、蓝
湖
和Axure。要让AI阅读这些文档,需针对不同格式采用特定的处理方式。
小赖同学啊
·
2025-02-23 15:04
人工智能
自动化测试(app
pc
API)
test
Technology
Precious
人工智能
c#
开发语言
Python核心:Django的日志记录全方位解析
让我们一起走向未来作者简介:全栈领域优质创作者个人主页:百
锦
再@新空间代码工作室工作室:新空间代码工作室(提供各种软件服务)个人邮箱:[
[email protected]
]个人微信:15045666310
百锦再@新空间代码工作室
·
2025-02-22 13:46
Django-299
python
django
数据库
flask
pip
日志
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
主要分为以下四个部分:一、鹰角数据平台架构二、数据
湖
选型三、
湖
仓一体建设四、未来展望一、鹰角数据平台架构首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前,关于鹰角我先给大家做简单的介绍。
·
2025-02-21 19:13
flink大数据实时计算
【AI大数据】数据中台的数据分析与挖掘:从数据到业务的决策
.前言2.基本概念术语说明2.1数据模型及其实体关系实体(Entity)属性(Attribute)实体关系(EntityRelationships)2.2数据仓库2.3分析引擎2.4噪声数据2.5数据
湖
2.6
AI天才研究院
·
2025-02-21 08:34
DeepSeek
R1
&
大数据AI人工智能大模型
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
数据统一高效管理 HashData支撑“数智石油”高质量发展
酷克数据(HashData)作为赋能石油石化企业数字化转型的先进代表,受邀参加此次行业盛会,展示了与昆仑数智携手打造的油气行业数据
湖
联合解决方案和创新成果。
·
2025-02-19 15:02
数据库
DeepSeek的训练与优化流程
DeepSeek的训练与优化流程一、数据工程体系1.多模态数据融合处理动态数据
湖
架构:实时摄入互联网文本、科学论文、专利文献、传感器数据等20+数据源日均处理原始数据量达1.2PB,支持200+文件格式自动解析智能清洗流水线
程序猿000001号
·
2025-02-18 17:01
DeepSeek
训练
优化
数据仓库和数据
湖
数据仓库和数据库
数据仓库和数据
湖
是两种不同的数据存储解决方案,它们在设计、用途和数据管理方式上有着显著的区别。
qq_25467441
·
2025-02-18 12:11
数据仓库
数据库
数据仓库、数据
湖
和数据
湖
仓
数据仓库、数据
湖
和数据
湖
仓是三种常见的数据存储和管理技术,各自有不同的特点和适用场景。
阿湯哥
·
2025-02-18 11:58
数据仓库
spark
大数据
数据仓库与数据
湖
的协同工作:智慧数据管理的双引擎
数据仓库与数据
湖
的协同工作:智慧数据管理的双引擎引言在数据驱动的今天,企业和组织收集和存储的数据量正以惊人的速度增长。如何高效管理和利用这些数据,成为了决策者和技术专家的共同难题。
Echo_Wish
·
2025-02-17 07:58
实战高阶大数据
人工智能
科技
大数据
Apache Iceberg 与 Apache Hudi:数据
湖
领域的双雄对决
在数据存储和处理不断发展的领域中,数据
湖
仓的概念已经崭露头角,成为了一种变革性的力量。
夜里慢慢行456
·
2025-02-15 12:35
大数据
大数据
八段
锦
教程:动作要领
八段
锦
是一种流传已久的健身气功,动作柔和缓慢,适合各个年龄段的人练习。
云纳星辰怀自在
·
2025-02-15 10:44
中医养生
生活
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他