扫描上图二维码,可直接报名公开课,更有DEEPNOVA专属周边礼盒等着你。名额有限,快来报名吧!
众所周知,数据已经成为了当今企业发展的核心资产,企业在推动自身业务向前发展的过程当中,往往需要对数据价值进行全面地挖掘和展现。
数据是复杂的,并且在不断地发展。以往企业从多种系统中收集数据,如今架构师也开始考虑,如何构建一个数据智能平台,来实现数据的有效存储计算,并以此为多样化的应用提供承载。而且,很多企业想要保持持续增长,往往需要依靠大量、有效的数据输出,进而实现智慧决策。但很多企业局限于IT建设能力的限制,导致很多事情没法做。
但随着云原生应用越来越广泛,在2011年首次提出“数据湖 Data Lake”的概念后,业界于2020年结合云原生的架构又再次提出“湖仓一体 Data Lakehouse”的定义,标志着大数据的普惠期已到来。
1、湖仓一体:让你的数据存得好、用得更好
在数据智能时代,湖仓一体是否会成为每个企业构建大数据栈的必要选项?答案几乎是肯定的。对于高速增长的企业来说,选择湖仓一体架构来替代传统的数据仓和数据湖,将成为不可逆转的趋势。
“湖仓一体”平台作为数据基础设施,其真正的价值在于打通不同业务类型、不同数据类型之间的技术壁垒,实现交易分析一体化、流批一体化、多模数据一体化,最终降低数据流动带来的开发成本及计算存储开销,提升企业的运作的“人效”和“能效”。
就在前不久,Gartner发布了湖仓一体的未来应用场景预测:湖仓一体架构需要支持三类实时场景,第一类是实时持续智能;第二类是实时按需智能;第三类是离线按需智能。
“湖仓一体”的概念伴随着用户需求的不断提高,在很大程度上加速了数据智能时代的业务创新和升级。无疑,企业对于湖仓一体架构的需求已经变得越来越旺盛。
滴普科技基于对先进制造、生物医药、消费流通等行业的深度洞察,并且从实际场景切入,依托新一代湖仓一体、流批一体的分析型数据库FastData,为客户提供了一站式的湖仓一体解决方案。
2、数据兑现价值,湖仓一体显现威力
作为一个新兴的数据架构,湖仓一体正成为兵家必争之地。滴普科技通过技术架构的融合与创新,让湖仓一体化的技术优势在应用中得到了充分体现。这也是滴普科技的技术“杀手锏”。
传统的基于离线(比如Hive)的数仓有很高的成熟度和稳定性,但在一些时延要求比较高的场景,则需要借助实时数仓Flink的帮助,将延时降低到秒级(或分钟级)。
但两套并存的数仓架构,势必带来双倍的资源消耗和开发维护工作量。那么,是否存在可以将离线和实时任务、批处理和流式任务,统一放在一套架构中调度和运行呢?
答案自然是肯定的。滴普科技实时湖仓引擎 DLink,可以提供多种数据类型的统一存储能力,支持流批一体数据处理、数据分析、数据科学等多工作负载。采用存算分离架构,弹性扩展、高并发、低延时,支持PB级多模数据存储与处理,无缝连接大数据生态,提供一站式数据探索与数据开发能力。
FastData for DLink技术栈
并且,为了支撑数据从采集、存储到分析的全生命周期管理,实现数据实时处理和分析决策,在构建DLink实时湖仓引擎的过程中,滴普科技基于Iceberg、Flink和Trino技术栈,结合客户的实际场景和需求,在元数据管理、数据存储格式和数据分析性能上做了一些工作。在统一元数据与存储的架构之上,FastData for DLink将继续优化流式计算和数据入湖的性能,优化端到端时延,秉承简单、高效、易用的理念,构建流批一体、湖仓一体的实时数据平台。
来自数据库应用创新实验室的消息,2021年底,在第十三批大数据分布式分析型数据库产品能力评测中,滴普科技FastData for DLink通过了更新标准后的首批基础能力评测。
3、4月27日邀你线上相见,共话湖仓一体
除了上述技术特点,还想进一步了解湖仓一体平台的关键技术,FastData究竟有哪些技术优势?适用于哪些行业及场景中?在和某时尚产业集团的合作中,究竟帮助其解决了哪些问题,带来了什么样的效果呢?
DEEPNOVA社区联合CSDN共同推出的“DEEPNOVA技术荟系列公开课”,第二期就将深入探讨“湖仓一体平台关键技术与实践”,并于4月27日周三19:30准时开播。滴普科技FastData产品线总裁杨磊与滴普科技首席程序员吴小前,将为各位技术开发者带来精彩分享。
吴小前,北京滴普科技有限公司首席程序员。拥有14年华为任职经历,曾作为华为一级产品线首席架构师和华为网络操作系统首席架构师,拥有大型平台类软件产品架构体系研发经验;曾任职Amazon高级架构师,负责业务安全。
作为滴普科技首席程序员,吴小前创新实现KappaPlus架构的实时分布式数据分析架构,规划并设计了国内首个真正的云中立湖仓一体数据平台,并首次引入领先的MDS架构,打造了中国版的低成本、高性能、易使用的云原生数据智能平台,为各领域客户快速构建新一代湖仓一体、流批一体的分析型数据库。
可直接预约观看公开课
还有DEEPNOVA专属周边礼盒