近日,Gartner 发布技术成熟度曲线《Hype Cycle for Data, Analytics and AI in China, 2023》,偶数科技本次入选湖仓一体代表厂商,这是继在去年偶数荣获Gartner“酷”厂商(《Cool Vendors in Data Management, China》)后再次得到权威机构认可,偶数科技在大数据领域的技术优势正被越来越多的组织和机构所认可。
什么是技术成熟度曲线Hype Cycle?
技术成熟度曲线是通过图形化来描述和呈现前沿技术发展阶段的,由全球著名咨询机构 Gartner 每年一次发布一次。曲线由五个部分组成,分别对应了新技术发展的五个阶段:技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。
(1) 启动期(Innovation Trigger)该技术刚刚诞生,还只是一个概念,不具有可用性,无法评估商业潜力。媒体有所报道,引起了外界的兴趣。
(2) 热门关注期(Peak of Inflated Expectations)该技术逐步成型,出现了成功的案例,一些敏锐的公司开始跟进。媒体开始大肆报导,产品的知名度达到高峰。
(3) 低谷期(Trough of Disillusionment)随着竞争者的加剧,优胜劣汰开始出现,只有拥有核心技术和找到成功商业模式的公司存活下来。媒体对它的报道逐步冷却。
(4) 爬升期(Slope of Enlightenment)该技术的优缺点越来越明显,细节逐渐清晰,越来越多的人开始理解它。基于它的第二代和第三代产品出现,更多的企业开始尝试,可复制的成功使用模式出现。媒体重新认识它,业界这一次给予了高度的理性的关注。
(5) 高原期(Plateau of Productivity)经过不断发展,该技术慢慢成为了主流。技术标准得到了清晰定义,使用起来越发方便好用,市场占有率越来越高,进入稳定应用阶段。配合它的工具和最佳实践,经过数代的演进,也变得非常成熟了。业界对它有了公认的一致的评价。
湖仓一体(Lakehouse)处于什么时期?
Gartner 认为,湖仓一体(Lakehouse)是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构,无物理和逻辑的数据孤岛。可以高效支持海量高频的原始数据收集和存储,支持高并发多模态的数据深度加工和最终数据的使用。
湖仓一体作为大数据最前沿的技术,目前正在快速发展当中。根据成熟度曲线,目前已经过了启动期,即将处于热门关注期。
作为代表厂商,偶数的湖仓一体有何不同?
如Gartner在报告中所称,新技术的诞生在早期概念模糊,鱼龙混杂。于是,偶数在2022年发布了湖仓一体ANCHOR标准,并作为国内湖仓一体技术领域的代表厂商联合信通院发布了国内首个《云原生湖仓一体白皮书》。
在偶数的定义中,湖仓一体应该包含以下六个特征:
All Disparate Data(多源异构数据):支持关系表、文本、图像、视频等结构化数据和非结构化数据存储。
Native on Cloud(云原生):适合云环境,自由增减计算和存储资源,按用量计费,节约成本。
Consistency(数据一致性):通过完善的事务机制,保障不同用户同时查询和更新同一份数据时的一致性。
High Concurrency(超高并发):支持数十万用户使用复杂分析查询并发访问同一份数据。
One Copy of Data(一份数据):通过开放的数据格式,让所有用户(BI用户、数据科学家等)可以共享同一份数据,避免数据孤岛。
Real-Time(实时T+0):通过全量数据T+0的流处理和实时按需查询,满足基于数据的事前预测、事中判断和事后分析。
湖仓一体的商业前景
Gartner 认为湖仓一体的重要性在于其实现了以数据探索为导向的分析和模型开发(通过湖部分),和用于数据分析洞察和可衡量的价值(通过数仓部分)。企业将从更简化的交付、更快的数据访问以及支持高技能数据科学家、工程师和分析师的集成数据管理平台中受益,同时还包括使用BI工具进行数据分析的普通用户。
目前,偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用,同时,其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。