数据中台走向云原生

2020年9月16日,云原生数据平台厂商Snowflake在纽交所上市,仅两分钟就触发熔断,涨幅一度高达166%,完成了史上规模最大的软件IPO。

700亿美元市值如何复制?谁将是中国的Snowflake?许多问题抛向大洋此岸。伴随着Cloud Data Platform(云数据平台)首次被写入招股书,“云原生”(Cloud Native)这个走了快10年的技术概念强势回归数智赛道视野,成为国内炙手可热的概念。在距离Snowflake美国总部9896公里之外的杭州,同样是2020年9月,一家专注于视频创作工具与服务的互联网企业(暂称它为X公司)向它的数据中台服务商提出了一个难题:

“我们服务多个国家和地区的用户。能不能在保证多个国家和地区实现数据生产和合规隔离的同时,实现账号权限、数据审计和安全策略的全局管理?”

01 出海企业的跨云挑战

X公司推出的APP在海内外非常受欢迎。旗下产品矩阵登陆全球200多个国家及地区,产品支持10余种语言,下载量超10亿。如今,X公司在全球的用户订阅数仍在不断增长。

这也意味着,数据在不断增长,在各个地区各种IaaS上的成本在不断增长——出于地域和法规的要求,他们必须在多个国家和地区的多种IaaS上分别独立部署,以达到数据生产和合规隔离的要求,例如,在印度部署1个workspace在孟买AWS上,在北美部署1个workspace在微软的Azure上,在中国部署1个workspace在阿里云上……
数据中台走向云原生_第1张图片

在分头管理了8年后,X公司选择直面问题,去找一种解决方案。

这个解决方案需要满足:1. 实现跨云部署。X公司的业务部署在海内外的不同云平台,需要一套适用于不同云平台的数仓系统。2. 提高跨云及不同地区的协作与管控效率。研发总部位于国内,正式提供服务的环境则覆盖全球,这其中涉及多个环境和服务的管理。需要在符合国家地区间商业数据与地域管制的要求下,有一套账号体系来对所有地域进行统一管控,提高协作效率。3. 减少存算开销。伴随着业务爆发,数据增长速度极快。而现有的云服务器计算资源与存储资源未作区分,亟待借助新技术来控制存算成本。奇点云接了这一招。架构重塑,更充分地享受云的“利好”:重点拆分系统中的计算与存储,用分布式的远程存储方案来替代本地存储,从而让容器的调度不再受限于存储资源所在的位置,降低存储成本——存储成本降至原来的1/3以下。

同时,依托DataSimba(云原生数据中台产品),实现分级多域部署和跨云跨平台部署:用户、权限及配置统一在主域上修改,从域即可自动同步最新数据;X公司可以在不同的地区采用不同的云厂商进行部署,避免商业因素、地域因素、单一云厂商因素等对其数据能力建设的影响;单个域资源独立,但多个域之间使用统一的权限和账号体系,运维和管理人员就无需在不同平台间切换使用,工作效率大大提升。
数据中台走向云原生_第2张图片

“本质上,X公司需要一个和它站在一起的服务商。”奇点云高级技术专家地雷说,“AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云……每一家都有自己云原生技术,以吸引客户搬上自己的云。但技术接口的中立性和跨平台性往往被有意无意忽略了。”只有云原生数据中台才能满足X公司的需求——通过“跨云多域”支持其数据与应用的跨云治理和迁移,且系统架构体系设计得更开放、更安全、更容易集成,真正成为云上“原住民”。

02 业务驱动数据中台走向云原生

去年9月,Snowflake在业界掀起“暴风雪”,“云原生”成为buzzword。而云原生数据中台在X公司们的实践又恰恰证明了,这不只是一场概念出圈的狂欢。

我们可以在其中窥见“数据中台必将走向云原生”的端倪:1. 数据中台存储海量数据,且作业高吞吐高并发,对存算分离的各项指标要求明显高于其他领域的应用;2. 大数据集群规模大进程多,天然需要微服务治理和其他智能运维技术;3. 客户对数据安全、数据确权极其关注,加上toB的分级多域数据治理场景非常复杂,产生了对跨平台技术、数据安全技术、合规数据合作技术的强烈需求。对象体系、容器化编排、存算分离、CI/CD(持续集成持续交付)、跨云多域数据治理、元数据管理等云原生技术属性,渐渐描绘出了DT时代企业应对大数据浪潮的答案。
数据中台走向云原生_第3张图片

这也正是奇点云对“云原生数据中台”的理解。

阿里巴巴首个数仓建立者、阿里云数加平台(现阿里数据中台Dataworks)创始人、奇点云创始人兼CEO行在介绍,相比常规的“云原生”定义,“奇点云的云原生”多强调了几个因素:对象体系、跨云多域、自主可控。

他谈到,奇点云是标准的乙方数据智能技术供应商,服务于泛零售、金融、政府、运营商等行业,所以有动力做这两件事:1. 尽可能优化架构,降低数据应用在IaaS上的计算、存储成本;2. 实现跨云数据治理,因此客户在云平台的选择上可以更加从容、更加独立。总而言之,和客户站在一起。同样是20多年数据老兵的地雷亦有同感,他说:“云原生这个东西在我们技术人的概念里,很多要素二十年前就有了,十几年前就已经成为互联网技术团队的标配。例如,2007年Google已向Linux内核社区贡献cgroup补丁;2008年腾讯阿里招收计算机方向校招面试题里就有CI/CD的问题;2013年我在阿里云ODPS团队时,ODPS的调度器和执行器已加上了cgroup能力。”

“但为什么现在我们在提‘云原生数据中台’,我们强调云原生数据中台的实践,它的背后是业务驱动的技术升级。”

如何站在技术与商业的交叉点上,支撑企业建立数智能力?

云原生是追赶风口or业务驱动?云原生又是谁的“云原生”?数据中台将走向怎样的未来?

关于云原生数据中台的更多思考,围绕数据技术的更多讨论,将在今年5月20日“StartDT Day数据技术大会”上展开。

本届大会以“应云而生,原力觉醒”为主题,投资人、技术专家和开发者伙伴们将在会上解读技术,畅谈趋势;新一代云原生数据中台和数据产品新升级也将在现场重磅发布;以业务价值为导向,用技术拓展商业的边界,企业代表和行业专家们还将带来多个领域的创新实践。

面对数据爆炸的世界,我们希望找到与之友好交往的方式。期待与你一起,共同拥抱数智时代。

添加小奇微信:startdt001报名参会。

你可能感兴趣的:(云原生数据中台,数据中台,大数据,云原生)