2019年5月8日-10日,DTCC2019第十届中国数据库技术大会历时3天,圆满收官。作为国内顶级的数据领域技术盛会,共有23个技术场次,邀请超过125名专家,包括来自阿里、京东、苏宁、滴滴出行、百度、美团、网易、爱奇艺、腾讯、农行、工行、中信银行等各个用户企业的案例分享,为广大数据领域从业人士提供了一场技术的饕餮盛宴。
感谢我们的演讲嘉宾的鼎立支持,感谢参会朋友的大力捧场。本届大会,几乎全部的主流开源、商业的数据库技术产品和方案,都同台亮相了DTCC大会。【大会PPT下载今天亮相了,下载链接见文末哦~】
数据架构场和数据库内核场,依然是本届大会的热点。例如,腾讯金融云T4专家李海翔分享的“TDSQL的全局读一致技术”,快狗打车CTO沈剑老师分享的“海量数据,超大并发,数据库无损扩容四种实践”,滴滴出行中间件开发专家田佳伟分享的“基于 MGR 的读写强一致性数据库”都受到了参会者的热情关注。
对于数据库而言,数据的强一致性,保证数据无损的情况下进行行种扩容备份的操作,无疑是大家关注的重中之重。
图注:这是沈剑老师在数据架构专场进行的演讲,在下午5个分会场并列的情况下,专场听会人数超过了500人。
除了传统的数据架构、数据库内核、数据库运维优化等专场,备受大家积极关注外,金融行业专场、数据治理专场出现了爆满的场面,而作为全新的图数据库专场、分布式数据库实践专场,也受到了大家的热情参与。
数据风云,十年变迁今年是DTCC大会连续举办的第十个年头,而这十年来,数据库技术领域风起云涌,呈现出了百花齐放的局面。
通过各种新兴的数据库技术路径,例如,基于云的数据库技术,分布式数据库技术,开源数据库(主要是MySQL、PG)+自研,或收购商业源码(例如Informix)+自研的方式等各种方式,形成了国内数据库产品群雄会聚的局面,数据库技术产品已经进入了春秋战国的鼎盛时期。
在这具有特殊意义的第十届DTCC中国数据库技术大会上,生动地记录并展现了数据库十年发展的结果……
1.传统国产,多年积累,利好不断
关键词:振兴
本届大会,以达梦、南大通用、人大金仓等为代表的国产传统数据库,再次同台亮相DTCC大会。
大会期间,达梦更是高规格地发布了DM8.0产品,并邀请了中国电子信息产业集团有限公司党组副书记、总经理张冬辰,中国工程院院士倪光南,中国工程院院士方滨兴等产业领导专家助阵。达梦董事长冯裕才老师在大会演讲中介绍到,达梦作为国产数据库推动者,见证了中国数据库从无到有,再到百花齐放的四十年风雨历程。
随着近些年,国家对基础软件的逐步重视,国家扶持、资本关注,再加上传统国产数据库厂商坚持自主研发、不断创新、重视人才,造就了今天国产数据库利好不断的局面。
2.云数据库,巨头博弈,增速明显?
关键词:博弈
本届DTCC大会上,阿里、腾讯、华为,作为云数据库厂商的三大巨头,联袂展示了各自的云数据库关键技术。云数据库,近些年来发展提速明显。随着AWS的Aurora的出现,云原生数据库技术成为了云时代的关注热点。
什么是云原生?可以参考CNCF的12条准则,其技术表现上以“存储与计算分离”等特征为代表。其核心可概括为计算能力弹性扩展、存储能力按需分配。实现上,其往往表现为强大的存储层、精简的引擎层及新兴硬件架构的引入。云原生思想的诞生,已然颠覆了传统数据库的开发思想。从厂商表现上,各大巨头纷纷发力,阿里、腾讯、华为等均发布了云数据库产品。
大会期间,阿里巴巴集团副总裁李飞飞在演讲时分享到:云原生数据库因其突出优势,应用趋势不断上升,阿里云自研的云原生数据库PolarDB,创新采用了存储计算分离、软硬件一体化设计,10TB数据备份只需要10分钟。
腾讯云方面,2018年底正式发布了CynosDB数据库,CynosDB实现了计算和存储分离,有效提升MySQL的性能及扩展性,有效地兼容了MySQL和PostgreSQL,号称单节点读性能可以达到130万QPS。
华为云方面,华为云数据库资深架构师Calvin在大会上介绍到,Taurus是第一个基于MySQL 8.0开发的高性能云原生分布式数据库,设计目标是利用云原生设计解决传统的关系型数据库问题。Taurus利用了新的存储技术,并提供多租户支持,支持1写15读,性能达到原生 MySQL 的7倍。
据李飞飞在大会上透露,目前,全球云数据库占比为8%多一点,其余为传统数据库份额。据Gartner预测,在未来5年,云数据库份额将扩大到20~30%的市场。面对千亿美元的市场,这数字无疑是巨大的。
因此,各大云厂商均不遗余力的推出、完善自己的云数据库产品。除了阿里的PolarDB、腾讯的CynosDB、华为等,其他包括金山、京东、平安等,均拿出了自己的产品。未来数年,云厂商巨头们将在这一领域,竞争加剧。其背后原因是,面对广大的企业用户市场,作为底层支撑的数据库至关重要,各家无疑均需占据这一技术制高点。
3.分布式数据库,白手起家,悄然成熟
关键词:成熟
以PingCAP、巨杉为代表的新兴国产厂商,近些年来发展喜人。这些新兴国产企业,起点高、包袱少,站在巨人肩膀上,直接对接一级客户需求,他们在很多行业领域开始推广实践,并逐步切入了传统金融等高端市场。
此外,以热璞、翰高、星瑞格为代表的开源融合厂商。其核心以开源数据库(主要是MySQL、PG)+自研,或收购商业源码(例如Informix)+自研的方式,在细分市场,均取得了不错的成绩。
区别与传统国产数据库厂商和阿里、腾讯、华为等业内巨头,分布式数据库技术,可以说是有志创业的数据库专家白手起家的利器!
有这样一个故事,回想起7年前,在DTCC2013大会上,当时刚离开IBM的王涛先生(现任巨杉数据库联合创始人&CTO),赶来参加大会时,把手机丢在了出租车上,我们组委会通过各种办法,将其手机找回。当时,他向我们组委会豪情地说到:你们邀请的大会演讲嘉宾,基本都是在讲如何用别人的数据库产品(商业产品或开源产品),我要自己开发出一个数据库产品,并在DTCC大会上演讲!
时隔7年,王涛先生在DTCC2019大会上,分享了其新近发布的 SequoiaDB巨杉数据库3.2新版本。借助分布式数据库技术,巨杉见证并参与了中国数据库行业从无到有,再到如今蓬勃发展,并逐渐走向成熟的一个过程。
再向前追溯几年,当时还是阿里集团一员的金官丁老师,参与了阿里集团的“去IOE”运动,当时,一个很重要的手段就是基于MySQL,外加DDL分布式中间件技术,实现数据库的分布式处理。随后几年,金官丁老师创立了热璞科技,其推出的分布式事务数据库产品,已经在银行、物流、传媒等行业应用起来。
如果说几年前,分布式数据库还是实验室里的"玩具",那么近几年来,其已悄然成熟。在众多领域已经开始推广,甚至在金融等高端领域也有所涉及。其技术细节上,各家实现上也各有差异。这里不谈所谓"真假"分布式的问题,因为目前还缺乏统一的认识。
从应用角度来看,分布式数据库无疑是一个"银弹",其针对三个核心问题:性能、容量、高可用均有不错的解决。对于过度依赖传统大型商业数据库的企业来讲,无疑是一个新的选择。但我们也要清醒地看到,现有分布式数据库还无法与传统单机数据库,达到同样的使用感受。在应用架构、结构设计等诸多领域,还需要多多关注。
4.用户企业,自力更生,强化自主可控
关键词:自研
如上文王涛老师所提,几年前,各个用户企业要么用商业的数据库产品,要么用MySQL、PG等开源产品,基本没有企业用自己研发的数据库产品。如今,在开源架构技术的基础上,不少用户企业纷纷自己进行二次开发,或者完全自主开发,形成自主可控的自研性数据库方案。
例如,中信银行的数据库专家王飞鹏老师,分享了“分布式数据库高可用最佳实践”的主题,中信银行基于成型的GoldenDB,进行充分的二次开发,并形成了中信特有的专有分布式数据库,并应用在自身企业的业务中。经过二次开发后的版本,更好地实现了在实时数据一致性,任意时间点的数据库恢复等核心指标功能,并得到了实际应用的全面验证。
图注:中信银行基于成型的GoldenDB,进行二次开发,进一步优化解决了数据一致性问题
此外,在DTCC大会上,我们还看到了百度严龙老师分享的开源 NewSQL 数据库解决方案CockroachDB 2.x,滴滴出行的余汶龙分享的滴滴自研的分布式 NewSQL 据库Fusion,中国银联周家晶老师分享的银联自主关系型分布式数据库 UPDRDB,京东张亮老师分享的分布式数据库中间件ShardingSphere……
到此,你是否已经乱花渐欲迷人眼了?
分布式数据库产品千千万,功能品种繁多,让用户看花了眼,究竟哪条路线才是正确路线?到底是采用商业的分布式数据库产品,还是基于开源方案,自研一套数据库平台出来?通过对DTCC大会的精彩演讲分享的仔细分析,或许可以给大家一个较好的借鉴。
5. Oracle,沧海40年,自治未来?
关键词:自治
在传统国际大厂中,除了Oracle参与了大会,其他传统的国际数据库大厂未参与。
Oracle副总裁及中国区云平台总经理吴承杨,分享了《数据自治,未来已来》的主题,为大家展示了Oracle的自治数据库平台。而云和恩墨创始人盖国强老师则为大家揭秘了Oracle 19c的新特性。盖国强老师分享这个主题时,已经到了中午12:25分,而大会现场,依然很多人在倾听学习。
让我们追溯到40年前,Oracle在1979年,提供了第一个商业SQL RDBMS,从而开始了40年的数据库研发创新之路。而如今,与众多云数据库厂商相对而言,Oracle则通过打造ADW(业务整合平台),推行数据自治的概念。在AI IoT 5G时代,将AI技术应用于数据库由来已久,如AI技术调优数据库的性能、AI技术优化SQL、AI技术自动创建数据库索引(Learned Index)等。但是能把AI和数据库结合使之进入大众视野的,还非“自治数据库”莫属。
自治数据库能否让Oracle再造未来,让我们拭目以待。
6.硬件与数据库结合,初试锋芒
关键词:软硬一体
随着云原生概念的兴起及近些年存储技术的变革,RDMA、NVMe、3D XPoint、GPU、FPGA等硬件技术与数据库相结合,为数据库的发展带来的技术上的变革。在相当长一段时间内,软件技术发展是领先于硬件架构设计的。但近些年来,随着上述这些硬件的出现,软件技术似乎落后于硬件的发展。如何与这些新兴硬件结合?如何适应更为强大的计算、存储、传输能力?在软件架构思想上,目前还处于探索期,相信在不久的将来,将有更加颠覆性的软件产品诞生。在这其中,数据库作为重资源的基础软件,受硬件发展影响更大,在这方面的表现尤甚。
此外,本届大会还有新的风向,那就是软硬一体的代表-一体机方案,有渐热的迹象。作为一体机的始祖-Oracle Exadata,其昂贵的价格一直在国内受到某些质疑。近些年,国内的一体机产品(如浪潮、华胜等)也不断涌现,甚至听闻某云大厂的私有化部署也是以一体机方式交付的。
例如,在本次大会上,浪潮高级产品架构师钱进老师,就分享了浪潮的超融合inData 数据库一体机应用实践,为大家提供一个开箱即用、定制化配置的高性价比选择。超融合inData 数据库一体机方案,可以替代单一的OLTP、OLAP,实现OLTP、OLAP两个平台的融合,优化业务数据存储容量超过42%,每小时可达PB级的数据加载能力。
不可否认,一体机模式将软硬一体发挥到了极致,其快速交付、简洁运维、性能极致颇具吸引力。这种趋势,未来值得关注。
7.开源老四样,深入百姓家,数据变多态
关键词:深化,多态
对于开源的关系型数据库PostgreSQL 、MySQL,以及非关系型的Redis、MongoDB,是DTCC大会从创办以来,一直在分享并提及的数据库产品,经过十年的发展,他们已经深入到了百姓家,不仅全面覆盖了互联网企业,还深入到了传统行业中。
例如,平安科技数据库产品及存储产品部总经理汪洋总经理,为大会带来了《开源数据库在平安的应用实践》主题分享,他向我们展现了平安金融引入开源数据库的方式方法、各种开源数据库如何在平安应用实践,包括PostgreSQL、MongoDB、MySQL、Redis、TiDB、InfluxDB、Neo4j等。
而京东商城技术副总裁刘海锋老师,而全面回顾了京东这几年的数据库架构演进,几年来,京东从传统的商业数据库,到开源MySQL 到容器化、集群化、多元化,以内存为中心,跨地域复制的综合方案。这对很多企业,具有相当的参考价值 。
回想起10年前,笔者在创办第一届中国数据库大会时,邀请了当时还在斯凯网络的周正中老师(现任阿里云高级技术专家),分享PostgreSQL的主题,当时,还有参会者提出了质疑,PostgreSQL真的有那么神奇么?周老师是否在吹牛?时隔10年,PostgreSQL的用户已经超过了1.5万人,几千家企业在应用PostgreSQL。而在本次大会期间的PostgreSQL的专题培训中,周正中老师准备了上千页的培训PPT,给大家带来了更加深入的干货。
关系模型,从70年代诞生到现在火了40多年。在描述数据方面,关系模型无疑是不错的一种选择。但近些年来,随着场景的不断多元化,非关系类数据越来越多,如何处理这样数据,成为各家必须面临的问题。于是,我们看到两种处理方法:
一是以Redis、MongoDB为代表的NoSQL产品逐步火热,在特定场景下其优势非常明显。从本次大会安排的场次,以及现场参会者的积极参加,可见其火热度。针对这一现状各大云厂商也都纷纷推出了自己的云端NoSQL产品,占据这一逐步火热的市场。
二是以PG、MySQL为代表的关系数据库产品,纷纷开始支持非关系模型,所谓“多模”数据库开始涌现。相较于前者,其熟悉的运维体系、一致性的使用体验,无疑是具有一定优势。
8.数据治理、大数据、AI,平台不断融合
关键词:治理融合
数据,作为企业的核心资产,在未来将愈发重要。如何将企业内数据融合、集中、发挥出数据更大的价值,成为企业面临的共性问题。随着前些年阿里的“中台”战略的提出,为解决这一问题提出一种新的解决模式,各大公司纷纷仿效。从本次大会上看,从前端的数据汇聚、到中端的数据处理、再到后端分析乃至整体的数据治理,多个方向均有相关主题。特别是数据治理专场,人员爆满,可见对此话题的关注。
在大数据时代,数据治理所面临的问题,不仅要处理结构化的数据的治理问题,还是考虑到非结构化的数据治理问题。例如在美团大众点评高级技术专家李金康,分享的美团配送实时数仓建设实践中,就提到了,如何针对结构化数据、非结构化数据、流式数据等源数据,进行数据标准化,通过数据建模,并完成数据获取、数据脱敏、数据组装等流程,最终提供给应用层,进行后端的分析应用。
9."ToB"市场竞争加剧,金融主题倍受关注
关键词:蓝海,金融创新
本届大会,原计划只安排100多人的金融行业专场,在有6个专场并列的情况,在有NoSQL专场、数据库内核专场等热门专场的并列的情况下,现场参会人数却超过了200人,由此可见,金融等传统企业,对数据库新技术的关注度有多么的高。
有人说,2019年是"ToB"发展的元年。相较于ToC市场,ToB还可算是一片蓝海,但此领域竞争已然加剧。在此市场中的两类玩家(云厂商、传统服务商)又有所不同。一方面,云厂商加大投入,抢占先机。它们拥有技术优势,但缺乏企业服务经验;其通过人员招募或收购线下企业,快速布局。另一方面,传统服务类企业纷纷转型,扩大服务领域范围。它们拥有成熟的服务经验,但缺乏足够的技术底蕴。它们的策略是通过合纵连横,与新兴企业合作,补齐短板。于是我们可以看到,某大厂收购数据服务公司;某服务商与初创公司合作等新闻,正是基于上述考虑。国内的ToB市场发展,还处于初始阶段,类似国外千亿级别的巨头公司尚未出现。未来数年,非常看好整个市场的发育,机会多多。
10. DTCC为您搭建的平台:想成为高手,就要与高手为伍
关键词:分享交流
DTCC中国数据库技术大会,是一个分享、交流、互通的平台。
笔者引用ITPUB的老版主老会员薛晓刚的话: “ DTCC是国内数据库最好的平台,有情怀,有分享,有在大会上认识了很多朋友,交流了技术和心得。有不少平时不得而解的问题,可以在大会上找相应的嘉宾和老师进行请教,然后得到答疑和解惑。想成为高手,就要与高手为伍。这是我7年参加DTCC大会最大的收获。没有当年走入DTCC的会场,可以说没有我的今天。我想对大家说,来DTCC就对了,不来就是损失!”
(注:薛老师已经从当年的普通DBA,成长为部门总监)
图注:薛老师收藏的历届参会证
笔者还要分享一个故事,盖国强老师,作为ITPUB的老版主,笔者从第一届DTCC大会时,就邀请他参与大会的演讲分享。而正是他在DTCC2011大会上分享主题时,一位叫陈美峰的参会者,在会后专门找到了盖老师,两人进行了促膝长谈,于是,两个月后,云和恩墨联姻成功(盖老师为公司董事长,陈美峰为公司CEO)。几年后的今天,云和恩墨已经成为国内数据库服务领域的重头服务商。
回首10年,笔者在组织第一届DTCC大会,邀请的陈吉平、盖国强、冯春培、李强、冯大辉、简朝阳、叶金荣、牛新庄等老师,纷纷都创业成功,或者成为企业的团队核心,而参加大会的支持者,很大比例都成为了各个企业的CTO,或者技术创业合伙人。
关注并加入DTCC这个平台,让我们一起走向未来。
最后,在DTCC2019大会中,有超过125个演讲主题,笔者没有办法一一总结。大家可以关注ITPUB的技术栈,参看会后的PPT内容及稍后更新的专场报道文章。
DTCC2019, 十年间,不仅记录着数据库及大数据技术历史的发展,而且预示着数据库及大数据技术未来的发展。
此刻,DTCC2019中国数据库技术大会,与您同行!
文章作者
唐川,ITPUB社区平台总经理,DTCC中国数据库技术大会创办人
韩锋,宜信数据库开发与管理主任工程师,CCIA(中国计算机行业协会)常 务理事
再最后,打一个广告:由ITPUB主办的SACC2019中国系统架构师大会,将启动,正在进行演讲老师的征集,欢迎大家推荐以及自荐。
演讲议题联系:[email protected]
重点来了!
下载DTCC2019PPT,请关注并加入ITPUB的技术栈:
▍下载方法;
1. 打开上方小程序,复制页面相应专场的链接到PC浏览器,即可下载。
2. 在线阅读:进入页面后点击【中国数据库大会DTCC】主题,回到小栈内,即可手机在线阅读查看相应专场内容。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31545814/viewspace-2644732/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/31545814/viewspace-2644732/