BDTC 2017数据库：犹他大学、东方国信、蚂蚁金服、微软、人大金仓畅谈数据库发展与实践...
【CSDN现场报道】12月7-9日，由中国计算机学会主办，CCF 大数据专家委员会承办，中国科学院计算技术研究所、中科天玑数据科技股份有限公司、CSDN协办的2017中国大数据技术大会（BDTC 2017），在北京新云南皇冠假日酒店隆重举行。本次大会以“大数据与智能为主题，聚焦最纯粹的技术干货分享，和最接地气的深度行业案例实践，汇聚国内外顶尖技术专家，共论最新的大数据技术实践与发展趋势。
华东师范大学副校长、数据科学与工程学院院长、教授、博士生导师 周傲英
12月9日的数据库分论坛，周傲英作为数据库论坛主席，为整个论坛做了精彩的开篇综述。他从专业的角度阐述了什么是数据库，数据库的教训是什么，数据库基本理念是什么，互联网如何改变数据库的，为什么做这个论坛，实践给我们带来了什么启示，区块链在其中起到了什么作用，现时代数据库面临着哪些发展的机遇。
上午场
建立互动和在线分析系统
犹他大学计算机系副教授
目前担任ACM TODS和IEEE副编辑的李飞飞，分享了《Towards Building Interactive and Online Analytical Systems》（译《建立互动和在线分析系统》）的主题分享。
支持大数据交互查询和分析，是许多数据驱动应用程序的重要需求。但在大数据时代，基于IO优化的外部存储器模型由于高时延不再有效，新系统（如Spark，Impala）将更依赖于商用集群的内存计算来提供横向扩展的交互式数据分析。在大时空数据的背景下，李飞飞提出的Simba系统，提供了一个集群上的可扩展和高效的内存分析。Simba扩展了Spark SQL引擎，通过SQL和DataFrame API（例如，空间连接，knn连接，轨迹）支持丰富的查询和分析语义。通过设计一个有效的查询优化器，利用其索引支持和查询优化。
此外，Simba系统还可以提供在线分析功能。通过支持复杂的多路连接查询和连接上的随机采样的在线聚合技术探索准确性。最后，李飞飞展示Simba的下一步扩展，包括大数据的时空学习和情感分析。
面向行业大数据需求的数据库系统新特性
东方国信首席架构师 金正皓
在大数据背景下，各个行业用户应用场景呈现出以数据为中心、多场景融合的特点，传统数据库无法完全支撑，IT系统建设多采用异构混搭架构，难于建设和维护，这对数据库平台提出了更多的要求。针对这些行业痛点，东方国信首席架构师金正皓为大会带来了《面向行业大数据需求的数据库系统新特性》的主题分享，结合XCloud DB在多个行业中的应用案例，介绍融合场景下数据库系统的新特性。
随着大数据技术的发展与企业需求的复杂化，构建统一支撑的企业级一体化大数据平台正成为未来发展趋势。企业经营下沉的场景要求企业数据中心的服务能力全面提升，企业为了激发基层单元活力，将经营下沉，构建面向划小单元的统一运营体系、精准数据服务、移动信息化平台、简易快速的营销服务能力的IT服务支撑。海量数据物理集中，面临高额的建设成本和海量数据上传网络压力的情况下，跨域分析计算带来的新机遇。在云计算中，通过XCloud DB可开放数据计算能力供租户内私有数据集市使用，实现跨域的统一元数据管理，跨域统一任务调度，分布式事务管理，网络安全传输，数据管理，任务协同等工作。
最后，金正皓认为，东方国信将依托行业需求，和自身的数据库技术能力，助力企业大数据能力体系提升，为企业提供大数据快速有效的解决方案。
互联网时代的关系数据库实践
蚂蚁金服高级研究员 阳振坤
“做数据库是个很苦逼的事情，客户问，你们的数据库会不会错？不会错。怎么证明？没法证明，只能用了才能证明。”用户的信任度很差，除此之外，更换代价大、风险高、收益小，客户缺乏更换数据库的动力。阳振坤针对这些问题，分享了《互联网时代的关系数据库实践》的主题演讲。
过去几十年，关系数据库系统得到了迅速发展，支撑了金融、政府、通信、交通以及商业企业等的运行，成为了当今信息社会举足轻重的关键信息基础设施。然而，传统关系数据库系统不仅成本非常高昂，还缺乏伸缩能力，在互联网时代，由于并发量成百上千倍地增加，这些缺陷得到了成百上千倍的放大。
分布式关系数据库OceanBase是蚂蚁金服对传统关系数据库的上述缺陷的创新尝试，不仅在蚂蚁金服的包括交易、支付、帐务和会员等在内的核心系统中全面取代了传统商业数据库，支撑了蚂蚁金服2017年的双11，创造了每秒25.6万笔支付以及每秒处理4200万条SQL的世界记录，还开始在外部商业银行使用。
区块链与共享经济
微软亚洲研究院主管研究员 微软Coco区块链中国负责人 闫莺
近年来，区块链技术备受关注。特别是2017年，几乎每个行业都在积极地探索区块链技术，渴望从中挖掘出新的运营模式和商机。“分享经济”作为当今火热的商业模式能够借力区块链技术，达到“信任”和“共享”，进而更迅速的发展吗？闫莺通过《区块链与共享经济》从数据库的角度：区块链是什么样的数据库？区块链与共享经济、共享数据库的隐私保护三方面，和参会者进行了分享。
首先，闫莺介绍了区块链的概念，它是一个安全可信、共享、分布式的账本，具备分布式+可信+共享的数据库，常见场景有金融、政府、医疗、零售等。
如何最大化利用先进的数据库技术？通过以太坊的智能合约，不同的场景用不同设计方案。公有链、联盟链的技术各有优缺点，不同信任的假设，将会产生不同的实施方案。
联盟链+BaaS方案，这样的联盟链，依托云来解决复杂的系统部署，用户节点有对数据完全控制权。
联盟数据库方案，联盟数据库充分利用传统数据库的优势，数据中心化管理，用户共有数据和权限，可以制定规则与投票。
完全可信，那就是传统数据库方案。
去中心化的共享经济（Airbnb、共享存储等）后的隐私如何保护？2017年8月纽约发布的微软Coco(confidencial、Consortium)区块链基础平台，将降低企业级区块链集成和使用的门槛，解决企业商用的需求。Coco Framework的特性如下：
- 基础trust平台，集成不同的区块链协议（EthereurmHyperledger），来解决他们的隐私和性能
- 利用了可信计算技术(TEE)，硬件Intel SGX，软件Windows Virtual Secure Mode (VSM)
- 开源
闫莺总结，区块链是解决信任的数据库，不同场景下不同实现方式；
区块链可以更好的解决共享经济的信用和分享；微软尝试硬件解决方案，更加完善和高效的解决共享数据库的隐私保护问题。
互联网时代的金仓数据库实践
人大金仓总裁 任永杰
互联网给IT系统及支撑其的数据库系统带来了巨大的挑战和全新的需求，包括：
- 应用场景、数据格式多样化，单一类型的数据库产品难以同时满足所有应用需求；
- 随着移动互联网的普及，终端设备规模急剧增加，应用负载和数据规模成数量级的增长，远远超出传统数据库的处理能力；
- 云计算推动IT资源管理走向集约化、按需服务的方式，数据库必须具备弹性伸缩、自调整的能力以适应云的管理方式。
人大金仓总裁任永杰通过《互联网时代的数据库挑战与发展、金仓数据库实践》的报告，探讨了数据库系统如何应对这些新的需求和挑战，并绍人大金仓数据库在互联网时代的主要实践。
互联网应用需求推动数据库从量变到质变的变化：存储架构、计算架构在改变，但数据库的整体层次架构基本不变；One Size Does Not Fit All：计算架构与存储架构的分离、多样化与组合。
分析型数据库KADB的关键技术包括：
- 大规模并行处理：基于数据流分解的并行、动态数据重分布、分布式关系代数
- 内存列存储引擎：内存列存储组织、条件过滤：直接遍历事实表、条件过滤：先遍历维表、分组聚集
最后，任永杰总结，互联网的浪潮带来众多的应用需求变化，对数据库技术提出多方面的挑战，也为国产数据库厂商实现赶超提供了历史性的机遇。
下午场
大数据时代分布式数据库技术的演变和发展
星环科技创始人，董事长孙元浩带来了主题为《大数据时代分布式数据库技术的演变和发展》的分享。他表示大数据时代数据处理的需求和特点：1、增量式的、几乎无限的扩展性，2、要求系统总是在线运行，3、灵活可动态改变的数据模型。
之后，他介绍，在大数据场景下，数据库实现技术经历的三次变革，包括从：并行关系数据库到，MPP数据库，最后，他以星环的Inceptor分布式分析型数据库为例，介绍了如何实现大规模数据的复杂运算和分布式事务，如何优化数据库并完整通过TPC-DS测试。
最后，对于大数据和容器云的结合，他也介绍了其核心优势包括：
1、全容器化 – devops， 部署更方便、更新迭代更方便、多版本共存；2、微服务化 – hadoop每个存储或计算引擎组成一个微服务，通过组装多个微服务以及自动处理服务之间的依赖，快速构建服务集群；3、资源隔离 – 通过容器技术对CPU、内存进行隔离，防止多用户之间的资源抢占和干扰；4、弹性扩展 – 扩容更迅速；5、更通用 – 可以支持tensorflow、mxnet、spark、inceptor等多种不同语言开发的计算引擎；6、无性能损失。
Oracle数据库——赋能全生态, 智构云体验
甲骨文(中国) 软件系统有限公司 中国区云平台数据专家事业部总经理李辉《Oracle数据库——赋能全生态, 智构云体验》。
他表示，Oracle RTD 的核心优势有：复合决策机制，基于预测模型（自动）和业务规则（人为控制）的复合推荐机制；2、电商支持，预置可扩展的电商推荐模型；3、适应互联网架构集群方式部署，为互联网应用特点设计，适应互联网架构的异步调用方式，提供毫秒级响应；4、开放性，可以调用R脚本提供外部数据挖掘模型支持可以纳入SAS等第三方数据挖掘工具的运算结果；5、管理分析功能，内置营销活动管理和营销分析功能。
最后对于RTD 场景特征，他总结如下：分类问题，实时决策，”决策-反馈”闭环，每次决策多种选项(Choices)。
PaxosStore : 微信高可用分布式数据库架构
微信技术架构部后台开发中心总监许家滔的演讲主题为《PaxosStore : 微信高可用分布式数据库架构》。他表示，PaxosStore是一个在跨园区数据中心间同步复制，提供灵活的数据模式和访问接口并支持单表亿行，具备快速伸缩能力，低延迟低成本，强一致和高可用的分布式存储系统。
其主要特点：1、极致的高可用，多主服务，通过无租约的Paxos实现；2、同一容灾、扩展框架下，支持多种插件化存储引擎；3、通过业务场景适配不同的存储引擎，达到高性能；4、快速伸缩能力，基于反馈的自适应迁移系统。
目前PaxosStore在微信内部广泛部署、数千台机器；每天数万亿的读写量、峰值1亿+/秒；PB级的结构化数据、全球多个数据中心。
接着，他对PaxosStore设计的功能介绍、可用性、可扩展性、存储引擎都详细作了分享，最后给出了案例。
X-DB: 阿里巴巴新一代自研分布式关系型数据库
阿里巴巴高级技术专家黄贵分享的主题为《X-DB: 阿里巴巴新一代自研分布式关系型数据库》。
对于什么是X-DB，他表示，X-DB是阿里巴巴自研高性能分布式数据库，其愿景是成为世界最快、成本最低的OLTP数据库。对于设计理念，他介绍道，主要关注用户使用效率，全面兼容MySQL生态，其次，关注软硬件Co-Desion，充分发挥硬件效率
另外，X-DB核心指标包括全面兼容MySQL生态体系，10倍的MySQL事务处理性能，百万TPS，MySQL 1/10的存储成本，集高可用、数据强一致、分布式、数据生命周期管理能力于一体。
在今年的双11中，X-DB也得到应用。在数据库弹性调度方面，通过存储计算分离和容器化技术，让数据库也具备了弹性调度的能力，阿里是业界第一个让数据库具备弹性调度能力。值得一提的是，X-DB让数据库突破地域的限制，可以跨AZ、甚至跨Region部署，在提供高性能的同时保证数据的强一致性。X-DB是业界第一个使用该技术支持双11如此大规模并发访问的数据库。
美团点评数据库智能运维探索与实践
美团点评高级技术专家赵应钢带来的分享主题为《美团点评数据库智能运维探索与实践》。他的分享主要包括三个层面：1、数据库平台的演变；2、现状和面临的挑战；3、从自动化到智能化。
对于数据库平台的演变，主要经历了脚本化、工具化、产品化、自助化、自动化阶段。这其中，传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大，各种NewSQL系统上线使用，运维跟不上业务发展的矛盾暴露的更加明显。具体来说，挑战首先来自RootCause定位难，其次主要是来自人才和发展困境。因此，突破困境的办法就是转型智能化。对于如何转型智能化，他也分享了一些实践。最后，他也强调，数据库平台的运维将长期处于自助化、自动化、智能化的交叠前进状态。
滴滴数据库实践
滴滴出行数据库开发团队负责人黄欣分享的主题为《滴滴数据库实践》。
他表示，滴滴发展到今天5年，数据库真正发展是从2016年中开始的，滴滴比较年轻，发展步骤也比较快，原则就是简单高效加开源，另外，会做一些深入二次开发，希望通过这样的方式来实现弯道超车。
接着，黄欣整体分享了一下滴滴现有DB技术的架构和演进。同时，为了更好的解决滴滴的核心业务痛点，滴滴做了哪些事情？主要包括：优化了osc、实现了外置二级索引系统、演进了schemaless系统等。
互联网时代的数据库扩展能力
华东师范大学数据科学与工程学院教授周烜华带来了主题为《互联网时代的数据库扩展能力》的分享。他表示负载激增是数据库系统在互联网时代所面临的巨大挑战，Instagram发布当天6小时服务器满负荷；首日用户接近4万。
他通过发问的方式展开自己的论述，比如：数据库的扩展和上层应用的扩展是相互独立的吗？数据库可以具备普适扩展能力吗？即面对任意形态的数据和负载；数据库可以根据数据和负载的形态自动分裂自动扩展吗？他认为，自动调优（Self-Tuning）在数据库领域有超长的研究历史和极少的实用成果。
另外，他总结道：NoSQL：便于扩展，但表达能力弱、无ACID。SQL：表达能力和ACID，但不便于扩展。但是，NoSQL的使用方式更便于程序员整合数据库与应用的扩展能力。
对于未来数据库系统应该长什么样？他认为，系统设计的核心是取舍，任何系统都需要在功能、性能、易用性上做取舍。
更多精彩内容，请关注直播专题2017中国大数据技术大会（BDTC），
新浪微博@CSDN，
观看大会图文直播，请扫描二维码关注CSDN资讯微信公众号。
