5月13日-15日,由全球最大中文IT社区CSDN主办的“2016中国云计算技术大会”(Cloud Computing Technology Conference 2016,简称CCTC 2016)在北京新云南皇冠假日酒店隆重举行。本次大会以“技术与应用、趋势与实践”为主题,聚焦最纯粹的技术干货分享,和最接地气的深度行业案例实践,汇聚国内外顶尖技术专家,共论最新的云计算技术实践与发展趋势。
本次大会,邀请到国内外近百位企业技术高管、业界精英专家,为参会者奉献了超过80多场精彩的专题分享、圆桌讨论。议题内容涵盖Hadoop、OpenStack、Spark、Container、微服务等云计算大数据领域的核心技术和应用,并重点分享这些技术在国内外知名企业的落地案例。我们整理了一些讲师的精彩PPT,分享给大家,以飨读者。
焦烈焱: 面向微服务的企业云计算架构转型(PPT下载)
普元信息技术股份有限公司CTO焦烈焱进行了的分享是《面向微服务的企业云计算架构转型》。他主要介绍了企业内服务向互联网服务转变过程、基于微服务的企业云计算架构和实施微服务架构过程中遭遇的挑战三方面内容及其关键技术。他认为企业应该突破狭义互联网的限制,大胆地在企业云计算架构中启用微服务,从 IT 精益运营入手逐步实施,实现架构、治理、协作效率的提升,成本的降低。
申元庆:微软智能云的核心DNA(PPT下载)
微软亚太科技有限公司董事长、微软亚太研发集团首席运营官、微软中国云计算与企业事业部总经理申元庆发表《微软智能云的核心DNA》主题演讲,分享了微软在云计算方面的战略布局。各个企业运用云计算其实还处于初级阶段,数据中心是云计算的第一步,而Azure基于此致力于企业级服务、选择多与灵活性、生产力提升,并开启物联网智能云探索,具体包含云基础架构、IoT、数据分析、和开发者与App平台四个部分。微软智能云不仅提供底层的技术支持,更着力于为开发者提供完善的平台服务,并积极拥抱开源。
沈鸥:构建成熟的企业级混合云(PPT下载)
青云QingCloud解决方案&架构部总经理沈鸥的演讲主题是《构建成熟的企业级混合云》,他详细讲解了企业混合云实践和完整软件定义计算环境构建。期间,他还深入剖析了混合云的定义、使用场景、技术挑战等方面。
Ram Sriharsha:Magellan——Spark as a Geospatial Analytics Engine(PPT下载)
Databricks,Spark开源版PM,Spark PMC成员Ram Sriharsha本次分享的主题是《Magellan: Spark as a Geospatial Analytics Engine》,他主要从Geospatial Analytics简介、Magellan中的基本操作、Magellan中使用的算法、Magellan与Spark SQL联合工作四个方面展开了此次演讲。在谈到降维方式时,他认为一个好的降维方式应该从近似保存周围空间、范围查询、小/无碰撞(Little/ no collision)三个方面入手;对于 speed up join方面,可以从预处理点、预处理多边形、在 geohash 内部进行连接、筛选出边缘情况四个方面解决。
杨海明:京东云探秘——从实践者到服务者(PPT下载)
京东云首席架构师杨海明进行了题为《京东云探秘:从实践者到服务者》的演讲。开场之初,他主要介绍了京东云的使用背景。京东云作为领先的云计算服务平台,为全产业链提供了各类成熟的解决方案、可信赖的基础服务和一站式数据分析云服务。演讲中,他提到京东和其他商家的不同点是在于更愿意接纳生态,共享数据,并认为任何技术最后的落脚点一定要到特定的业务上。演讲结尾,他向听众介绍了位于江苏宿迁的京东云华东数据中心设计理念。
薛港:PosgreSQL-X2的架构和实践(PPT下载)
来自中国移动苏州研发中心大数据产品开发部高级工程师薛港带来的分享是《PosgreSQL-X2的架构和实践》。演讲中,他依次介绍了Postgres-X2的架构、实践、开发过程,并详细讲解了Postgres-X2和Postgres-XL的关系,两者的侧重点不同。对比GreenPlum,Postgres-X2主要适用于OLTP,以及OLTP和OLAP混合的场景,Greenplum主要适用于OLAP的场景;Posgres-X2相对于Greenplum在代码角度、开源协议、单机工具适应性方面都更有优势。
韩军:Hadoop架构在云上的应用实践(PPT下载)
Cloudera大数据技术专家韩军分享了其与团队“Hadoop架构在云上的应用实践”经验,相比直接存储、数据不在集群间共享的本地模式,基于负载弹性伸缩、可在多个集群间共享数据的云模式更为灵活。当前新型Hadoop部署生态分为公有云和传统的中央存储两类,公有云部署主要有三种形式,分别为:直接在虚拟机/云上部署Hadoop集群、Hadoop作为运算集群数据存储在第三方、Hadoop直接操作后端Shared Storage。为什么要on Cloud?数据已在云上,而HDFS能够提供大数据应用统一的访问层,可将Block管理外包给第三方服务,为Cloud带来丰富的大数据生态系统。
林立伟:Spark Streaming 在腾讯广点通的应用(PPT下载)
腾讯高级软件工程师林立伟带来的分享是《Spark Streaming 在腾讯广点通的应用》。他本次分享的重点是Spark Streaming基本架构和Spark Streaming在广点通中的应用。在Spark Streaming 的batch 调度这一节,他谈到如果想周期性跑一个 MapReduce 程序,一般是基于 Ozzie 来进行调度。但这种情况下是一级的调度,每调度一个实例时,需要与状态的DB 进行交互,包括状态更新、依赖重计算等。这个时候状态DB可能成为瓶颈,导致不能频繁进行实例调度,调度间隔不能太短。此外,一级调度之后还需要申请资源、下发 jar 包、创建进程等动作,会有一定的启动时间,即使调度完成,计算是过一会再开始进行。演讲最后,他与在座听众分享了腾讯内部性能优化的经验,包括增Memory Back Pressure等方式。
卢亿雷:Spark在大数据的应用实践(PPT下载)
AdMaster技术副总裁兼总架构师卢亿雷带来主题为《Spark在大数据的应用实践》的演讲,主要分享了YARN上的各种坑、Spark与ElasticSearch的结合、Spark实践案例及流式计算几个话题。在Spark on YARN趟坑上,卢亿雷分享的要点有:Executor的内存没达到上限前被kill,这可以通过调 spark.yarn.executor.memoryOverhead解决,默认384,根据实际需求调;当有较多MapReducejob,scheduler调度压增的时候,Sparkjob会被kill掉,解决办法是升级hadoop集群到 2.6 以上版本;而对于Executor OOM,卢亿雷表示可以通过增加job的并 度,数据集切分成更小的数据,调整spark.storage.memoryFraction和spark.executor.memory ,设置spark.cleaner.ttl清理元数据等策略完成。
梁堰波:Build generalized linear models on massive dataset(PPT下载)
大数据&机器学习资深实践者梁堰波带来的分享是《Build generalized linear models on massive dataset》。开场之初,他介绍了线性回归、逻辑回归等机器学习中的基础概念,并给出了自己的见解。紧接着,他有详细解释了GLMs在SparkR和Spark MLlib中的使用差别。演讲中他谈到:现行所有的机器学习操作都是在一类数据上做运算,如果我们可以提供一种分布式的运算API,那么对于上层的应用的算法和利用API实现功能的人就有可能不在关心这内部是不是分布式,这应该是未来的发展方向。演讲最后,他表示未来的工作重点会放在更好支持R公式、模型并行性等问题上。
杨涛:广发证券基于大规模Docker集群的OpenTrading证券交易云实践之路(PPT下载)
广发证券信息技术部资深架构师,交易云技术研发团队负责人杨涛带来《容器化技术在股票交易系统的应用》的主题分享,以在股票交易系统里面的应用做一些分享。由于硬件资源低、系统升级时间长、快速部署难、测试环境搭建麻烦等都是为什么要做容器化的原因。他表示,Docker 的出现,让他们有一个弯道超车的机会。紧接着对Docker 进行了详细的介绍,并指出云要落地一定要解决编排和调度的问题。最后,又对Rancher和Docker的研发流程分别做了介绍。
邓德源:谷歌容器集群管理系统实践(PPT下载)
才云科技CTO邓德源在本次Container技术峰会中带来《谷歌容器集群管理系统实践》的主题分享,详细分享了对谷歌容器设计的众多实践经验。他提出,当有很多Container又该如何管理和调度,针对这些问题,他提出了一些自己的解决方案。接着对Borg做了介绍,Borg自身是怎么监控的,及对它工作的流程进行了深度解析。
贾琨:基于OpenStack异构混合云实践(PPT下载)
北京天云融创软件技术有限公司研发总监&首席架构师贾琨带来了《基于OpenStack异构混合云实践》的主题演讲。他认为云归根结底就是IT资源供给技术,而IT系统必经的过程有云平台建设阶段、业务扩展及支撑阶段、云平台运维服务阶段、资源优化&精细化管理阶段,随后又对这四个阶段进行了简单的介绍。同时,贾琨主要针对基于OpenStack来构建异构混合云平台的实践做出详细的介绍,并构建混合云中对用户管理、权限管理、网络管理和系统的架构进行深入解析。最后,又详细介绍遗产VMware/CloudStack管理技术、面向业务的Cloud Bursting资源调度引擎的实践经验。
刘军卫:中国移动OpenStack研发和实践之路(PPT下载)
中国移动云计算产品部技术总监刘军卫带来了中国移动在OpenStack领域的实践。在介绍完自己和中国移动(苏州)研发中心之后,他重点谈到了目前中国移动OpenStack的部署架构,主要有南北两个数据中心统一管理,数据中心内部多Region部署,根据硬件类型或者guest os类型划分AZ。优化方法方面,他主要分享了API limits优化、数据库limits优化、消息队列限制、部署方式优化的技术细节,同时,他还重点介绍了性能测试和并发测试。针对中国移动OpenStack领域的未来计划,他表示未来的规模更大,将达到6000个节点,并且上线裸机服务和分布式文件系统服务等。最后,在架构选择方面他分享了Tricircle和Nova Cell。
徐贺杰:OpenStack Nova 变革及Mitaka 更新(PPT下载)
OpenStack Core(Nova项目)、Intel OTC工程师徐贺杰带来《OpenStack Nova 变革及Mitaka 更新》的主题分享,详细地介绍和解析了itaka在API、Upgrade、Scheduler、Cellv2、Live Migration领域前后所进行的重大变革,以及其相关的设计。紧接着重点分享了Nova REST API和Nova REST API的现状、Nova REST API的进化过程。最后,他希望通过本次的演讲,能更好的帮助用户学到新的功能,并帮助企业选择正确的技术功能进行部署和投资,同时,也帮助一些开发者了解项目的重点和设计原则,从而选择正确方式贡献社区。
更多精彩敬请关注中国云计算技术大会官网