聚焦云计算核心技术与架构实现 百度、腾讯等多位讲师齐分享

5月13-15日,云计算领域最具影响力的年度盛会——2016中国云计算技术大会在京盛大开幕,这也是本年度中国云计算技术领域规模最大、海内外云计算技术领袖齐聚、专业价值最高的一场云计算技术顶级盛宴。

由CSDN主办、为期三天的2016中国云计算技术大会(CCTC),全面聚焦云计算技术与行业实践应用。从2010年开始,CSDN已经连续参与举办了六年中国云计算大会,一步步见证了云计算从概念到逐步落地的全部过程。据有关数据统计,2015年中国云计算市场规模约1500亿,年增长率超过35%,云计算已真正进入到大规模部署和实战的阶段。在此形势下,云计算最大的价值,在于技术推动业务、技术创新引导行业发展的强大动力。基于此,2016中国云计算技术大会,我们将视野不但聚焦在技术创新发展本身,同时更加关注技术在企业和行业的应用实践。

本次大会,邀请到国内外近百位企业技术高管、业界精英专家,为参会者奉献了超过80多场精彩的专题分享、圆桌讨论。大会议程分为由领军企业分享前沿技术趋势的Keynote大会、四大核心技术与应用峰会、云计算平台构建/云计算架构与服务主题论坛,热点技术特色专场以及云计算技术英雄会晚宴等。议题内容涵盖Hadoop、OpenStack、Spark、Container、微服务等云计算大数据领域的核心技术和应用,并重点分享这些技术在国内外知名企业的落地案例。本次大会受到包括CCTV新闻频道、BTV财经频道、BTV新闻等过百家新闻媒体的报道和关注,腾讯现场进行视频直播。

5月14日上午,在云计算核心技术与架构论坛,来自于Cloudera、百度、腾讯、精灵云和魅族的技术讲师为大家分享了精彩演讲。

Hadoop架构在云上的应用实践

聚焦云计算核心技术与架构实现 百度、腾讯等多位讲师齐分享_第1张图片

Cloudera大数据技术专家韩军分享了其与团队“Hadoop架构在云上的应用实践”经验。相比直接存储、数据不在集群间共享的本地模式,基于负载弹性伸缩、可在多个集群间共享数据的云模式更为灵活。

当前新型Hadoop部署生态分为公有云和传统的中央存储两类,公有云部署主要有三种形式,分别为:直接在虚拟机/云上部署Hadoop集群、Hadoop作为运算集群数据存储在第三方、Hadoop直接操作后端Shared Storage。

为什么要on Cloud?数据已在云上,而HDFS能够提供大数据应用统一的访问层,可将Block管理外包给第三方服务,为Cloud带来丰富的大数据生态系统。

腾讯云化数据库点滴

聚焦云计算核心技术与架构实现 百度、腾讯等多位讲师齐分享_第2张图片

腾讯云高级工程师、数据库产品负责人祝百万分享了腾讯云化数据库的点滴。当数据量快速增加、性能和运维要求越来越高、数据结果变化呈现多样化成常态、分析挖掘愈加普遍,分布式和云化成为了必然趋势。

腾讯云采用了关系型、非关系型和分布式数据库体系,并围绕着可用、性能、易用、安全四个方向进行了部署操作,比如在安全方面的加密、审计、备份、回档、IP阻断、账号管理等,可用性方面实现主备切换、跨IDC容灾、IP漂移、外网迁移。

百度的分布式文件系统之路

聚焦云计算核心技术与架构实现 百度、腾讯等多位讲师齐分享_第3张图片

百度基础架构部架构师、百度开放云非结构化存储系统技术负责人王耀围绕着从开源(GlusterFS、MooseFS、HDFS)到自研(CCDB-NFS、PETA、AFS)的“百度分布式文件系统发展之路”主题进行了演讲。

其中CCDB-NFS承接在线文件访问,采用VFS挂载的方式,只有少量的读写,负责目录树和集群管理的Master支持用户粒度的ACL和Placement;PETA和AFS承接离线计算的部分,同时也支持基于VFS挂载的一些计算模型,并且AFS在读取延迟优化、多存储介质、多租户方面做了很多工作。

在演讲中,王耀还特别提到必须及时检测AFS慢节点,以Ping带数据写入Block所在Disk上,这样除了检查网络之外,还可以检查磁盘。

负载均衡和微服务

聚焦云计算核心技术与架构实现 百度、腾讯等多位讲师齐分享_第4张图片

精灵云创始人晏东带来了以开源实现为主的《负载均衡和微服务》主题分享,对包括抗负载能力强的LVS四层负载均衡、只能在Linux环境中使用的IP隧道、真实服务器需和负载均衡器在同一网段的Direct Routing以及HAProxy和Nginx等常见的负载均衡技术进行了讲解。

基于以上,其团队设计了GhostCloud三层负载均衡拓扑,首先通过DNS做区域性负载均衡,在每个接入点采用双LVS加Keepalive设计,并在LVS后接入自行研发的GLB负载均衡器,同时为微服务群提供动态二级域名的支持。

最后,晏东针对负载均衡和动态伸缩分享了两个实际用户案例,当用户面临时而发生的高并发量时,GLB会动态根据CPU、内存、连接数等系列算法为其提供业务节点的弹性伸缩和容错服务,将对于容器的监控、通知、日志、镜像、HA等都交给平台处理。

魅族大数据技术架构解析

聚焦云计算核心技术与架构实现 百度、腾讯等多位讲师齐分享_第5张图片

魅族flyme大数据平台经理莫涵宇基于《魅族大数据平台架构实践》分享了魅族在人员变化、数据规模、业务支持等的DT转型和大数据历程。在实践中,魅族踩过诸多的业务和架构层的坑,比如迁就业务的不规范统计、需求管理杂乱、SDK埋点规范缺失、平台架构多次迁移、多个统计分析界面、没有数据Portal等。

魅族大数据总数据量超过2PB,数据各业务近500台主机,每日运行4000个调度任务,任务繁重下其团队进行了DW2.0的建设实践,构建适合解决业务痛点的数据产品,比如在离线和实时方面使用Hadoop和Spark,以及各类KV和Spark Streaming。并进行了大数据上云的尝试,包括资源管理调度、块存储、对象存储、镜像管理、虚拟化等。

更多详细信息,请关注大会专题 2016中国云计算技术大会

你可能感兴趣的:(聚焦云计算核心技术与架构实现 百度、腾讯等多位讲师齐分享)