云计算和大数据导演社会变革大戏

　　如今，我们站在了IT产业变革的节点上，感受着巨浪的侵袭：云计算和大数据的发展促使IT产业生产力发生重大变革；生产力的变化让许多技术和模式拥有了新的血液；同时，互联网和社会也面临着重构……此时此刻，谁能看清变化趋势，谁能抓住变革先机，谁便能拥有更大的筹码。


　　生产力之变革：系统架构+数据+人


　　IT产业生产力变化，在百度大数据首席架构师林仕鼎看来，可以从四个时间段来分析――大型机时代、PC时代、互联网时代、云计算时代。


　　“在大型机时代，硬件是主要的生产力。”林仕鼎道出了他的观察与思考，“到了PC时代，软件则成为主要生产力。” 而进入互联网时代后，IT产业生产力变为了软件+人。“一个软件开发出来后，很多工程师会去不断地升级、完善这个软件”。


　　那么，云计算和大数据让生产力发生了什么样的改变？林仕鼎直言：“在云时代，IT产业生产力变革成了系统架构+数据+人。”


　　云计算带来的计算、存储资源集中化效应，以及数据量的激增，都使得系统架构在IT产业发展中发挥越来越关键的作用――因为支持云计算和大数据的基础就是系统架构。大数据时代的到来，也使得数据更多地参与到了系统和各种服务的构建中。


　　“在这个新的时代，软件和系统架构可被看成一整个系统，更多的人参与进来修改、维护、升级这套系统，同时，依靠海量数据来完善这个系统，提升系统性能。”林仕鼎点出了新生产力三个要素间的关系。


　　以百度搜索为例，林仕鼎介绍说：“用户输入一个搜索请求，有时一开始我们很难确定在搜索结果页面，以什么样的排序呈现给用户合适。那么，我们就会分别依照一定的算法，制定两个排序方法，并在用户中，随机选5%的用户使用排序方式A，5%用户使用方式B。之后，将海量的对比结果和数据反馈回机器学习平台，去分析、挖掘相关算法的优势，进而制定出更优的排序方式，完善百度搜索系统。这样，会使用户在百度搜索中更好地获得想要的结果。”


　　计算范式之变革：数据中心计算


　　实际上，IT产业生产力变革也就意味着计算范式的变化。


　　如前文所述，计算、存储资源集中化效应，以及海量数据的存储与处理需求，使得系统架构发挥越来越重要的地位，而这一现象也代表着计算范式的变化。“计算范式正逐步从桌面系统（即单机计算）向数据中心计算发展。”林仕鼎表示。


　　范式的变化同时引发了软硬件设计原则、思路的改变――整个IT产业的技术根基都在发生着剧烈变革。


　　根据林仕鼎介绍，数据中心计算与单机计算相比，在系统设计理念上的一大改变就是对容错的处理思路。“在单机设计理念中，系统一定是越可靠越好，原因很简单，你只有一台机器，坏掉就没了。所以，在设计时，要在系统里面加很多冗余信息和校验逻辑，这样在出现错误后还可恢复。在数据中心计算中，主要是分布式系统。分布式系统假设所有的设备最终都会发生故障，所以它可以容忍任意一台设备出现问题。这使得两者在系统设计上拥有很多差异”。


　　另外，单机计算和数据中心计算的应用场景也不同，前者是单用户多任务，而后者则是多用户单任务，因此系统设计要更多地考虑并行性问题。百度自主研发的SSD就是这种理念下的产物。


　　在传统的SSD架构中，是由一个总的SSD控制器来控制下面的Flash存储单元，这样的优势是黑箱化、层次化，不利之处是SSD往往读取较快，写入较慢，容易形成瓶颈。而百度根据应用需求，取消了SSD架构中的写缓冲、擦写平衡等复杂逻辑，大幅简化SSD控制器的设计。通过将一个大的SSD划分为N个单元，每个单元都有独立的控制器和存储单元，这些信息和控制接口暴露给上层存储系统后，形成了多个管道，并行读取、存储效率可以大幅提升。


　　这种设计上的创新，使得百度自研SSD相对SATA SSD性能提升6倍成本降低10%，相对PCIE Flash性能提升2倍成本降低40%。


　　社会之变革：重构互联网


　　云计算和大数据已经带来了像IT生产力、计算范式、开发方式这样偏架构和技术的变革，但在林仕鼎看来，它们最大的价值在于让社会得以革新与升级。“技术只有当真正能够去改变人的生活时才会更有意义。”林仕鼎坚持着这一信条。


　　而要让社会变革，就需要依靠云计算和大数据重构互联网。


　　想像一下这样一个场景：当你在公司系统里确认完出差事宜，你手机上的某个订飞机航班的APP就推送给你几个符合你喜好的航班，供你选择。当你在手机上一键选择完后，相关租车APP就跳出来让你直接预约出租车，提供往返机场或异地开会时的接送服务；并且在你预定完票后，你的手机会自动进入航空公司选座系统……


　　要实现这一切，需以云计算为基础，并融合、联通来自各种渠道的海量数据。但目前的情况是，数据和资源都是分散的。“现在的互联网有很多问题，比如每个用户的数据是分散的，这些数据被割裂在不同的设备上、不同的应用间，同时，计算资源也很分散。”林仕鼎表示。


　　所以，互联网需要重构。


　　林仕鼎描述了重构互联网的关键：搭建统一的云操作系统。“真正的云平台实际上是一个人人共享的统一操作系统，所有数据、服务、用户的ID、业务系统本身都聚合在一个平台上，形成一个大规模、合作创新的平台。由于有了全局的数据，大数据算法可以发挥作用，这个平台在工程师和用户以及大数据的推动下不断进化，最终会变成一个超大的、囊括性的统一智能系统。这本质上就是对互联网的一次重构”。


　　人与机器合一组成的这个“生命体”，实际上是把最终的结果和产生这个结果的原因连接在一起了，在林仕鼎看来，这个“生命体”将会快速进化，最终重构整个社会。


　　据悉，百度也在努力地促进各种数据融合、串联起来，以推动百姓生活乃至整个社会的变革与发展。

 

灵玖软件,大数据搜索与挖掘技术服务商灵玖软件专注于大数据搜索与挖掘的技术创新与服务，提供大数据搜索、大数据挖掘与大数据应用解决方案，以应对大数据的管理、处理、分析并从大数据中获知识与智慧。

灵玖软件：www.lingjoin.com 

大数据论坛：www.bigdatabbs.com