云计算和大数据

Top100Summit全球案例研究峰会第一天总结——云计算和大数据

 

     很荣幸受邀参加Top100Summit全球软件案例研究峰会，这次的大会主题是《技术推动商业变革》，组委会从全国投稿的460多件案例中甄选出100件具有代表价值的案例，进行为期4天的分享，第一天是开幕式，有业界的诸多牛人进行演讲，演讲分享的内容如下：
-----------------------------------------------------------
1.被颠覆的决策模式——大数据大价值
   演讲者：张亚勤 微软全球资深副总裁、微软亚太研发集团主席
2.软件定义IT时代
   演讲者：宋家瑜 VMware大中华区总裁
3.电商创造价值 技术驱动未来
   演讲者：蓝烨 京东商城CMO
4.互联网的创新思维
   演讲者：谭晓生 360公司副总裁
5.大数据技术中国的案例分析
   演讲者：苗凯翔 intel中国区CTO
6.对话阿里巴巴
   演讲者：王坚 阿里巴巴集团首席技术官
7.互联网生态与大数据
   演讲者：陈磊 腾讯云总经理
8.面向业务创新的新型团队管理模式
   演讲者：孙耀达 香港铁路公司信息科技主管
9.构建互联网模式的金融体系
   演讲者：王兵 广发银行首席信息官
10.智慧的1号店
   演讲者：韩军 1号店CTO
-----------------------------------------------------------
   尽管在听第8个的时候，由于听着孙总的港音不太习惯，不小心睡了半个小时，但是大部分还是坚持着听进了脑子，毕竟机会难得。上面每个主题说的什么内容，我就不写了，毕竟我也记不住多少。这里把我听进去，并消化的内容总结一下，在这里做一个分享，至于对不对暂且不论，因为这是一个IT技术百家争鸣的时代嘛。

   首先是关于云计算，对于这个概念，我当年在学校的时候就已经听的很多了，记得那时它是与“物联网”并驾齐驱的两个概念，但是经过4年的发展看来，云的发展速度要远远快于物联网。可是云到底是什么呢？我觉得没有人能够给它一个明确的定义，谁都可以把自己的产品往云上靠，所以我们不必纠结这个概念的定义，我们只需要看云为我们做了什么就行了。以下是我对上面各个业界牛人们演讲观点的总结和理解。

1.云是IT界各个层次都能参与进来的技术集合
   从上面的演讲者的分布来看，有硬件代表intel，有操作系统代表微软，有虚拟化代表VMware，有电子商务代表阿里巴巴，有安全代表360。这些公司都是业界各个领域的顶尖技术公司，他们都能用既有的技术参与到云这个概念里，比如intel从硬件层面优化，用分布式的思想优化CPU，使之更贴合与Hadoop；微软构建了公有云和私有云的混合体Azure；VMware则从虚拟化角度赢得了400亿美元的市值；阿里巴巴用去IOE，从应用角度构建了阿里云，为中小企业提供计算基础；360从安全的角度构建了云查毒。可以看到，这些红极一时的王者公司们，并没有因为云的出现而衰弱。不过，除了nokia这个曾经市值1100亿欧元的波兰公司运气比较差。也有一些公司在云浪潮里破浪而出，比如Google，Amazon，JD等。我们可以看出来，云浪潮里，不是后浪推前浪的关系，而是一起浪的状态^_^。

2.云是传统行业与IT行业整合的革命
   在余额宝出现之前，有谁会想到几乎随着市场出现以来就出生的古老金融行业，会与IT行业有如此密切的关系？天弘基金在余额宝出现之前是一个默默无闻的基金公司，排名倒数。但是借着阿里云，它一跃成为基金行业的前五名，余额宝在双11的交易全部是在阿里云上完成的。谁敢说再过几个月它不是基金行业里的第一呢？至少我现在很看好它，它降低了老百姓参与基金的门槛，充分利用了长尾效应，聚集了天文数字般的散户资金。
   我也没想过铁路会与云计算扯上关系，但是时尚的港铁就做到了，它利用天气、人流、传感器等为香港打造了一个时髦的地铁服务，为500万人次的流量提供服务。还有很多小公司的ERP、CRM等系统也都搬上公有云或私有云，因为云的弹性，它们不用再为了应对十几分钟的峰值而购买巨额的机器。
   我更没有想到，美国CIA构建自己的数据中心没有选择IBM，而是选择Amazon。其实这并不是说IBM弱，IBM有强大而稳定的技术解决方案，若论小型机和大型机的技术谁能与之匹敌呢？它只是因为理念没有Amazon新颖而已。
   从上面我们可以看到，云并不仅仅服务于IT行业，而是服务于所有行业，传统也罢，新兴也罢，与云的整合大大节约了企业成本，这是一个双赢的局面，我们应当喜于此并参与进去。

3.云是移动互联网的Server端
   移动互联网发展的如火如荼，短短两年时间，移动终端的数量就数倍于PC，现在你可能手头没有一台PC，但是你必然有一台智能手机装在口袋，移动终端的流量已经占据了互联网流量的15%。PC终端尚且需要云，那移动终端更依赖于云，我们看移动互联网和云似乎看到了client/server经典网络模型。这里说到移动终端，就不得不说社交，在移动终端之前的PC时代，网络的入口是搜索，所以我们看到Google腾空出世，看到百度霸占中国。而移动互联网下，网络的入口是什么？答案是社交。你的手机里安装的软件少不了QQ、Facebook、人人、微信、米聊等等社交软件，你使用它们的时间也远远大于在移动终端上使用搜索的时间。可以看到，移动互联网时代，社交是主流，而对社交产生的人际关系、行为数据的分析少不了云。微信为什么那么可怕，因为它突然间就占据了移动互联网入口，就像微软占据操作系统、Google占据搜索。这是非常巨大的市场份额，至少前景是十分美好的。所以我们看到马云着急的推广来往，他自己甚至亲自担当来往的业务。

4.云是晶体计算瓶颈出现的产物
   摩尔定律已经走到尽头，晶体计算无法满足磅礴发展的IT业，IBM的小型机销售增长率从2010年的19%到2013年的-30%，可见，小型机时代渐渐远去，虚拟化、去IOE，这些颠覆式的创新已经来临，这并不是因为某些公司的决定而卷起的风浪，这是晶体计算的瓶颈导致的。云计算时代的来临，有些大公司走在前沿，构建起数量庞大的集群，如果一台机器能够搞定这些计算和存储，为什么还要这些集群呢？每每看到Google的数据中心用卡车运坏硬盘，他们难道不心疼吗？
不过话说回来，云的基础是数以万计的机器集群，也是有巨大的风险的。如果出现了颠覆式的硬件创新，比如量子计算和神经存储一旦成熟，这些都将毁掉，只是那样的创新暂时还没有出现。不过我倒是很期待在我有生之年能看到量子计算和神经存储等颠覆式创新的出现。

   其次是关于大数据，这个概念也是让人晕乎的，什么是大数据，大数据时代我们要做什么？下面是我个人的一些理解。

1.什么是大数据

   我们想象中的那些一天几十几百TB的数据量应该就是大数据了，也有人认为传统关系型数据不是大数据，半结构化、非结构化数据才是大数据。其实不然，大数据是一个宏观概念，比如一座城市，它本身就是一个大数据，比如交通信息、十八大决定推动公开透明的不动产记录、每家每户的水电煤数据、城建费用等等，这样的数据一直存在着，但是数据的价值没有被挖掘出来。再形象一点的，比如腾讯的数据，一天100TB的增长，这里面包含了用户行为、社交行为、消费行为、游戏偏好等等数据，这些数据都有巨大的商业价值，是金矿。所我认为大数据，应该具备三个特征：巨量、价值、IO不定。巨量就是数据的规模以TB、PB计，甚至超之；价值是指这些数据具有潜在的巨大价值；IO不定是指无法预测从数据里能挖掘出什么。

2.大数据时代我们应该做什么

   作为前线程序员，我们每天的工作内容无非就是写代码、写文档，可是我们不能把眼界限死，在这样一个浪潮下，作为一名程序员当然更加关注技术层面的东西。大数据来临我们要学习技术，诸如网格计算、Hadoop、分布式存储、NoSQL、实时计算框架、分布式协调、分布式任务调配算法、消息队列、缓存等等。在大数据下，目前有两种主流的框架，批处理和实时处理，批处理的代表是Hadoop，来源于Google Lab的Map/Reduce和GFS的思想。而实时处理则比如Strom、Spark等等。大数据里的技术太多，我们只能慢慢的去学习，去消化，去实践。

   以上是我总结的一些对云计算和大数据的理解，也是混合百家的产物，欢迎拍砖。