如何避免失败 像Google一样掌控“大数据”

　　随着生活的丰富，产生数据的设备也是愈来愈多，同样需要处理的数据体积也是日益激增，各个机构也纷纷把眼光投向“大数据”这个术语。在这场数据的淘金中许多公司满载而归，然而“大数据”投资失败的公司也不可谓不多，所以就有了之前的一篇文章“ Why Big Data Projects Fail”。对此，商业智能工具研发总监、esProc、esCalc高级顾问Jim King否认了这个看法，并以Google为例给大数据投资者提出了一些警示。

　　以下为译文：

　　首先看一下大数据成功典范Google，看看他们是如何玩转大数据的：

　　1. 收集数据，捕捉每个网站、电子邮件、Cookie内容，并提取关键信息。

　　2. 为信息创建复合索引。不用说，广告相关索引是必不可少的。

　　3. 将目录和内容储存在分布式服务器中。

　　4. 当用户浏览网站以及搜索或访问电子邮件时，Google会对这些请求做复杂的转换处理，同时几个索引项会随之确定。

　　5. 根据索引在服务器中查询数据，返回搜索结果或者广告。

　　在这里不难发现，与Hadoop有关的只有3和5，也就是数据储存和查询。而这两项也是最容易实现的两项，比如Hadoop就是个具有良好扩展性及低成本的解决方案。

　　那么实现3和5就可以像Google一样发玩转大数据了？很显然不行，因为关键选项2和4并没有实现，而2和4就是所谓的业务分析算法。这些算法由业务专家根据数据、业务知识、市场趋势精心打造，是许多企业商业策略制定的重要手段及核心。这才是4V理论中的“Value”。

　　这也是现下许多大数据投资失败的原因，因为当下的大数据只提供了数据存储和查询的策略，缺乏了提高企业竞争力的业务分析解决方案，而恰恰这才是最重要的。事实上，现在的大数据工具都是为IT专家打造的，他们可以通过C++或者Java实现MapReduce功能，但是却无法提供有价值的商业算法。

　　因此大数据成功的关键不在于Hadoop是否部署成功，而在于对业务有帮助算法的制定，而在人才严重缺乏的当下，不妨从数据工具入手。降低工具使用的门槛，让业务专家可以参与其中，才能发挥大数据真正的作用，对业务起到立竿见影的改善。

　　总结

　　工具的部署谁都可以，关键在于业务算法的制定，让业务专家无缝的参与数据的分析才是成功之始。

 

大数据技术培训

主讲讲师：张华平：北京理工大学大数据搜索挖掘实验室主任，博士，副教授

             赵燕平：北京理工大学教授，教育部电子商务专家

             姜伟：北京市外事办信息中心主任

             马宝君：清华大学搜索评价与推荐系统专家

小班授课：为保证充分讨论，确保进修效果，采用小班授课，名额有限，先到先得。

培训内容：《科学的大数据观》《云计算与大数据架构》《大数据精准搜索关键技术》          

          《大数据挖掘关键技术》《大数据搜索与挖掘平台工具实训》 

          《大数据与电子商务应用》《大数据在电子政务中的应用》《微博大数据挖掘》 

          《大数据困惑及解决》《方案应对讨论》

报名地址：http://118.192.14.52/bigdatatrain/

赵老师   010-68918050    13681251543