从企业部署大数据项目现状看大数据

围绕着大数据的炒作可谓极其疯狂，这种炒作也在推动着大量的投资进入这一领域。 市场研究公司IDC预计，大数据技术及服务市场的年增长率为27%，到2017年将达到324亿美元。IDC称，大数据市场的这种增长比整体ICT市场增长高出6倍多。 然而尽管资金充裕，但是企业界在渡过了大数据的早期采用阶段之后是否找到了成功之路却并不清楚。为了寻找到明确的答案，研究人员调查了诸多企业的IT经理和管理人员，受访者们分享了他们组织的大数据计划、投资和重点细节。 由Network World主导实施，IDG五大企业出版物(CIO、Computerworld、CSO、InfoWorld和ITworld)参与的《2014大数据调查》已经找到了一些关键性重点。 这次调查所涉及的企业处于大数据部署的各个不同阶段。有些企业已经实施(19%)或正在实施(25%)大数据项目。其他企业已制定了实施计划——会在未来12个月(16%)或未来13-24个月(16%)实施。其余企业(23%)则尚不确定，它们可能会在未来某个时间实施大数据项目，但目前仍在努力寻找合适的战略或解决方案。 从宏观角度看，大数据对于所有行业中不同规模的企业来说都在变得越来越重要。当被问及大数据计划对企业来说其重要程度如何时，53%的受访企业回答至关重要或者高优先级的，另有34%的受访企业回答为中度优先级。只有12%的受访企业认为大数据计划尚属低优先级项目。 以下是本次调查所发现的其他一些关键要点： 1、企业希望决策更准确，更快速。 为什么要使用大数据?因为它在企业决策的质量和速度方面发挥着至关重要的作用。推动企业投资大数据的两个最普遍的业务目标就是改善决策的质量(59%)，以及提高决策速度(53%)。 紧随其后的大数据业务目标排名是改进规划和预测(47%);开发新产品/服务和收入流(47%);提高吸引新客户/客户保留率(44%);以及建立新的业务合作伙伴关系(34%)。 2、越来越多的大企业正进入PB时代。 企业已经积累了与其客户和业务相关的巨大的数据集。在所有接受调查的企业中，目前所管理的平均数据量为164TB。而当被问及在未来12到18个月后他们估计将会管理多大数据量时，受访者所预计的平均数据量为289TB——增长率为76%! 今天，6%的受访企业已经在管理超过1PB的数据;这一百分比在未来12到18个月内将增加到14%。在最大型的企业中(指年收入至少在10亿美元以上者)，有31%预计将会管理超过1PB的数据。 3、企业已感觉到数据过载的后果。 当有庞大的数据量涌入企业时，必然会产生很多后果。例如无能力或无法迅速找到所需的信息而失去一些业务(有11%的受访者认为这一情况经常发生，31%认为偶然发生);在制定重要决策时出现延迟(14%经常发生，39%偶然发生);用户因数据而不堪重负(19%经常发生，46%偶然发生);发生数据安全问题(4%经常发生，15%偶然发生)。 4、企业准备投资;ROI现在并非主要的障碍。 调查发现，有限的预算是最紧迫的大数据挑战。在受访企业中，投资充裕的极少。在低端市场，19%的受访企业称其来年在大数据上的花费少于10万美元。而在高端市场，29%的企业称投资将会超过100万美元(其中2%的企业称将会投入1亿美元或以上)。 这些投资将会花在各种不同的大数据相关领域，包括： ● 开发或购买软件应用(38%) ● 投资购买额外的服务器或存储软硬件(37%) ● 使用开源软件框架(例如Apache Hadoop)(30%) ● 向云存储服务迁移(28%) ● 增加网络带宽(27%) ● 向云分析服务迁移(26%) 然而尽管大数据预算是最常见的担忧，但是ROI却并非紧迫问题。只有26%的受访企业认为投资的ROI是目前主要的障碍。 5、企业感觉大数据人才短缺。 企业担忧能否找到所需要的合适人才——例如知识工人、数据科学家——来执行企业大部分的大数据计划。在员工方面，34%的企业正在招募具备分析技能的人才，26%的企业考虑将外聘大数据专家。 当被问及在未来12到18个月内企业计划雇佣具备哪些技能组合的人才时，数据科学家占据首位(27%)，其后依次是数据架构师(24%)，数据分析师(24%)，数据可视化专家(23%)，业务分析师(21%)，研究分析师(21%)，主任分析师或分析经理(19%)，以及数据库程序员(19%)。 6、数据的安全性成问题，但并非最紧迫问题。 预算有限和人才奇缺是最紧迫的两个大数据挑战。此外，受访企业还列举出了安全问题(35%)，开发时间(35%)，遗留问题如现有工具的集成(33%)，糟糕的数据质量(32%)，以及整合或分析实时数据的困难(30%)。 关于安全的话题，近半的受访企业(49%)表示其已有的安全解决方案和产品已可提供适当的大数据安全。29%的受访企业表示现有解决方案和产品不适用于大数据，22%的企业表示不知道。 7、什么较困难：是业务整合还是文化采纳? 研究人员在问及受访企业将大数据计划整合进组织的业务流程和文化时是否具备挑战性时，根据答复为极具挑战性或非常具有挑战性的不同，文化整合(54%)以微弱多数略微领先于业务流程整合(50%)。 8、IT部门主导大数据计划，但成功与否取决于跨职能部门的合作。 IT部门主导大数据项目是受访企业中的常态：46%的受访企业称高层IT经理主导其大数据项目。但IT高管并非在单干：36%的企业称业务领导人也在参与。此外，受访者表示，其大数据项目受到CEO支持(比例为47%)或LOB支持(34%)。IT领导和业务领导都同意，当双方针对某些具体的业务挑战而合作时，大数据项目才有可能获得最好的成功。 9、对很多企业来说，发展动量将会持续。 展望未来，将近一半的受访企业(48%)认为未来三年内大数据的使用将会在企业内部广泛展开，另有26%的企业认为大数据会在一个或多个业务部门成为主流应用。只有5%的受访企业认为大数据计划会随着炒作的消失而消失，另有5%的企业回答不知道。其余16%的企业预计会试用大数据，但不会在主流生产中使用。