比特大数据系列选题之一：大数据将有大发展

　　迄今为止，大数据尚没有一个公认的定义，也就是说，你说的大数据和我说的大数据可能不是一回事情，但这并不能够阻止大数据应用成为公认的发展趋势。据IDC报告显示，未来四年大数据市场显著增长，在此期间在线数据信息将呈爆炸式增长。据IDC预测，2017年大数据技术和服务市场复合年均增长率(CAGR)预计为27%，市场规模达到324美元(详见：2017年大数据市场价值324亿美元)，其增幅度是ICT(信息和通信技术)市场6倍。其中，IDC亚太区(不含日本)大数据市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元，年复合增长率达到34.1%，超出全球平均增幅（详见：2017年大数据技术和服务市场规模23.8亿美元）。所有迹象表明，大数据时代正在向我们走来。


　　大数据技术和服务驱动力


　　大数据成为趋势意味着巨大的市场商业机会。大数据特性可以用数据量大(Volume)、数据种类多样(Variety)、要求实时性强(Velocity)和蕴藏商业价值大(Value)，也就是4个V来概括。这4个V也对数据处理和存储提出了新的要求。


　　为了应对大数据技术和服务新挑战，很多厂商都推出了大数据一体机平台，如IBM的Netezza一体机、Oracle的Exadata一体机、EMC的Greenplum一体机、浪潮云海大数据一体机和曙光的XData大数据一体机等。这些大数据一体机大多以Hadoop为管理平台，针对海量非机构化数据进行分布存储和管理，实现了数据分布式存储和本地化就近处理，具有横向灵活扩展的功能和特性。为增加应用的针对性，这些平台厂商与应用软件方案商合作，为用户提供大数据应用整体解决方案。


　　软件系统厂商也是大数据应用的积极推动者。数据分析、挖掘原本是传统数据库厂商、数据仓库和BI厂商的强项。以往其应用主要针对结构化数据，而海量非结构化、半结构化数据因为价值密度低，不适用传统方法，其成本过高。但是随着计算、存储等硬件成本的不断降低，特别是Hadoop、NFS等分布式数据存储和处理技术的成熟，通过Map/Reduce等数据处理方式，使得大数据处理成为了可能。在这种情况下，无论是IBM、Oracle、SAP等数据库厂商，还是Teradata、Informatica等数据仓库厂商，还是传统BI厂商，如SAS等，都针。


　　对大数据应用提供针对性的技术和方案。基于自然意义的理解，对于数据进行筛选、抽取和聚合，这原本就是这些厂商的优势，针对大数据应用需求原本也不存在更多难题


　　除了传统软硬件产品供应商之外，以Splunk、ICTCLAS为代表国内外大数据应用软件厂商和技术，也提供了落地解决方案。此外，Apache Drill、Storm等开源工具，MySQL、Hlive等开源数据库在互联网行业广泛使用。


　　数据开放是关键


　　大数据应用之所以得到广泛追捧，全数据分析是关键。专家指出，数据不怕多，哪怕是错误的数据，数据越多越好，透过大数据分析，会有一些意想不到的效果。


　　大数据所研究的不仅是数据本身，也包括数据之间的关系。互联网行业在大数据应用方面处于领先的定位，无论Ad Network、Ad Exchange、DSP、SSP、RTB、DMP等广告精准投放方式，还是电商的消费者者行为分析、商品推荐，互联网金融等都是建立在大数据分析的基础之上，因此在互联网行业，大数据应用早已经不是概念，而是一个个落地的项目和商业模式。


　　大数据应用也是在互联网行业的推动下，像更加广阔的领域延伸。以互联网为楷模，大数据应用可以帮助传统行业/企业改善服务，提高市场的竞争力。大数据应用强调的是结果，有时候，你可能不知道原因，但大数据会告诉你结果和结论。一些争论不休的问题，可以通过大数据分析得到结果。例如透过对吸烟和癌症发病的数据分析比对，科学家发现，吸烟并没有导致癌症发病率显著提高。这是一个结果，其科学原因还有待研究和挖掘。


　　大数据分析结果的正确率有赖于数据的完整性。传统行业多年积累了大量数据，也是数据的持有者。但从整体来看，某一个企业或者行业也仅仅是数据的部分持有者，为了最大化发挥数据价值，数据开放就是必然之路。奥巴马在谋求总统连任的过程中，就把促进政府部门数据开放作为目标策略之一。


　　可以预见，大数据软硬件技术的成熟，数据共享和开放将成为十分迫切的问题，在数据开放的同时，如何做到数据的合理使用，同时保护数据的隐私问题，将成为大数据发展的新 课题，需要相关的法律制度。数据开放将成为大数据应用的催化剂，也有可能成为大数据的应用的绊脚石。


　　专家指出，在当今环境条件下，行业/企业一方面要加强对于社会化大数据，如互联网、智慧社区数据的利用;另外一方面，行业/企业也应该尽可能实现企业管理的数字化，特别是加强对于email、即时通讯软件等数据的管理和保护，因此，大数据应用需求将极大提升行业/企业数据管理和保护的意识，这些将是无形的财富，也保持行业/企业竞争力的数据基础。