大数据应用：论底层基础设施硬件到底有多重要

对于当今的企业级服务市场来说，大数据技术的不断深入已经使得很多行业的用户开始拥抱大数据，我们都知道，对于数据而言，我们每天所产生的海量数据需要有一个强有力且安全的平台来对这些数据进行收集、分析从而为用户提出一个切实可行的方案，来帮助用户解决因数据困难导致的企业IT问题。

对于整个大数据行业来说，基本上可以分为三层，分别是底层基础平台，中间层通用技术，上层行业应用。那么对于一家大数据服务企业来说，为用户提供基于这三个平台的大数据服务的过程当中，这些平台的根本，其实是需要一个强大的底层硬件基础平台来为这些海量数据做保障和支撑的。

Hadoop：底层技术的明星

对于底层的基础平台来说，其主要起到了数据存储、计算等过程当中的问题，它也是整个大数据生态当中的根本基石，用户从采集到数据开始，底层基础平台就是保证用户能够把这些数据高效、快捷的进行存储，而后才能进行高效的数据分析和挖掘，从而帮助用户解决企业IT问题。

统观当前国内的企业级市场，真正把目光专注于Hadoop的企业级厂商数量其实并不是太多，有业内专家曾经指出，在进入新世纪后的第一个十年当中，跟多企业都把发展的重点放在了IT设备的采购、数据中心机房的建设以及各种办公系统的上线等方面，而第二个十年当中，随着经济形势的下行，使得传统企业的盈利开始出现下降的趋势，对于企业级用户来讲，对于IT设备的采购也就不像之前那十年那样狂热了。

以Hadoop为代表的新底层技术能够兴起，抛开技术原因，最主要的原因是便宜、扩展性强。利用分布式架构，将一些性能一般的机器串联起来，达到与高性能单机同样的效果。随着公司发展，数据量增大，不需要更换全套设备，只需要再增加机器就可以达到目的，省时省力。

利用Hadoop发展起来的商业模式

以微软的Cosmos为例，这套系统本身优于Hadoop，主要是针对大型机房，设计理念很好，上万台机器的机房，拿出几十台做别的事情，来提升系统运营效率。但如果是几十台机器，仍然需要拿出很大一部分来做别的事情，机器使用效率就很低。

实际应用时，用上万台机器的公司少，用几十台机器的公司多，因此Hadoop的应用面更广。用的人多，自然帮助优化架构的人多，社区贡献的人多，技术发展快，渐渐成为主流。

Hadoop技术是开源的，为什么还有公司会提供Hadoop相关服务?这是因为开源技术的兼容性和稳定性比较差，同时，企业在实际应用中需要将开源技术和自身系统、产品相连接，这就是Hadoop发行版的市场所在。

当前，银行等大型企业纷纷喊出“去IOE”(IBM小型机、Oracle数据库、EMC存储设备)，尽管国产企业的产品尚不能满足大型企业核心系统的要求，但是必然会有大量新业务的IT系统采用国产品牌，旧有业务面临更新换代也会优先选择国内厂商。

数据库等底层设施不同于上层应用，更换成本较高，客户黏性很大，非万不得已不会进行替换，同时Hadoop这类新技术迭代速度快，需要后期维护。因此，各家公司都在大力开拓市场，跑马圈地。

发展大潮下创业公司有几分机遇?

随着IT领域“去IOE”浪潮的快速发展，已经开始有越来越多的中国企业都在面对更换自身原有的IT硬件设备的问题，这对于整个底层基础平台市场来说是一个绝好的发展机遇，因此近些年我们也可以看到越来越多的初创型公司利用其技术优势和初创公司的高效决策机制，迅速抢占一些市场份额，占据一席之地。这类公司主要服务金融、电信、交通、电力等领域的大型企业，这些领域原本是传统集成商的地盘，因此新兴大数据公司不可避免地将与集成商正面竞争。

底层基础平台不同于上层应用，客户需求类似，产品很难体现出差异化优势。各家公司主要比拼产品性能的优劣，这种技术上的差异，新兴公司最初会占据一定优势，随着开源技术的普及，很多公司也会逐步赶上，技术的差距会逐步缩小。

Hadoop诞生于2006年，Spark于2009年出现，2013年Hadoop已经发布2.0稳定版本，两种技术从诞生到成熟时间之短，令人震惊。在当今这个技术快速发展的时代，新兴大数据公司一方面要应对市场竞争，另一方面还要保持技术的领先地位，难度不小。

对于大数据产业来说，除了在平台化管理要从用户角度出发之外，对于企业的底层硬件平台来说，也需要更加迎合实际的应用环境来对产品进行采购和升级换代，一个强大、安全、稳定的底层硬件平台对于大数据在用户端的丰富应用起到了决定性的作用，所以我们说，一切还是要以用户的需求作为根本出发点。

本文作者：佚名

来源：51CTO