本文经科技杂谈授权，禁止二次转载。
作者：刘自强
一、大数据寒冬已至
凛冽的寒风吹散了跨年的雾霾，带来了数九寒天的冰冻感受。各地大数据的相关展会依然如火如荼，但纸面上的红火无法掩盖内在的虚弱，出来混总是要还的，大数据的寒冬正如这三九天一样，扑面而来，让人措手不及。
早在半年前， 百分点科技主动进行业务优化，将超过600人的团队调整至500人。2017新年刚过， 亚信数据同样步入调整步伐，负责新领域探索的部门全都在调整范围内，这正是机制灵活公司的快速市场反应。新年前后与多家业界有名的大数据公司沟通，有一个普遍的问题就是共同亏损，不管是做数据生意的，还是做平台项目的，无一例外，而且公司普遍对团队在2017年的盈利提出要求。让我们再想象一下，如果这些团队未能在2017年实现盈利结果会如何？
对运营商而言，即便联通、电信宣称通过数据变现实现了数亿的销售收入，但如果核算下从数据采集到变现应用全过程的成本投入（包含人员），一定是一个不太乐观的数字。对BAT来说，如果把数据运营部门独立核算，情况同样如此。只是像运营商、BAT这样的家业庞大的公司，不在意当前的损益，有能力持续开展战略投入。
那么是什么原因导致大数据行业集体进入寒冬？是实体经济下行影响吗？还是大数据停留在概念炒作阶段，未进入到实际应用？
大环境确实对大数据行业产生负面影响，不只是大数据，2016年实质上还是资本的寒冬，移动互联网的寒冬。但从根本上看，过度竞争才是大数据寒冬的主要因素，也是一切寒冬的罪魁祸首。
二、更多的玩家更低的门槛必然导致自我淘汰
必须承认，从整个市场来看，2016年大数据行业整体取得了巨大进步。
首先，来自数据的价值被充分挖掘。
大数据的热度让“数据是资产”“数据产生价值”深入人心，且在实际生产中催生了丰富的数据应用。客群分析、精准定向推送、金融信贷中的身份核验、基于数据的信用评级等，其核心并非“大数据”技术的应用，更多的应该是“数据”的价值发掘。如果可以统计的话，2016年各公司之间的数据交易与2015年相比一定是一个指数级的增长。
数据分析应用经历4个阶段，分别是简单数据的简单分析（传统的数据库统计）、简单数据的复杂分析（传统数据量的数据挖掘）、复杂数据的简单分析、复杂数据的复杂分析。基于数据价值发掘的各项应用绝大部分集中在第一、第二阶段。能够下象棋的“深蓝”和能够下围棋的 “阿尔法狗”其实都应该属于简单数据的复杂分析（单一领域的机器学习）。
其次，大数据应用的典型案例层出不穷，目前集中于复杂数据的简单分析。
比如上海踩踏事件后，对于特殊时段/事件的实时人群流量监测成为大中城市的共同需求。通常通过运营商大规模信令数据的准实时处理，来实现区域人群准实时洞察分析。2016年已经在各大旅游区、航展、火车站等进行了广泛的应用。
比如某市政府因人口疏解压力，要求分析各区县（各乡镇）之间的常住人口、工作人口数量，以及各类人口变动来源与去向。通常通过运营商信令数据的离线分析，可以较好的模拟真实居住/工作人群的结构与变化特征。2016年该领域实际上开展了较深入的应用。
比如公安部门、信用评级部门需要分析个人或企业的关系链。对个人来说，有那些人跟你是家庭关系、亲戚关系、同学关系、同事关系包括曾经同学、同事等，以及关系的关系。通过大数据图计算方式，能快遍历每个节点与周边多个节点之间的直接或间接关联关系，形成个人关系图谱。对企业来说，股权投资、高管兼任、资金担保等均可通过图计算方式，分析出企业关系图谱或各类复杂的资金链/担保链关系图谱等。
但是，上述整体市场的进步并不意味着参与的企业个体能够持续的活下去。10家公司出现10个典型案例，大家都可能玩完，而1个公司1个典型案例覆盖10个客户，才有可能活得下去。
就如“谷贱伤农”的道理一样，过度投入带来的过度竞争才是大数据寒冬的真正原因。不是大数据技术不好，也不是应用缺乏，而是当前的应用市场无法容纳过度参与玩家的生产能力。
首先，过度投入来自对新技术新领域的追捧。
从Gartner公司每年一度的新兴技术成熟度曲线（Hype Cycle for Emerging Technologies）可看出，大数据在2013年正处在成熟度曲线的顶峰，2014年已经开始走下坡路，2015年已经脱离曲线，从概念炒作走向实际应用。现在已经有不少公司开展调整，在可见的将来还会有更多的公司步入后尘。那么2016年热度顶峰的新技术是什么，是区块链。我有认识的朋友，一年半前从大数据平台项目离职搞区块链，那时候我还根本理解不了什么是区块链。大概半年前又回到大数据公司，重新搞起了大数据平台。
其次，软件行业的整体迷茫，纷纷把大数据当成救命稻草。现在还有软件公司（包含广告公司）不称呼自己是大数据公司的吗？还有软件公司不搞些大数据平台或应用产品吗？不用提传统电信运营支撑公司东方国信、亚信数据，就说飞信支撑方神州太岳，在2015年也高调转型大数据应用领域。
云计算与SaaS化应用的兴起导致的软件革命，让行业竞争加剧，很多软件厂商无所适从。就如一季度曾曝出的用友软件的大幅度亏损一样，不管做ERP还是小应用，传统的软件公司的日子越来越难过。这些软件公司把进军大数据当成解决软件行业性问题的良方，结果是从一个火坑跳入另一个火坑。
再次，大数据开源技术的低门槛，玩家进出无障碍。以最经典的Apache Hadoop社区为例，Hadoop的项目结构不断丰富发展，已经形成一个丰富的Hadoop生态系统，囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30个模块。虽然能够对社区提供持续原创性贡献的企业不多，但并不妨碍众多公司，一两个熟手+若干个生手就可以承诺搭建并运营一个实时交易风控平台（以实时流计算为主要模式的平台）。问题的关键在于，同样面对新技术，新加入的玩家与传统的BI厂商基本处于同一起跑线上。
最后，建设容易运营难，大数据价值还未真正体现。数据价值已经体现，但大数据价值还未真正体现。很明显，之前大数据的虚火来自于建设的热潮。当建设的热潮退去，需要通过真实的应用价值来回报的时候，发现虽然有不少案例，但是总体的价值根本无法hold住之前的投入。因此反向的减少建设投入，导致市场空间相对于之前的高速扩张有较大的萎缩。
一切正如2000年的互联网寒冬一样，当前的大数据寒冬正
是市场机制自动产生的“优胜劣汰”过程，这是历史规律。
对于任何一个企业或组织来说，最终结局都逃不过失败，但对于优秀的企业来说，可以失败得晚一点，生存得更久一些。就如华为任正非在《华为的冬天》里说到的一样，“十年来我天天思考的都是失败，对成功视而不见，也没有什么荣誉感、自豪感，而是危机感。也许是这样才存活了十年。我们大家要一起来想，怎样才能活下去，也许才能存活得久一些。失败这一天是一定会到来，大家要准备迎接，这是我从不动摇的看法，这是历史规律。”
预告
由于篇幅原因，下一篇将继续就大数据寒冬的话题进行讨论哦~