小白都能看懂的干货！大数据这朵“后浪”，能卷起多大的风浪？

数字化转型，新基建等一些列风向标把数据推到了一个前所未有的高度，而作为最近非常火且经常被人评论的东西，大数据还能火多久？

根据我个人的行业经验来看。现在很多人，对大数据的理解都有些偏了。目前，对大数据的主流看法就是"深度学习","人工智能"等很火，很高大上的东西，都需要大量的数据。

其实，大数据的背后，是人类处理信息（也就是数据，大家不要认为大数据，这个概念中的"数据"，是12345等阿拉伯数字组成的东西，凡是能存电脑里的东西，都是数据）的IT系统的一次革命性升级。

这次技术的升级，是继数据库系统后，人类处理数据手段和技能的提升。

下面，我以一个例子，来说明我们信息处理手段的提升。

张三是个创业者，每晚到夜市摆摊。由于摊子很小，每天回家后，找一只笔，一个香烟盒子纸，就能把账算了、把货盘了，这时，凭借着一只铅笔，一张破纸，就能把该处理的数据信息处理了。

后来，摊子稍微大了一点，张三到门口小超市花几块钱买了个计算器，每天在计算器"为零"的帮助下，再加上一只笔、一张纸把信息处理了。

再后来，张三开了个小超市，他处理信息的能力也增强了，用上了Excel、word等软件来处理信息。

后来，张三开开了个大超市，其信息处理工具也鸟枪换炮了，用上了进销存管理系统、财务管理系统、人事管理系统等。

 

这些系统，在数据存储方面，用数据库，如mysql。在业务处理方面，招几个程序员，用php、python或java，写具体的业务处理逻辑（也就是当年张三在纸上写写画画的处理过程）。

这一阶段的IT处理段位，是目前大多数中小企业所在的段位。可以看出，这个段位的IT系统和处理能力有以下不足:

1、只能处理结构化数据，对大量非结构化数据（文字、语音、视频等），处理能力严重不足。

2、能处理的数据量还是太小，比如，用张破纸，你处理10条数据没问题，给你个计算器，你处理100条数据没压力。用Excel，你处理10万条无压力。给你个mysql，你在千万条数据的级别范围内增删改查无压力。

但是，当你要面对的数据是100亿条级别时，你的数据库、存储、业务处理代码等，就有可能分分钟闹毛病给你看。 注意:利用各种中间件构建分布式关系型数据库集群，是能应付的。此处，各位看官领会我说的什么意思就好，先不要纠结具体技术解决方案。

3、处理的手段单一，只能跑程序员编好的程序，比较死板。只能按着代码逻辑跑，一点都不"智能"。

4、从技术上讲，灵活性还是不足。你的进销存、财务、人事等系统。程序员编完，能用了，也就完了。没有重要问题和需求变更，也不会去频繁升级、重构和迭代更新。

5、从具体的实际流程上看，流程太长、太慢。比如说，您是集团公司的老总，有一天突发奇想，想到了一个项目，想"看看相关数据"。

北京分公司的数据，很快上来了，上海分公司的数据，秘书打了好几遍电话，才要来。山东分公司的说，我们这边忙着陪客户吃饭喝酒了，具体数据没收集呢。浙江分公司的，数据报上来了，可他们打电话说，数据报错了、漏报了，您稍等，我们组织人力物力，重新帮你核查。

此时，时间上，少说也一个月过去了，还不一定保证数据都正确。数据收集上来，您也不用"分析"了。市场风云变幻，黄花菜都凉了。

鉴于此，大数据处理系统来了。有了hadoop、spark、storm、hbase、 Elasticsearch、zookeeper等等大数据工具搭建起来的数据处理集群，张三终于炮换导弹了。

 

1、有了hdfs，张三可以把以前觉得没太大价值的数据保存起来。未来的事，谁知道呢，数据总是要的，说不定以后用的到呢。如果阿里巴巴没有保存、整理用户的交易数据等，花呗、借呗等业务，开展起来，简直就是做梦。

2、有了spark等编程框架，你的业务处理流程，也更加灵活和牛逼了。你可以用python、java,scala等编写一些脚本似的数据分析程序，尽情地挖掘出有价值的东西。这一个个的job，写完后，扔给调度系统，定时，每天晚上让集群帮你跑出来就好了。挺灵活的。

3、调用一些开发库，你可以玩一些机器学习等高大上的东西。出去吹牛逼也有料了。

4、建立统一的数据处理中心，再加上互联网的力量，终于可以在可接受的时间范围内获得你想要的数据了，而且数据还更详细，方方面面的数据都有，最后还附有机器人"小优"的"智能"建议和温馨提示。

5、借助比如storm等实时处理框架，很多结果可以秒级回馈。性能遇到瓶颈了，大不了加机器。反正一切都是分布式的。.......

 

我想大多数人，特别是中小企业，也不会关心。那是BAT等大公司的事，我们公司小、数据少，业务也简单。"分析"，也是电脑不如人脑。因此，大多人，也是觉得，大数据或许是未来，但是，对我来说，似乎也没多大用处。

如果，此人当时心情不好，还多半认为"大数据"，纯粹是瞎忽悠。 回到本次话题，针对"大数据能火多久"，这个问题，这就要看大数据的本质了。在我看来，我们业内目前讨论"大数据"，应该更倾向于看它背后的技术对当前企业IT系统的革新。

就如同目前大多数企业以关系型数据库为中心的IT系统一样，现在，我们处理信息的手段中，又添加了新的成员。现在，如果你向老大建议，我们不要以关系型数据库为核心的各类"进销存"、财务等系统了，全体回退到以Excel、word来处理信息，我相信，他会分分钟扇死你。

我相信，20年后，你向老板建议，我们放弃各类以大数据处理集群为核心的精准营销系统、智能客服系统、用户智能分析系统等等，大家集体回退到以纯关系型数据库为核心的时代;我相信，他也一定会分分钟扇死你。

当前，我们对大数据的理解，越来越清晰和接地气。阿里巴巴已经把他们的大数据系统，改名为了"maxComputer"。从名字不难看出，大数据就是大电脑，这意味着更大的信息处理能力、更高的灵活性。

大数据能火多久，如同穿越到上世纪80年代，去问个人电脑能火多久一样。现在，我们都不会认为"个人电脑"很"火"。因为，它已经成为了人类工具箱里一件强大的工具，提高了人类的生产力。我相信，"大数据"，也会成为我们的工具箱里的这么一样工具的。

很多人讨论起大数据，还是照搬教科书里的内容。其实，对真正大数据圈而言，大数据已经落地了。

大数据从几年前很火，到现在，从PPT上下凡到数据中心，也就没多大的讨论必要了。

欢迎关注我的公众号“商业智能研究”，私信回复“资料包”，即可领取大数据、数据中台、商业智能、数据仓库等6G精华资料！