数据科技的若干发展趋势

数据科技（Data Science and Technology）在近二十年来越来越受重视，盖因大部分问题都直接来自业界的真实需求。

甲骨文 Open World 大会（9.15~9.19）刚刚在旧金山谢幕。来自全球各地的科技巨头和行业客户齐聚一堂，探讨了包括分布式账本、智能技术、物联网等热门话题，以及可能对数据科技产生的深远影响。

分布式账本

作为社会学实验，比特币、以太坊等公共账本已经进行了诸多有益的尝试。然而，企业用户们在实践中，逐渐意识到，当下的商业模式天然更为接近联盟账本。

如果只局限在作为金融数据领域，FB Libra 已经迈出了实质性的第一步。然而，对于更广义的通用数据协作，目前还未达成共识。公共账本的理念先进，却始终绕不开扩展性和安全性两座大山；联盟账本因为在场景上折衷，可以具备更大技术优势，但也多局限在新数据场景中。而几乎所有已有数据都静静呆在传统的集中式存储设备中——只要这些数据无法得到有效激活，真正的大数据时代将无法来临。。

正如笔者数年前预言，账本科技发展会对数据库产品提出新需求；反过来，数据库产品也必然会主动吸收分布式账本的科技成果。甲骨文即将推出的 Blockchain Table 特性是近些年少有的突破性尝试。它提供基于区块链的额外安全性保障，同时兼容已有数据和特性。这恰好应对了企业级用户的痛点：愿意不断享有新科技的益处，但绝不希望轻易改动已有数据架构。

推倒重来固然简单易为，却往往需要付出巨大代价，不到最后关头万万不可；可以持续演化的系统才是更加优化的长效选择。可演化性，更具挑战，也更加体现设计者的功底。

智能技术

虽然人工智能泡沫已经消退，但长期来看，软件代替人力是必然的趋势。

今天的企业需要处理的数据规模和复杂度都前所未有，必然会更加依赖软件，依赖自动化。

不同领域对数据处理的诉求不同。自动驾驶等领域更加依赖硬件的发展，因此传感器制造商可以获得数十亿的估值。对他们来说，算法精度提高几个百分点在商业上却无法构成本质差异，倒不如提高信号的采集质量。创业团队在面对传统生产商时很难有谈判资格，后者多年积累的从产品到产业链的巨大优势，很难通过算法来弥补。

然而科技公司的数据处理场景完全不同，拼的就是计算，因此算法、计算架构等起到的作用很大。

传统企业在应用创新技术时往往偏向保守，越大体量的企业越是如此。现场调查显示，相当一部分客户并不希望新技术过多改变已有的产品特性。因此，未来数年内，智能技术的发展必然是从外围到核心。先提高 Devops 自动化的效率，提高安全性，然后优化数据产品的配置和运行状态，最后才是对核心过程的并行、预测。到那个时候，应用开发者无需关心数据格式，就像刚有数据库概念的时候，简单、自然，但是境界不同。

物联网

物联网已经讨论了三十年，但这次风口是真的要来了。

当有一件事情推动你往一个方向去的时候，你可能需要慎重考虑；但当多件事情都指向同一个方向时，别再犹豫！

世界等待了物联网太久，太久的好处之一就是可以准备得更充分。几十年前畅想物联网场景的前辈们无法想象今天的微型设备、泛在网络、能源技术……

大胆预言物联网的普及将很快。随风潜入夜，润物细无声。

物联网对数据科技的挑战是巨大的。首要的就是越来越复杂的数据类型。在过去，人们只关注结构化数据，然而互联网上已经产生大量的非结构化数据，物联网上更将是如此。对这些非结构化数据的挖掘在过去很难产生足够的价值回报。在今天，这些数据被认为像石油一样重要。掌握了新型数据挖掘能力的公司将获取超过垄断能源行业带来的回报。

为了支撑这些庞大的数据和处理能力，必然会出现新的数据产品（例如数据湖）。由于数据自身集中化的特点，这些产品将需要同时支持多种格式的数据，具备多种的处理方法。

===== 关于 TechFirst 公众号 =====

专注金融科技、人工智能、数据科学、分布式系统相关领域的热门技术与前瞻方向。欢迎投稿！

如果你喜欢公众号内容，欢迎鼓励一杯 coffee~