大数据时代不存在无效数据

大数据论坛：www.bigdatabbs.com

大数据灵玖软件：www.lingjoin.com

 

大数据厂商Teradata天睿公司CTO宝立明

5月22日消息，大数据厂商Teradata天睿公司CTO宝立明（Stephen Brobst）日前在“2013 Teradata大数据峰会”上向腾讯科技表示，不能一味的否定看似无用的数据，它们同样蕴含着价值，只是尚未找到价值体现手段，可以用低成本的存储服务器加以保留。

数据均有价值

如何区分大数据的价值？宝立明表示，不能一味地否定无用的数据，它们同样蕴含着价值，它们确切的说法应该是低价值密度数据。因此，企业也应该保留这些数据，只是暂时尚未发现它的价值，可以用低成本的存储服务器保留它们。

他举例说，当人们通过搜索引擎检索时，会出现一些习惯性的拼写错误。这些错误数据虽然表面上没有意义，但通过收集这些数据却可以发现大量的用户习惯和规律。

他表示，人们对于海量数据感到困惑，这是因为未能全局掌握整个数据只是看到破碎的、零散的、局部的数据。这就像通常“给数据做提炼总结”而在总结的过程中往往会丢失掉大量细节，但是很多有价值的信息正隐藏在具体的细节当中。

宝立明建议，对于不同价值的数据要区分对待，把价值不高的数据存储在低成本的环境当中，但是绝对不会把它丢弃，因为假以时日，它还是会有一定的价值会被挖掘出来。

隐私保护仍待解决

在谈到对大数据的隐私恐慌问题时，宝立明认为，应该对用户隐私提供一定的保护，例如通过数据加密，只让需要知道数据的人了解、接触或者访问到这些数据。他希望大众了解，通常通过数据挖掘软件，实际上看到的用户数据或者信息并不针对某个具体的人。

他介绍，很多国家的立法机构或者政府希望通过制定隐私保护法律来实现对用户信息的保护。但是，由于对数据分析不了解，有些法规最终可能限制了用户对信息和数据的使用。

例如，在某些国家要求电话的呼叫记录最多只能保持90天，这种呼叫记录只能够用于计费目的，就限制了电信运营商对数据的保存，不能够很好地来设计符合消费者或者用户需求的电信产品，同时给定价方式也带来很大限制，进而影响市场竞争。