关于“大数据”的五大误解

 

大数据灵玖软件：www.lingjoin.com

 

大数据论坛：www.bigdtabbs.com

 

 

 

  “大数据”是当前的时髦术语，是技术界用来解决世界上最难处理的问题的全能办法，对于大数据的鼓吹者来说，没有什么问题是解决不了的。然而，大数据真的完全像人们吹嘘的那样吗？

　　
　　“大数据”是当前的时髦术语，是技术界用来解决世界上最难处理的问题的全能办法。这个术语一般用来描述对海量信息进行分析，从而发现规律、收集有价值的见解和预言复杂问题答案的技巧与科学。它也许听起来有些乏味，但是从制止恐怖分子，到消除贫困，到拯救地球，对于大数据的鼓吹者来说，没有什么问题是解决不了的。

　　维克托·梅耶—舍恩伯格和肯尼思·丘基尔在有着朴素书名的《大数据：一次将改变我们生活、工作和思考方式的革命》一书中欢呼道：“对社会的好处将是无穷无尽的，因为大数据在一定程度上将解决迫在眉睫的全球问题，如处理气候变化、根除疾病以及促进善政和经济发展等。”

　　只要有足够多的数据可以处理———不管是你的iPhone上的数据、杂货店购物状况、在线约会网站个人简介或者是整个国家的匿名健康记录，利用对这些原始数据进行解码的计算能力，人们可以获得数不胜数的有价值的见解。甚至连奥巴马政府也已经赶上了这股潮流，并在5月9日向企业家、研究人员和公众“破天荒”发布了大量“以前难以获取或难以管理的数据”。

　　然而，大数据真的完全像人们吹嘘的那样吗？我们能相信众多的1和0将能揭示人类行为的隐秘世界吗？以下是作者对所谓大数据理论的思索。

　　1.“有了足够的数据，数字就可以自己说话”

　　没门儿。大数据的鼓吹者希望我们相信，在一行行的代码和庞大数据库的背后存在着有关人类行为模式的客观、普遍的有价值的见解，不管是消费者的支出规律、犯罪或恐怖主义行动、健康习惯，还是雇员的生产效率。但是许多大数据的传道者不愿正视其不足。数字无法自己说话，而数据集———不管它们具有什么样的规模———仍然是人类设计的产物。大数据的工具———例如Apache Hadoop软件框架———并不能使我们摆脱曲解、隔阂和错误的成见。当大数据试图反映我们所生活的社会化世界时，这些因素变得尤其重要，而我们却常常会傻乎乎地认为这些结果总是要比人为的意见来得客观些。偏见和盲区存在于大数据中，就像它们存在于个人的感觉和经验中一样。不过存在一种值得怀疑的信条，即认为数据总是越大越好，而相关性也等同于因果关系。

　　例如，社交媒体是大数据分析的一个普遍的信息源，那里无疑有许多信息可以挖掘。我们被告知，推特网的数据显示人们在离家越远的时候越快乐，而且在周四晚上最为沮丧。但是存在许多理由对这些数据的含义提出质疑。首先，我们从皮尤研究中心获悉，美国上网的成年人中只有16%使用推特网，因而他们绝对不是一个具有代表性的样本———与整体人口相比，他们中年轻人和城市人的比例偏多。此外，我们知道许多推特账号是被称作“机器人”程序的自动程序、虚假账号或是“半机器人”系统(即得到机器人程序辅助的人为控制账号)。最近的估计显示，可能存在多达2000万个虚假账号。因此就算我们要想踏入有关如何评估推特网用户情绪的方法论雷场之前，让我们先问一下这些情绪究竟是来自真人，还是来自自动化算法系统。

　2.“大数据将使我们的城市变得更加智能和高效”
　　在一定程度上是的。大数据可以提供帮助改善我们城市的宝贵见识，但是它对我们的帮助仅此而已。因为数据在生成或采集的过程并不都是平等的，大数据集存在“信号问题”———即某些民众和社区被忽略或未得到充分代表，这被称为数据黑暗地带或阴影区域。因此大数据在城市规划中的应用在很大程度上取决于市政官员对数据及其局限性的了解。
　　例如，波士顿的StreetBump应用程序是一个比较聪明的以低成本收集信息的途径。该程序从开车经过路面坑洼处的驾驶员的智能手机上收集数据。更多类似的应用正在出现。但是如果城市开始依靠仅来自智能手机用户的信息，那么这些市民只是一个自我选择样本———它必然导致拥有较少智能手机用户的社区的数据缺失，这样的社区人群通常包括了年老和不那么富有的市民。尽管波士顿的新城市机械办公室作出了多项努力来弥补这些潜在的数据缺陷，但不那么负责的公共官员可能会遗漏这些补救措施，最终会得到不均衡的数据，从而进一步加剧已有的社会不公。人们只要回顾一下曾经过高估计了年度流感发病率的2012年“谷歌流感趋势”，就可以认识到依赖有缺陷的大数据可能给公共服务及公共政策造成的影响。
　　在网上公开政府部门数据的“开放政府”计划———如Data.gov网站及“白宫开放政府计划”———也存在同样的情况。更多的数据未必会改善政府的任何功能，包括透明度和问责，除非存在可以使公众和公共机构保持接触的机制，更不用说促进政府解释数据并以足够的资源作出反应的能力。所有这些都非易事。事实上，我们身边还没有很多技能高超的数据科学家。各大学目前正在争相定义这一领域、制订教程和满足市场需求。
　　3.“大数据对不同的社会群体不会厚此薄彼”

　　几乎不是这样。对大数据所号称的客观性的另一个期待是对于少数群体的歧视将会减少，因为原始数据总是不含社会偏见的，这使得分析可以在整体水平上进行，从而避免基于群体的歧视。然而，由于大数据能够作出有关群体不同行为方式的论断，它们的使用通常恰恰就是为了实现一个目的———即把不同的个体归入不同的群体中。例如，最近有一篇论文指科学家听任自己的种族偏见影响有关基因组的大数据研究。

　　大数据有可能被用来搞价格歧视，从而引发严重的民权担忧。这种做法在历史上曾被称为“划红线”。最近，剑桥大学对脸谱网5.8万个“喜欢”标注进行的大数据研究被用来预测用户极其敏感的个人信息，如性取向、种族、宗教和政治观点、性格特征、智力水平、快乐与否、成瘾药物使用、父母婚姻状况、年龄及性别等。记者汤姆·福尔姆斯基这样评价该项研究：“此类容易获得的高度敏感信息可能会被雇主、房东、政府部门、教育机构及私营组织用来对个人实施歧视和惩罚。而人们没有任何抗争的手段。”

　　最后考虑一下在执法方面的影响。从华盛顿到特拉华州的纽卡斯尔县，警方正在求助于大数据的“预测性警事”模型，希望能够为悬案的侦破提供线索，甚至可以帮助预防未来的犯罪。不过，让警方把工作专注于大数据所发现的特定“热点”，存在着强化警方对声誉不佳的社会群体的怀疑以及使差别化执法成为制度的危险。正如某位警察局局长撰文指出的，尽管预测性警事登记系统不考虑种族和性别等因素，但是如果没有对差别化影响的考虑，使用这种系统的实际结果可能“会导致警方与社区关系恶化，让公众产生司法程序缺失的感觉，引发种族歧视指控，并使警方的合法性受到威胁”。

4.“大数据是匿名的，因此它不会侵犯我们的隐私”

　　大错特错。尽管许多大数据的提供者尽力消除以人类为对象的数据集中的个体身份，但身份重新被确认的风险仍然很大。蜂窝电话数据看起来也许相当匿名，但是最近对欧洲150万手机用户的数据集进行的研究表明，只需要4项参照因素就足以挨个确认其中95%的人员的身份。研究人员指出，人们在城市中走过的路径存在唯一性，而鉴于利用大量公共数据集可以推断很多信息，这使个人隐私成为“日益严重的担忧”。

　　但是大数据的隐私问题远远超出了常规的身份确认风险的范畴。目前被出售给分析公司的医疗数据有可能被用来追查到你的身份。关于个性化医疗有很多谈论，人们的希望是将来可以针对个人研制药物和其他疗法，就好像这些药物和疗法是利用患者自己的DNA制作出来的。就提高医学的功效而言，这是个美妙的前景，但这本质上依赖于分子和基因水平上的个人身份确认，这种信息一旦被不当使用或泄露就会带来很大的风险。尽管像RunKeeper和Nike+等个人健康数据收集应用得到了迅速发展，但在实践中用大数据改善医疗服务仍然还只是一种愿望，而不是现实。

　　高度个人化的大数据集将成为黑客或泄露者觊觎的主要目标。维基揭秘网一直处在近年几起最严重的大数据泄密事件的中心。正如我们从英国离岸金融业大规模数据泄露事件中看到的，与其他所有人一样，世界上最富有的1%人口的个人信息也极易遭到公开。

　　5.“大数据是科学的未来”

　　部分正确，但它还需要一些成长。大数据为科学提供了新的途径。我们只需看一下希格斯玻色子的发现，它是历史上最大规模网格计算项目的产物。在该项目中，欧洲核子研究中心利用Hadoop分布式文件系统对所有数据进行管理。但是除非我们认识到并着手解决大数据在反映人类生活方面的某些内在不足，否则我们可能会依据错误的成见作出重大的公共政策和商业决定。

　　为了解决这个问题，数据科学家正在开始与社会科学家协作。随着时间的推移，这将意味着找到把大数据策略和小数据研究相结合的新途径。这将远远超越广告业或市场营销业采用的做法，如中心小组或A/B测试(即向用户展示两个版本的设计或结果，以确定哪一个版本的效果更好)。确切地说，新的混合式方法将会询问人们做某些事情的原因，而不只是统计某件事情发生的频率。这意味着在信息检索和机器学习之外，还将利用社会学分析和关于人种学的深刻认识。

　　技术企业很早就意识到社会科学家可以帮助它们更加深刻地认识人们与其产品发生关系的方式和原因，如施乐公司研究中心就曾聘请了具有开拓精神的人类学家露西·萨奇曼。下一阶段将是进一步丰富计算机科学家、统计学家及众多门类的社会科学家之间的协作———不仅是为了检验各自的研究成果，而且还要以更加严格的态度提出截然不同的各类问题。

　　考虑到每天有大量关于我们的信息———包括脸谱网点击情况、全球定位系统(GPS)数据、医疗处方和Netflix预订列表———被收集起来，我们迟早要决定把这样的信息托付给什么人，以及用它们来实现什么样的目的。我们无法回避这样的事实，即数据绝不是中立的，它很难保持匿名。但是我们可以利用跨越不同领域的专业知识，从而更好地辨别偏见、缺陷和成见，正视隐私和公正将面临的新挑战。