只是操控总统选举？耶鲁大学教授出了一本书来痛斥谷歌的恶
还在讨论搜索网站“竞价排名”之恶吗？一家名叫SourceFed的独立媒体近期挖出了另一个惊人的秘密。他们用谷歌搜索希拉里相关的关键词，结果发现，对希拉里不利的热门词语，居然神奇地消失了……
此消息一出，网友大呼“现实版《纸牌屋》”。
对此，谷歌方面否认了此事：“自动联想词是基于多种因素生成的，其中包括关键词热门程度。我们的系统会定期优化，我们的用户活动也会发生变化，所以相应地，联想词会随着时间而变化。另外，我们的系统会自动屏蔽一些冒犯性的、不合时宜的内容。”
事件的真相，也许只有谷歌工程师们自己知道。
实际上，在这个互联网时代，每一天，各类公司都会通过仔细检索、审视我们的工作习惯和互联网的使用把我们各种行为的细节连接整合在一起。这种整合起来的数据极其详细，甚至堪称对我们个人的入侵。但这些公司是如何将这些数据点联系在一起的，他们又是如何使用这些信息的？《黑箱社会》将告诉我们这一切是如何发生的。
文 |弗兰克·帕斯奎尔
摘编 |卢欣
本文由瞭望智库摘编自作者所著《黑箱社会》，作者观点不代表瞭望智库观点
搜索平台怎样确定一个第三党市长候选人的曝光度？
奥巴马沉重的辩论话题或者罗姆尼的“47％言论”会在多长时间内占据美国总统大选的头条？
新媒体巨头可以通过个性化的推送平台为我们筛选信息，可它们是如何对这个繁杂的世界进行精简的？
一篇报道是否被选中是基于新闻机构的统计数据，还是个性化的运算程序做出的选择？如果是由统计数据决定，那又是什么样的统计数据呢—这篇报道的转载量，还是新闻推送机构的权威性，抑或是完全由其他因素决定？
在现代化、全球化某种程度上已经成为了“搜索引擎化”的现在，搜索引擎在一定程度上决定了以上所有的问号。
在这个被哲学家兰登·温纳（Langdon Winner）称为“技术梦游症”的经典例子中，我们赋予搜索行业的权力已经到了难以想象的程度，它决定着我们的所见、所闻和所感。
1
黑箱操作：万恶源头
Google 的出现，改变了以往网页导航只是杂乱地汇集门户网站、广告和大量的垃圾邮件的现状，让用户在几分之一秒内就可以获得清晰、简洁、具有相关性的结果信息。而这种清晰、简洁的关键就是以某种逻辑顺序将信息排列呈现给用户。
但是关于搜索排名方法，Google 从未透露细节，而只是大致勾勒了一个轮廓——它根据相关性和重要性通过加权投票对网站进行排名。
而这也正是典型的“黑箱”（Black Box）——虽然我们可以获得黑箱的输入和输出信息，却无法弄清输入数据如何变为输出数据。
苹果公司针对涉及色情的应用程序曾提出的反色情原则则是“黑箱”的另一个实例。苹果曾经因为用户通过桉树程序能够访问“维多利亚时代纯文字版本的《印度爱经》禁止了该程序，却又批准了其他具有同样功能的应用程序。更荒谬的是在苹果的 Safari 浏览器上《印度爱经》也可以被找到。
谷歌官方声称，不公布排名方法是为了防止排名被人操控，但这种黑箱是否是另一种操纵？我们并不知道那些最先吸引我们注意力、最取得我们信任的内容究竟出于什么原因出现在页面置顶，更不用说它们是否值得我们信任。
2
加剧垄断
马太效应描述的是强者愈强、弱者愈弱的现象。对于企业经营来说，意味着大的企业中行业内收入、利润、技术、人才的大部分资源，形成行业寡头垄断。而这种效应在互联网行业尤其突出，在垂直互联网行业，排名第一的企业往往占据了80%以上的行业收入。
一家名为Foundem 的“垂直搜索”曾经在英国主流的消费者和科技机构中赢得一片好评。但在 Foundem 创立不到 6 个月后，Google 公司便将其从“价格对比”关键词下的“自然”（即无须付费）搜索首页中移除了。Google 给出的理由是，Foundem 是一个基本上只包含网站链接的“质量低下”网站。为了使用户免受垃圾信息和链接工厂的侵扰，Google 的运算程序直接对其进行了降级排名的处理。
Foundem 则认为 Google一旦进入（或计划进入）某一搜索服务的次级市场，就会对其他的竞争者进行降级排名，以确保自身产品的优势凸显。如果 Google 公司想要收购某个小型搜索引擎公司，它就会会剥夺竞争者的一切发展机会。
面对Google近乎垄断的强势，或许你认为可以选择微软推出的 Bing或是DuckDuck-Go来代替。然而，真的另一家巨头公司取代 Google 吗？目前为止，微软每年在 Bing 上的损失高达 26 亿美元。欧洲政府投资4.5亿美元的 Quaero 多媒体搜索引擎项目根本无法与 Google 斥资 1 000亿美元的年预算相竞争。
除了高昂的基础设施成本外，更重要的是，搜索技术的创新需要有庞大的用户群做基础，这样才能将各个运算程序“训练”得更加灵敏，但这个用户群目前为 Google 所有。分析创新取决于能否获得大量的数据，但这些数据也属于 Google，他人无法共享。
就算有人确实推出了一个 Google 的完美替代品，他们必须通过这些现有的平台来推广自己的产品。如果 Google、苹果、亚马逊和 Facebook 对其采取抵制态度，那么这个竞争者推出的替代产品就可以不被人发现。
最后，即使 Google 会遇到劲敌，那这个能够压制 Google 的巨头也肯定有一个黑箱外壳，隐秘且无人能接近。
3
侵犯版权
YouTube在早期是发布视频的狂欢地，用户将自己的内容上传：消失了几十年的老电影、晦涩的音乐表演、早期的动画片、政治演说等，视频长度达数百万个小时。而很多视频发布都未经授权。2006 年，YouTube 以十多亿美元的身价被 Google 收购，从而被奉为科技新贵。但YouTube 并不是所有人的宠儿。对于许多版权所有者而言，它就是侵权行为的顽固帮凶。
1998 年的《数字千年版权法案》加大了对网络侵权行为的处罚力度，但同时也规定网络服务提供商无须为用户发布的内容承担直接责任。因此，YouTube 认为，它在侵权行为中只是一个无辜者，就像用户通过电话公司的线路播放了一首没有被授权的歌曲，电话公司在没有任何责任一样。但《数字千年版权法案》还规定视频搜索引擎在一定程度上有责任过滤掉盗版内容。例如，如果“信息定位服务”对明显的侵权行为视而不见，那就至少要承担次级责任。
但是在内容和渠道之间，互联网公司总是以令人目不暇接的速度变化自己的身份。在面对版权和诽谤的诉讼时，他们声称自己不生产内容，只是传播内容的渠道。但在其他情况下，又声称它们的服务属于内容范畴，并且要求享有作为媒体公司自由发表言论、不被迫表达非己方观点的权利。这样的变化使得他们几乎可以逍遥于管制之外。
对于版权的漠视也一直是百度饱受诟病的原因之一。同样是在2011年针对百度版权的纠纷中，国家音乐创意产业基地总裁许晓峰曾在公开信中写道：“百度在明知不法网站盗版行径的前提下，仍然不惜助纣为虐，为他们提供深度链接这一通路和生存土壤，目的是获得巨额流量，从而获得广告收入。百度作为知名上市公司，不应该充当盗版的帮凶，伤害音乐产业。”
4
榨取内容生产者
我们大多数人搜索一个网站，寻找的是网站上的内容。但是从Google 的角度来看，“信息”仅仅是另一种商品。内容、数据和信息基本上都可以简化为 1 和0 这两个二进制数字。
无论是职业、收入，还是成果的得失都取决于其是否能够在网络平台中被凸显出来。于是，“内容为王”成了老土的观念，“酒香不怕巷子深”不再是真理，更多的人投入精力、金钱去运营渠道，而不是深耕内容。
这种模式与曾经在零售界靠挤压供货商，提供更低价的商品吸引消费者成为美国最大的零售商的沃尔玛异曲同工。它们极力压低职员的薪水，榨取内容制作人的利益，并且让用户习惯性地认为搜索服务本身比网络资源更具价值。而互联网上贡献内容的作家、音乐家、摄影师等，却可能无法从庞大的用户群中分享到丝毫利益。
在国内，2011年贾平凹、韩寒、李承鹏等50名作家联名声讨百度文库免费提供文档作品下载服务的纷争使得搜索引擎对于内容提供者的剥削受到关注。
韩寒在《给李彦宏先生的一封信》中算了一笔账，一本25元的书，一般作者的版税是百分之8，可以赚2块钱，其中还要交三毛钱左右的税，也就是可以赚一块七。一本书如果卖两万本，已经算是畅销，一个作家两年能写一本，一本可以赚三万四，一年赚一万七，如果他光写书，他得不吃不喝写一百年才够在大城市的城郊买套像样的两居室。
计算之后，韩寒提问李彦宏“你们都那么富有了，为何还要一分钱都不肯花从我们这个行业里强行获得免费的知识版权？音乐人还可以靠商演赚钱，而你让作家和出版行业如何生存？”
5
决定世界
个性化的设置让数据世界拥有了魔力。比如你把最心爱的耳环弄丢了，想再买一副，而几年前你刚买到那副耳环时曾把耳环拍照后用电子邮箱发给了你的妹妹。当你再次通过 Google 图片搜索耳环时，可能就会发现页面上出现了一副一模一样的耳环图片，甚至耳环卖家。
在数字经济中，个性化成为购销双方的关键。网站对我们的定位会影响到它们将选择什么样的内容呈现给我们。准确契合的搜索结果可以吸引用户，而准确锁定的用户则可以吸引广告商。在为我们提供折扣或者捷径的同时，搜索引擎通过大数据可能正在以另一种形式暗中牟利或者正在广泛地搜寻获利目标。我们的信息就是他人获得巨额利益的源头，但付出代价的人却是每个普通的你。
更加令人不安的是Google 的搜索结果太过具体化，以至于我们看到的内容都是 Google 在我们的“训练”下给出的结果以及 Google 希望我们看到的结果。企业家伊莱·帕里泽（Eli Pariser）曾将这种现象称为“过滤泡沫”，他担心个性化设置会加重偏狭和偏见的问题。
例如 2010 年的夏天，英国石油公司发生大规模石油漏油事件后，如果在 Google 中搜索“英国石油公司”，有些用户会看到对于该公司破坏环境行为的强烈谴责，而另外一些用户看到的则是有关该公司的投资机会。只有 Google 总部的搜索工程师们才有可能知道谁在看什么和他为什么会看到这些内容，而且他们在保密协议的约束下只能缄默其口。
作为一个根据用户个人喜好定制的应用Twitter 在这方面也没能例外。2011 年 9 月下旬，占领华尔街事件已开始引起媒体关注。然而，尽管“＃占领华尔街”和“＃占领”比官方热门话题列表上的词语收集到的内容还要多，但Twitter却不对它们进行显示。
活动组织者和支持者开始指责 Twitter 在操控运算程序，对政治敏感活动进行过滤，使得这些词语不能出现在其热门话题当中。该公司的反应非常迅速，Twitter的通信主管肖恩称：“Twitter 并没有阻止‘# 占领华尔街’成为热门话题。热门与否取决于流转速度，而不是普及度。”
不同于Google一直强调这些过滤来自技术而不是人工干预，在百度竞价排名被央视曝光之后，有媒体总编在接受《21世纪经济报道》记者采访时表示，百度通过人工干预搜索结果，当传统媒体有负面新闻时，百度可以通过屏蔽相关内容，获得广告，也可通过置顶等作用放大负面效果，让广告主上门讨饶。
更有企业反映一些不愿为此花钱的企业只能出现在搜索结果的末尾。据童年网负责人称，网站创办之初被百度收录的网页多达11万多个，用户可以轻易搜索到童年网，然而在拒绝参与竞价排名后，被收录的网页仅为两个。
6
左右判断
软件可以在几分之一秒内对数千条规则和指令进行编码，随着越来越多的软件算法在权威领域中得到应用，以前通过人工判断做出决策的我们，现在却是以自动化的方式得出结论。乔治·戴森在《图灵大教堂》一书中这样讽刺道：“Facebook 决定了我们是谁，亚马逊决定了我们想要什么，Google 决定了我们怎么想。
当我们想去一家新餐厅时，搜素程序不但会在无形之中影响着我们的路线选择，而且决定着 Google、Yelp、OpenTable 或 Siri会向我们推荐哪家餐厅。在很多时候，搜索用技术的方法，以客观为名，代替我们作出判断。
许多共和党人抱怨说， Google 倾向于在其搜索结果中对右翼党派进行嘲笑或排斥；后来，乔治·布什和奥巴马双双遭到“Google 炸弹”的袭击，对手将他们的名字与“悲惨失败”联系起来出现在搜索框中的自动完成的选项上。据福克斯新闻网报道，保守党曾经不满地表示，Google 在处理奥巴马遭遇的“炸弹”事件时行动非常迅速，而在处理布什事件时则用了将近4年的时间。
2012 年一个名为贝蒂娜·伍尔夫的德国名女性曾迫不得已在德国申请过 30 多项禁止令来阻止博客用户和记者们将她的过去曲解为色情史，而这一切起因于每当用户在搜索框中输入她的名字时就会看到“贝蒂娜·伍尔夫妓女”和“贝蒂娜·伍尔夫陪伴”的字眼出现在“自动完成”的下拉列表上。这些词语反映了伍尔夫的绯闻，而这些绯闻并无根据。伍尔夫担心人们会只根据这些“自动完成”项对她盖棺定论。
对于贝蒂娜·伍尔夫所投诉的错误关联现象，Google 公司认为，用户才是对所读内容进行判断的主体。自动完成项是由反映用户的搜索行为和 Google 索引的网页内容的算法确定的。
但是算法不会出错吗？媒体研究学者塔尔顿·吉莱斯皮曾在博文中指出：网络平台提供者依靠复杂的算法对收集到的大量内容进行管理、整理和组织所呈现的结果和人们对这些算法的期待发生了严重的偏离。而作为平台的搜索引擎却只是简单地把这种偏离归结于算法，从而逃避自己的责任，并且心安理得地对偏离放任自流。
7
用广告骗你
我们免费获得搜索引擎上海量的信息、便捷的技术、较为优质的服务，但是这种免费往往意味着要付出其他巨大的代价。相较于收费的产品以价格作为代价的成熟商业模式，免费模式的代价是隐性的。更重要的是当你接受商家免费提供的商品和服务，那么你就不再是他们的客户，而变成产品。
Google 公司的所有收入几乎都来自那些渴望借助 Google 的覆盖面来寻找目标客户的市场营销人员。随着搜索引擎的发展，它们将广告置于结果页面的顶部或两侧，将未受商业影响的排名结果显示在页面中间。Google这种在广告投放方面的透明性为其带来了高质量的搜索结果并赢得了广大用户的信任，使得大量的用户流向 Googl e，并在其崛起中发挥了重要的作用。
但在 2012 年，Google在从通用搜索领域进军到网络购物等专门领域后就不再对付费内容和编辑内容进行区分了。于是，当某家酒店和花店出现在搜索页面上时，用户已经难以区分这是品质排名还是竞价结果。Google 的创始人谢尔盖·布林和拉里·佩奇早在 1998 年就承认，“依靠广告资助的搜索引擎将不可避免地偏向广告商并远离消费者的需求”。
Google 并不是唯一引起监管机构注意的公司。Blogs 网站不断地提供让某一软件在苹果商店约 50 万个软件中脱颖而出的方法；在 2012 年，Facebook 也推出了使用户可以通过付费来推广他们的帖子的服务。一些未付费的用户发现他们的帖子突然间被人视而不见，他们认为 Facebook 的这一行为是在强迫用户交费。
在国内，自从2008年央视曝光百度搜索医药结果中存在大量竞价排名现象之后，百度搜索引擎中搀杂广告并不以显著方式声明的问题，日益受到社会关注。相比Google搜索将竞价排名结果用不同颜色底纹显著标出，百度“竞价排名”与自然搜索结果的区别只是前者在网页摘要下显示的是“推广”小字，后者显示的是“百度快照”。
除此之外，二者的界面没有任何区别。甚至在业内流传着许多用户在百度上搜索资料时，会直接点第二页去找真正需要的资料，因为第一页全是竞价排名的结果的笑话。而作为广告，百度不仅相当于强迫甚至欺骗用户接受捆绑服务，并且并未如实将竞价排名作为广告申报，更不要说设置广告审查员进行审查。
Google认为在排名算法上透露的信息越多，排名就越容易被人操控，从而引发了类似于猫捉老鼠游戏的“搜索引擎优化”大战。因此，Google 急于对排名方法进行保密，于是搜索服务就变成了黑箱业务。对于已经公开的网页排名专利，Google 已经在原有基础上对其进行了秘密、复杂的变动和调整，目的就是要打击网络蛆虫。在清晰有序的搜索结果背后，一场游击战正在搜索工程师和垃圾信息制作者之间打得如火如荼。
学术合作联系人：周邦民（微信号：i87062760），添加时请注明：姓名+职称+单位
库叔福利
库叔的赠书活动一直都在！中信出版社为库叔提供下图所示书籍10本，以及15本知名经济类书籍赠予热心读者。每天都送，请大家在文章下评论（每条文章都可以评），点赞最高者（数量超过三十），库叔会在评论区回复并通知得奖。当然，评论的质量库叔会进行把控的。想和库叔聊天请添加库叔微信号（lwzkkushu），合作请联系微信（18514203851）
