如果 AI 和算法无罪，那么谁在杀死穷人？

我们浸淫在互联网编织的虚拟时间中，每天都耗费着大量时间接收算法推荐的内容。消磨时间的快感掩盖了其后的暴力——“生命的计量化”，每个人不再被当成活生生的人，而是大数据中的一个数据，可被监控，可被操纵。此类隐性的暴力曾见于服务经济规划的人口统计 、医学实验中的风险概率等等。结果是，“互联网的民主化承诺”还未兑现，算法已成了便于政府调控的重要工具。当数字智能被运用在福利系统时，穷人的日子反而越过越糟。《卫报》针对这一问题做了一组系列报道，今天单读翻译了其中作为总论的文章。就算我们当下无法采取切实的行动，至少可以警惕这个日渐扩散的恶托邦。 如果 AI 和算法无罪，那么谁在杀死穷人？ 撰文： 沈律君 社会学家齐格蒙·鲍曼在《现代性与大屠杀》中，呈现了科学的理性计算精神、技术的道德中立地位与社会管理的工程化如何共同合谋，让纳粹针对犹太人的大屠杀得以非常顺利地进行。 今天，鲍曼笔下的“现代性”正在完成从工业化向电子化的转向：电子计算机编程、算法、AI 技术，在数码的世界里，程序员和工程师当然继续弘扬着理性和专业性，更有“绝对客观”的人工智能接替了工业化时代整个庞大组织结构里，那些中下层人员的工作。

▲齐格蒙特·鲍曼（Zygmunt Bauman，1925 年—2017 年 1 月 9 日），波兰社会学家，生前任英国利兹大学和波兰华沙大学社会学教授

在单读编译的这篇文章中，我们可以看到，尽管我们对法西斯和犹太大屠杀的反思已经足够丰富， 但是对于催生这一惨剧的现代性而言，我们并没有吃一堑长一智。数码革命的新技术造成的问题，依然是现代性的问题。只是从前，在每一个环节执行具体工作的是一个个人类个体，他们每个人可以检视自己的道德。但现在一切正变得更隐形，毕竟我们看不见存在于虚空的 AI ，而道德也止步于算法。 2016 年的金棕榈电影《我是布莱克》同样揭露了这个问题。 人近暮年的鳏夫布莱克，居住在英国的小城里。他无依无靠，靠体力工作维生，却在某一天，突然查出了心脏病。他已经丧失了工作能力，甚至有生命危险，却被政府认证还有工作能力，这导致他的残疾救济金被取消。愤怒之下，他申请上诉，却发现自己陷入了英国福利制度的怪圈中——没有工作也没有存款的他只能先申请失业救济，但是这个申请必须证明他有工作能力。等他千辛万苦证明了有人愿意雇用他的时候，他又面临上诉的失败——申请残疾救济必须证明自己不能工作而且必须会操作电脑……最后，没有得到任何救济的他愤而死去。

▲电影《我是布莱克》剧照

时至今日，这个故事不再是寓言或夸大，《数字恶托邦》这篇文章揭示了，智能算法如何让一个更晦暗的未来加速到来。 今天如果我们还在依照 90 年代好莱坞电影来想象一个电子数码的恶托邦未免太过过时。AI 不会统治人类，至少在最有可能的那个未来不会。恐怖的其实是人类使用 AI，就像曾经使用雇员、动员冗杂的官僚机构一样。人们以冠冕堂皇的名义——提高管理水平、更高效、更公平（因为机器剔除了感情），让人工智能替代人类工作，他们以为这样可以做到绝对理性，就像纳粹帝国运转顺畅高效的国家机器那样。 大屠杀中的每一环节的每一个人都不用为暴行负责，毕竟我只是按动一个按钮，签署一个文件，完成一个评估，制造一个商品。而现在，我们甚至连“人”的环节都没有了。做决策的官员们和写代码的工程师，他们是凶手吗？他们不是吗？那么谁是？ 这才是一个数字智能的未来真正恐怖之处。 数字恶托邦：计算机算法怎么让穷人遭殃？ 撰文： Ed Pilkington 翻译： 沈律君 在这一全球独家报道中，《卫报》揭露了一场技术革命，它正在改变全球福利体系，同时也将最弱势的群体置于了不利之地。 ——埃德·皮尔金顿（Ed Pilkington）于 纽约 从美国的伊利诺伊州到英格兰的罗奇代尔，从澳大利亚的帕斯到印度北部的敦卡，在政府如何对待穷人这件事情上，整个世界都在发生着一场技术革命。 你看不到它的发生，你可能压根也没听说过。因为它正由关起门来的工程师和程序员制定施行着，躲在安全的政府场所里，远离公共视野。 人工智能（AI）、预测算法、风险建模和生物识别技术，是它们驱动了这场巨变。虽然说，这其中的全部内容，只有数学家和计算机科学家才能彻底理解，但如果你是数以百万计弱势群体中的一员，是这场社会福利制度彻底变革中的接受者、最后一环，你就会知道这场巨变是多么真实不虚。它的后果可以很严重，甚至可能严重得“要命”。

《卫报》在过去三个月一直在调查，数十亿美元是如何投入到了 AI 的研发革新中。这一创新爆炸性地重塑了低收入人群和国家之间的互动。我们在美国、英国、印度和澳大利亚的记者共同探讨了“数字福利国家”的诞生。 这一系列报道披露出了诸如失业救济金、子女抚养费、住房和食品补贴以及更多其他信息是如何在网上被搅乱的。在“智能扶贫”项目上，发达国家和发展中国家无不花费巨额资金。在这一进程中，它们把弱势公民的真实需求转换成了数字，把曾经属于社会工作者的判断工作交给了冷酷无情的机器。 这一系列报道披露出了诸如失业救济金、子女抚养费、住房和食品补贴以及更多其他信息是如何在网上被搅乱的。在“智能扶贫”项目上，发达国家和发展中国家无不花费巨额资金。在这一进程中，它们把弱势公民的真实需求转换成了数字，把曾经属于社会工作者的判断工作交给了冷酷无情的机器。 最可怕的是，《卫报》的记者们勾画的了一副 21 世纪狄更斯式的反乌托邦图景，而今这一图景正在以惊人的速度成形。美国政治学家弗吉尼亚·尤班克斯（Virginia Eubanks）对此有言：“数据听政府的话，而你会听到政府夸下海口，告诉你他们是如何用新技术把扶贫变成了一项高尚善良的事业。他们将加快福利金支付，提高效率和透明度，减少浪费，为纳税人省钱，消除人为的失误和偏见，并确保有限的资源能够满足最需要的人。但是，这些承诺常常落空。”

▲美国政治学家弗吉尼亚·尤班克斯（Virginia Eubanks）

现如今，财政紧缩政策主导着政治格局，数百万人的补助救济金已经被计算机程序大幅度削减甚至终结。这一过程在以一种几乎没有人能理解，更没法去控制的方式进行着。各种失误、错误成为通病，没有明确的路径能让其中的受害者们寻求补偿。 本周，“智能扶贫”将被带上世界的舞台。作为联合国针对极端贫困的监察员，人权律师菲利普·阿尔斯顿（Philip Alston）将向纽约联合国大会提交一份开创性的报告。这份报告敲响了警钟，呼吁人们在数字化社会狂潮中保护人权。 奥尔斯顿的分析一部分基于他就英美两国的贫困状况在联合国所做的官方调研，一部分来自各国政府、各人权组织以及 34 国专家们的观点和报告。而他的分析很有可能将提供一个简洁明确的指向，告诉我们这个世界身处何处，又将走向何方。对住在快速扩张的“数码救济院”里的人而言，奥尔斯顿的报告或可有助于解决那些发生在他们身上的骚扰、针对和惩罚。

▲联合国人权理事会极端贫困与人权问题特别报告员菲利普·阿尔斯顿（Philip Alston）

在伊利诺伊州，《卫报》发现州政府和联邦政府已联起手来，要求社会福利受济者偿还以前政府发放的 “超额支付”。在某些情况下，这个“超额”时间长达 30 年。这种“僵尸债务”系统通过数码技术加持，变成了真正的“杀人武器”。在社会最弱势群体那儿，它唤起了恐惧，加深了困境。 就像一个受济者说的：“你欠的是已经吃了的亏。” 在英国，我们对纽卡斯尔郊外的政府安全机构进行了调查，发现那里正在花费数百万美元研发新一代的福利机器人来替代人类。私人企业，包括一个由全球首位机器人亿万富翁领导的纽约公司，它们正在加速这一过程。这催生了新的行业术语：“虚拟劳动力”，“强决策力”，“机器人流程自动化”。 尽管“默认数字化”议程已经把痛苦强加在了数百万低收入英国人的身上，但政府仍在继续执行其数字化的使命。社保申领人谈到了他们正在忍受的饥饿，污秽，恐惧和惊慌。 在澳大利亚，《卫报》广泛报道了所谓的“机器人催债”，这一计划被指责使用了一种有瑕疵的算法来向福利受济者错误追索历史债务。我们现在可以披露，澳大利亚政府已经开启了一条新的“数字战线”，他们将使用数字自动化的方式来暂停数百万的福利金支付。在没有任何通知的情况下，受济者正在发觉——他们的福利金被停了。

▲澳大利亚联邦政府负责提供和协调社会保障的centrelink部门，推出“机器人催债”计划向福利受济者发送账单

最令人不安的消息来自印度的敦卡。在全球最大的生物特征识别实验中，印度政府向所有居民发放了共有 12 位数的唯一识别码。这就是 Aadhaar。在这里我们了解到，Aadhaar 给当地家庭造成了多么可怕的人为影响。 由于作为 Aadhaar 登入验证的指纹信息因电脑故障而未能被识别，莫卡·曼吉（Motka Manjhi）最终付出了惨痛的代价。他赖以为生的每日口粮被断了，因为不进食，他变得十分瘦弱。5 月 22 日，他晕倒在屋外而死，他的家人确信他死于饥饿。 无论是发展中国家还是发达国家，无论是东方还是西方，《卫报》的调查揭示了这些基于算法构筑的新体系——它们的共同特征。最显见的相似之处在于，所有这一切都以闪电般的速度发生，在几乎没有公共讨论与问责的情况下，高新技术已然近乎席卷了包括社会服务、劳动、残障和卫生在内的各个领域。 在这场巨变中，福利国家的人文要素正在被稀释。曾经，社会工作者与你交谈，亲自评估你的自身需求。如今，你得转入线上模式，预测分析法会给你做未来风险评分，而算法将决定你的命运。 在这个新世界中，不平等和歧视可能会根深蒂固。英国有五百万成年人，他们没有定期访问互联网，只有很少或几乎没有计算机知识，如果你是他们中的一员，你该怎么办？如果所谓算法，实则是在对种族和阶级的现有扭曲中孕育而生，如果它只会让贫穷与富有、白人与黑人、高知与劳工之间的鸿沟更大更深，我们又该怎么办？ 一种令人不寒而栗的卡夫卡《城堡》式氛围弥漫全球。就像莫卡·曼吉死去的悲剧所显示的那样，大错已经铸成，机器已经失灵，如果在“城堡”中的他们，没一个真正把你当成“人”来对待，而全都只是把你看做一串有待处理的 12 位的数字，那最终的结果可能是致命的。 本文来自《卫报》 原文标题： Digital dystopia: how algorithms punish the poor 原文链接： https://www.theguardian.com/technology/2019/oct/14/automating-poverty-algorithms-punish-poor

————

编辑 ∑Gemini

 来源：搜狐·单读

☞一盘红烧肉告诉你：本科、硕士、博士，区别在哪儿？ ☞现代数学确实在改变世界 ☞数学家们的故事 ☞经典 | 奇异值分解(SVD) 的 几何意义 ☞算法你都懂_如何一年赚它几百万 ☞他的科学生涯堪称加速器，30岁当博导，38岁当选中科院院士，40岁当选德国科学院院士。。。

算法数学之美微信公众号欢迎赐稿

稿件涉及数学、物理、算法、计算机、编程等相关领域，经采用我们将奉上稿酬。

投稿邮箱：[email protected]