Nature：删帖、屏蔽关键词能阻止网络极端言论吗？也许效果适得其反

随着社交媒体的普及，极端言论的传播变得更加容易。今年8月发表在 Nature 的一篇研究表明，在极端言论传播的小世界网络中，关键词屏蔽等传统监管方式不仅效果不佳，更可能起到反作用。

本期全媒派（ID：quanmeipai）受权转载集智俱乐部（ID：swarma_org）的文章，带大家看看对网络极端信息的监管，怎样才最行之有效。

极端言论自古有之，例如名著《飘》出现3K党，如今依然在美国南方不时露出獠牙。互联网和社交媒体的普及，使得极端言论的传播变得更加容易，任何人都可以在 Facebook 上开设公共账号，在短时间让极端言论触及数万人，这使得监管机构面临的问题变得更加棘手。

传统智慧告诉你要抓大放小，先管好主流的社交媒体，但 Nature 主刊今年8月底的一篇文章指出这样做会适得其反。

极端信息的传播网络是复杂的

这篇 Nature 文章的标题中的关键词是 Hidden resilience ，即隐藏的弹性。 这是一个来自生态学的术语，讲述的是生态系统在遭到外界打击后，由于网络结构，得以快速回到之前的状态的能力。 该文将社交网络中的极端言论当成是生态系统中的物种，首先指出了极端言论在不同平台之间的传播是一站式的——某种极端言论可以一次性从一个地区传播到另一个地区。
下图中的 VKontakte（以下简称VK）是俄语世界的主流社交媒体，图中红色的是 VK 平台之间传播的仇恨言论，蓝色的是在脸书平台之间传递的仇恨言论，绿色代表是是跨平台的传播。
上图为极端信息在不同平台间的复杂传递网络
上图展示了对欧洲部分的进行了缩放的效果

从上面的例子中可以形象地看到，极端言论的传播网络是去中心化的，也就是一个小世界网络，没办法找到一个核心节点，从而一劳永逸地解决问题。 该研究中，作者关注的是泛指的极端言论，而不是某一个特定的主题，例如 ISIS 、新纳粹等。 文中指出，这些言论的共同点是充满了偏激和仇恨，尽管仇恨的对象不同（可以是外来移民、同性恋者等）。

根据自动化的图像识别（例如识别血腥暴力的照片）以及文字主题分类，再加上手动的筛选，作者给出了一个包含768个节点（传播极端言论的账号），578条边的网络。

极端信息传播网络，存在无标度特性

在更细的尺度上来看，下图展示的是六十多个和3K党有关的极端言论，右图中的每个黑点代表一个社交媒体的用户，每个白点代表细分后的一个包含和3K党有关的主题。每个主题会形成一个聚簇，其关注人数在数十人到数万人之间。用户之间也会形成一个聚簇，用户聚簇的人数从一个到数百个不等。左图的宏观视角，不同聚簇的大小代表了关注的用户数，其距离越远，两个主题间共同关注的用户越少。

六十多个和3K党有关的极端言论形成的聚簇
该聚簇的大小归一化后，计算不同大小的极端言论主题簇对应的用户数的分布，可以看出明显的指数分布。
网络具有无标度特性，这意味着这样的网络更有可能具有嵌套性，而嵌套性的网络在遭到外部打击时能迅速复原。
在不同平台之间，当一个平台对某一个主题的极端信息进行取缔后，该主题对应的用户可以迁移到其他的主题上，往往还会使用其他的文字或“梗”，对极端信息进行“加密”，这使得新信息更难以被针对英语的自动监控算法检测。 如果只是根据常识，没有注意到极端言论的传播网络的特征，简单的信息屏蔽只会使得极端言论如野草一样杀不尽，这也是标题中 Hidden resilience 所要概述的发现。

通过数学模型说明 不同平台监管力度不同造成的反作用

数学模型能够量化地说明在何种情况下，会发生怎样预期的结果，以及应该采取怎样的应对策略最优。 本文提出的模型，假设传播极端言论的不同用户在社交平台之间会选择最短路径，在不同平台、不同主题的极端言论间进行迁移，但这样的迁移是有成本的。 限于篇幅，不对模型进行详解，只简单说说模型得出的结论。
假设有两个社交媒体，A 对极端言论有较好的监管，B 则缺少监管。 下图的纵轴是 B 平台上不同主题的极端言论之间的最短距离（最少需要多少用户才能相连）的均值，横轴是不同主题聚簇之间的总连接（用户和极端主题之间的边）。
通过该图，模型指出，如果只在 A 平台对极端言论进行监管，当 B 平台的用户和极端言论的连接数大于某一阀值时，会导致从整体上来看，不同主题的极端言论联系距离更远，从而使得进一步的打击变得更加困难（更加去中心化)。 只针对某一平台的极端言论进行封杀，带来全网极端言论的进一步分散

针对极端言论的四种应对方法

该文的另一大贡献是按照两个维度，区分出了四种应对极端言论的策略，以及在数学模型模拟的情况下，这四个策略各自的效果。 限于篇幅，这里只对这四类策略进行概述，论文的补充材料中对此有详细分析。 不同维度下的四种应对极端言论的策略
横轴表示干预的粒度，纵轴表示干预的方式（自上而下或自下而上）。

• 左上角的方法是删贴——找到特定主题的帖子，全部禁掉；该方法的干预尺度较粗，这样做带来的反作用是会让极端分子迁移到另一平台，并没有治本。

  
  

• 右上角的方法是删号；这是更细致的干预，但大多数人都拥有多个社交平台的账号，因此这种方法也只是一时之计。

  
  

• 右下角的策略是培养一批能够发出中和极端言论的用户，如图中的绿色圈子中的用户，让其作为社交网络上的“免疫系统”，从而稀释不同的极端言论主题之间的联系。

  
  

• 左下角的策略，则是将相互矛盾的极端言论同时曝光给同一个用户，让二者相互牵制，从而削减极端言论的影响力。

该文指出，四种策略需要有所权衡，才能达到对极端言论的最佳管控效果。

如何应对极端言论带来的挑战

由于人群极化与国家对立，互联网上各类极端的言论也日渐增多，极端言论的管控成为了一个世界性的问题。 国外的 3K党、新纳粹、ISIS 等毒瘤思想，甚至发展成了严重影响社会安全的危险因素。

在传统的纸媒时代，若想打掉一家宣传极端言论的报纸，仅需几个核心成员就能做到，并对某类极端思想予以毁灭性的打击。 但在社交媒体上，传统智慧不再管用，反而会产生更大的副作用。 至于极端思想的形成，其影响因素也由社交网络的邻里实体关系，转换到了虚拟空间上。 这使得算法的影响变得显著，也使之前不可行的由下而上的方法（例如前文提到的后两种策略）变得可行。 但由于极端言论的多样性和复杂性，人们对其的管控仍需多种方法协作。
除了应用在极端言论的管控上，文本的结论是否对儿童色情的传播、非法人口交易、传销组织的人员招募等其他“暗网”也适用呢？ 这一点作者并没有给出明确的回答，但这是一个值得研究的问题。 个人的猜测是，对于一切非法的信息传递网，狡兔三窟的个体使针对某一平台的打击很难达到预期的效果。
正是由于这篇文章得出的结论具有“反常识”的特征，因此有潜力应用到更广泛的领域，且对现实的重大政策制定有具体的指导意义。

Nature 论文题目：

Hidden resilience and adaptive dynamics of the global online hate ecology

论文地址：

https://www.nature.com/articles/s41586-019-1494-7