谣言检测基本知识

---

前言

   简单记录一下有关谣言检测的基本知识

一、谣言的定义

    谣言，学术上所说的谣言指的是未经证实的言论（这和我们普遍意义上理解的，谣言是虚假的信息不同）

二、谣言的分类

    谣言通常分为四类：恶搞名人型、制造恐慌型、捣乱取乐型、商业策划型

三、谣言传播公式

谣言=（事件的）重要性×（事件的）模糊性÷公众批判能力

1、网络剪枝（Network Pruning）

   实际上我们所训练的模型存在着很多冗余，有很多神经元根本就没有起到作用，所以我们要将这一部分的神经元“剪枝”

1. 首先训练一个模型
2. 评估神经元或者权重参数的重要性（可以直接比较权重的数值，越接近于零的越不重要）
3. 移除不重要的参数
4. 用剪枝后的模型继续训练微调，观察剪枝后模型效果，如果模型效果不好或者模型参数仍旧过大，则返回第二步
      那么我们为什么不直接训练小模型，因为一般来说小模型比较难以训练，而较大的模型比较好训练。
      而对于去掉神经元和去掉权重参数这两种方式，一般来说我呢不会选择去掉权重参数，因为去掉权重参数会导致计算不平衡，也就是权重参数不能构成一个矩阵，这样的情况下实际上并不能提高计算速度也不能减小参数存储空间（存储参数的时候实际上大多是补零存储，所谓的剪枝根本没有起到作用）

2、知识蒸馏（Knowledge Distillation）

   我们首先训练一个大的Teacher网络，然后输入数据A，大的网络得出结果（1：0.7 7:0.2 9:0.1），在较小的Student网络中同样输入训练数据A，让Student模仿Teacher的输出结果（1：0.7 7:0.2 9:0.1）

3、参数量化（Parameter Quantization）

   我们将参数分组，然后同一组的参数用一个参数表示

   这样我们在表示员矩阵的时候实际上每一个值所需要的存储空间变小了，原来要32bit、16bit,现在只要8bit,而换算表所占的存储空间也并不大，所以总体上减少了模型存储空间

4、架构设计（Architecture Design）

   在两层中间再加入一层，通过控制新加一层神经元的数量控制计算量

   例如：深度可分卷积（Depthwise Separable Convolution）

   通过将卷积拆成两步，将72（3*3*2*4）个参数减少为26（3*3*2+2*4）参数

5、动态计算(Dynamic Computation)

   根据目前的状态（算力是否充足，存储空间是否充足）选择适合的模型或者计算方法

动态计算的方法：

1. 训练多个不同计算量的模型，根据需要选择模型（但是会导致所需的存储空间暴增）

2. 将不同的中间层接到输出层，根据需要选择计算几个中间层（导致模型效果不好）

总结

   简要的介绍了一下谣言相关的知识