图算法之Community Detection

Louvain(Fast-Unfolding)

Louvain算法，又称之为Fast-Unfolding算法，是一种基于模块度（Modularity）的社区发现算法。该算法在大规模图结构上的性能和表现效果都比较好，且具有公认的理论支撑。其目标函数是优化整个图（网络）的模块度，接下来对这个算法的实现进行详细解释。

1.1模块度(Modularity)

模块度(Modularity)是一种评估社区网络划分好坏的度量指标，这个概念是Newman在2003年提出的。它的物理含义是社区内顶点的连接边数与随机情况下的边数只差，它的取值范围是 [-0.5,1)，其定义如下：

其中， A_ij表示顶点i和顶点j之间的权重，如果是无权图，所有的边权重可以看作是1；k_i=∑_jA_ij表示与顶点i相连的所有边的权重之和；c_i表示顶点i所属的社区;另外m的计算公式如下：

模块度的公式可以做如下简化：

其中∑_in表示社区c内的边的权重之和，∑_tot表示与社区c内的顶点相连的所有的边的权重之和。以上公式还可以进行进一步简化：

这样模块度也可以理解是社区内部边的权重减去所有与社区顶点相连的边的权重和，对无向图更好理解，即社区内部边的度数减去社区内顶点的总度数。基于模块度的社区发现算法，都是以最大化模块度Q为目标。

1.2算法过程

将图中的每个顶点看成一个独立的社区，初始社区的数目与顶点个数相同；

对每个顶点i，尝试把顶点i分配到其邻居顶点所在的社区中，并计算分配前与分配后的模块度变化ΔQ，并记录ΔQ最大的那个邻居顶点；如果最大ΔQ>0，则把顶点i分配到ΔQ最大的那个邻居顶点所在的社区，否则放弃此次划分；

重复步骤2，直到所有顶点的社区不再变化；

对图进行压缩，将所有在同一个社区的顶点压缩成一个新的顶点，社区内顶点之间的边的权重转化为新顶点的环的权重，社区间的边权重转化为新顶点间的边权重；具体压缩过程如下图所示：

重复步骤1直到整个图的模块度不再发生变化。

compression

参考：
模块度与Louvain社区发现算法

LPA（Label Propagation Algorithm）

2.1定义

社区发现（Community Detection）主要用来发现网络结构（图结构）中的社区结构，也可以看做是一种“聚类算法”。这些被划分的社区之间关系紧密，而社区之间的关系相对稀疏。这里我们介绍一种最简单的社区发现算法——标签传播（LPA）
标签传播是机器学习中的一种常用的半监督学习(semi-supervised)方法，用于向未标记（unlabeled）样本分配标签。该算法通过将所有样本通过相似性构建一个边有权重的图，然后各个样本在其相邻的样本间进行标签传播。因此标签传播算法在本质上就很适合用来做网络结构中的社区发现。下面简单介绍在网络结构中进行LPA社区发现的思想和详细过程。

2.2步骤

Step 1: 对于一个未划分社区的网络结构，为每个顶点初始化一个唯一的labe，设定最大迭代次数m。

Step 2: 针对每一个顶点，筛选出该顶点所有邻接顶点中出现次数最多的标签（如果出现次数最多的标签有不止一个，随机挑选一个），然后将当前顶点的标签label修改为该标签。

Step 3：如果上一步中没有任何顶点的标签被修改或者迭代次数达到m（或其他收敛条件），则算法停止迭代，输出结果。否则继续Step 2。

回顾以下上面的LPA过程，我们会发现，LPA其实是一个不稳定的算法。也就是说，同样的输入，两次不同的执行得到的社区发现结果可能不一样。另外需要注意的是，Step2中针对每个节点的操作是可以并行进行的，并不需要串行计算，这样会大大缩短计算的时间，Flink内部的LPA算法就是这么实现的。该社区发现算法在主流的图计算框架（Spark GraphX, Flink Gelly）和图数据库（Neo4j）中都有实现。