模块度与Louvain社区发现算法
模块度（ Modularity ）
模块度是评估一个社区网络划分好坏的度量方法，它的物理含义是社区内节点的连边数与随机情况下的边数只差，它的取值范围是 [−1/2,1)，其定义如下：
$$Q = \frac{1}{2m}\sum_{i,j}[A_{ij} - \frac{k_ik_j}{2m}]\delta(c_i,c_j)$$
$$\delta(u,v) = \{_{0\ else}^{1 when\ u == v}$$
其中，$A_{ij}$节点i和节点j之间边的权重，网络不是带权图时，所有边的权重可以看做是1；$k_i = \sum_jA_{ij}$表示所有与节点i相连的边的权重之和（度数）；$c_i$表示节点i所属的社区；$m=\frac{1}{2}\sum_{ij}A_{ij}$表示所有边的权重之和（边的数目）。
公式中$A_{ij} - \frac{k_ik_j}{2m}=A_{ij} - k_i\frac{k_j}{2m}$，节点j连接到任意一个节点的概率是$\frac{k_j}{2m}$，现在节点i有$k_i$的度数，因此在随机情况下节点i与j的边为$k_i\frac{k_j}{2m}$.
模块度的公式定义可以作如下简化：
$$Q = \frac{1}{2m}\sum_{i,j}[A_{ij} - \frac{k_ik_j}{2m}]\delta(c_i,c_j)$$
$$ = \frac{1}{2m}[\sum_{i,j}A_{ij} - \frac{\sum_ik_i\sum_jk_j}{2m}]\delta(c_i,c_j)$$
$$ = \frac{1}{2m}\sum_c[\Sigma in-\frac{{(\Sigma tot)}^2}{2m}]$$
其中$\Sigma in$表示社区c内的边的权重之和，$\Sigma tot$表示与社区c内的节点相连的边的权重之和。
上面的公式还可以进一步简化成:
$$Q = \sum_c[\frac{\Sigma in}{2m}-(\frac{\Sigma tot}{2m})^2]$$
$$ = \sum_c[e_c-{a_c}^2]$$
这样模块度也可以理解是社区内部边的权重减去所有与社区节点相连的边的权重和，对无向图更好理解，即社区内部边的度数减去社区内节点的总度数。
基于模块度的社区发现算法，都是以最大化模块度Q为目标。
Louvain算法
Louvain算法的思想很简单：
1）将图中的每个节点看成一个独立的社区，次数社区的数目与节点个数相同；
2）对每个节点i，依次尝试把节点i分配到其每个邻居节点所在的社区，计算分配前与分配后的模块度变化$\Delta Q$，并记录$\Delta Q$最大的那个邻居节点，如果$max\Delta Q>0$，则把节点i分配$\Delta Q$最大的那个邻居节点所在的社区，否则保持不变；
3）重复2），直到所有节点的所属社区不再变化；
4）对图进行压缩，将所有在同一个社区的节点压缩成一个新节点，社区内节点之间的边的权重转化为新节点的环的权重，社区间的边权重转化为新节点间的边权重；
5）重复1）直到整个图的模块度不再发生变化。
从流程来看，该算法能够产生层次性的社区结构，其中计算耗时较多的是最底一层的社区划分，节点按社区压缩后，将大大缩小边和节点数目，并且计算节点i分配到其邻居j的时模块度的变化只与节点i、j的社区有关，与其他社区无关，因此计算很快。在论文中，把节点i分配到邻居节点j所在的社区c时模块度变化为：
$$\Delta Q = [\frac{\sum_{in}+k_{i,in}}{2m}-(\frac{\sum_{tot}+k_i}{2m})^2]-[\frac{\sum_{in}}{2m}-(\frac{\sum_{tot}}{2m})^2-(\frac{k_i}{2m})^2]$$
其中$k_{i,in}$是社区c内节点与节点i的边权重之和，注意对$k_{i,in}$是对应边权重加起来再乘以2，这点在实现时很容易犯错。
$Delta Q$分了两部分，前面部分表示把节点i加入到社区c后的模块度，后一部分是节点i作为一个独立社区和社区c的模块度，这里有一个困惑我的地方，虽然我按照这个公式实现的分群算法效果很好，但是我认为$Delta Q$少了把节点i从其原来社区删除这一步，因为后面的划分时，节点i所在的社区可能有多个节点。
在实现的时候模块度变化还可以简化，把上面的公式展开，很多项就抵消了，化简之和：
$$\Delta Q = [\frac{k_{i,in}}{2m}-\frac{\sum_{tot}k_i}{2m^2}]$$
论文中指出，算法第2）步节点的顺序会对分群结果又一定影响，但分群效果差距不大，只是会影响算法的时间效率，还有论文指出按度数从到的小的顺序处理速度最快，不过我在1K边上的图测试，差距不大。
分布式实现
我实现了Louvain算法的Spark版本和单机版，单机版在算法的第2）步中，节点i的社区变更会在节点i+1的社区分配时可见，但分布式实现，这一点不能满足，因为在分布式环境下，节点i和节点i+1的社区变更可能是在不同机器上同时进行，不能进行实时传递，因此在分布式实现时，节点i+1看到只能是节点i的上一轮的社区，因为这个原因，会导致一些节点互换社区，比如1号节点分到了2号节点所在的社区，而2号节点又分配到了节点1所在的社区，解决这个问题我是参考 淘宝 的一个实现，用节点id和和社区id构成的边组成新图，再用联通图来调整节点的社区。