社区发现评价指标Q和NMI讲解、代码实现

社区发现评价指标Q和NMI讲解、代码实现

模块度Q

2004年Newman等人提出了模块度Q，之后广泛应用于衡量社区的划分质量，下面公式适用于无向无权的同质网络。若社区内节点的边数越多，Q值越大，相反，Q值越小。
$$Q=\frac{1}{2m}\sum _{i,j}[A_{ij}-\frac{d_i{d}_j}{2m}]\delta (C_i,C_j)$$

$$m为网络中的边数；A_{ij}为邻接矩阵A中的元素，$$

$$若节点i,j相连，则A_{ij}=1,否则A_{ij}=0;$$

$$C_i为节点i所属的社区，C_j为节点j所属的社区；$$

$$当i,j处于同一社区时，\delta (C_i,C_j)=1，否则为0；$$

$$d_i代表节点i的度；$$

$$\frac{d_i{d}_j}{2m}表示在随机网络中节点i和节点j之间存在边的可能性。$$

模块度Q也可表示为
$$Q=\sum _{c=1}^k[\frac{l_c}{m}-(\frac{d_c}{2m}{)}^2]$$

$$上式中，m为网络中的总边数；k为社区个数，$$

$$l_c为社区c内部的连接边数，d_c为社区c内所有节点的度之和。$$

其中，Q的取值范围为[-0.5, 1]。

注：模块度Q适用于已知真实社区或未知真实社区划分结果的评估

---

标准化互信息NMI

NMI（normalized mutual information）标准化互信息，也称为归一化互信息，是目前广泛使用的一种社区划分评价指标，用于度量算法所得到的社区和真实社区划分之间的相似程度，也用于评估聚类结果的相似程度。
$$NMI(R,F)=\frac{-2{\sum }_{i=1}^{C_R}{\sum }_{j=1}^{C_F}{N}_{ij}log(\frac{N_{ij}S}{N_{i\ast }{N}_{\ast j}})}{{\sum }^{C_R}{N}_{i\ast }log(N_{i\ast }/S)+{\sum }^{C_F}{N}_{\ast j}log(N_{\ast j}/S)}$$

$$其中，矩阵N中的行表示真实的社区，列表示算法得到的社区；$$

$$矩阵中第i行的元素表示为N_{i\ast },第j列的元素表示为N_{\ast j};$$

$$N_{ij}表示真实社区与算法所得到的社区相同的节点个数；S为节点个数；$$

$$C_R表示真实社区个数，C_F表示算法所得到的的社区个数。$$

$$当算法所得到的的社区划分与网络中的真实社区划分完全一致时，NMI=1;$$

$$当算法所得到的划分社区与网络中的真实社区划分完全独立时，NMI=0。$$

显然，NMI的取值范围为[0,1]。

注：NMI适用于已知真实社区结构的数据集上的社区划分评估

---

代码实现

import networkx as nx
import math

class Evaluate:
    """
    社区划分结果评估
    """

    def __init__(self, G, cur_community, real_community):
        """
        评价指标初始化
        :param G: 图
        :param cur_community: 当前社区划分结果 {id： nodes}
        :param real_community: 真实社区结果{id : nodes}
        :return: null
        """
        self.G = G
        self.cur_community = cur_community
        self.real_community = real_community


    def Q(self):
        """
        计算划分社区的模块度Q(modularity)
        未知和已知社区的评估指标
        :return: Q_value
        """
        nodes_number = self.G.number_of_nodes()
        edges_number = self.G.number_of_edges()
        Q_value = 0
        for key in self.cur_community.keys():
            #社区c
            c = self.cur_community[key]
            #社区内结点度数之和
            degrees = 0
            #社区内部边的总数
            inter_edges = 0
            for u in c:
                u_neighbors = set(nx.all_neighbors(self.G, u))
                degrees += len(u_neighbors)
                for nbr in u_neighbors:
                    if nbr in c:
                        inter_edges += 1
            #因为是无向图，所以边数要除以2
            inter_edges /= 2
            #cq = inter_edges / edges_number - math.pow(degrees / (2 * edges_number), 2)
            cq = inter_edges / edges_number - (degrees / (2 * edges_number)) ** 2
            Q_value += cq
        return Q_value


    def NMI(self):
        """
        标准化互信息值( Normalized mutual information)
        已知真实社区划分结果的评价指标
        行代表真实社区划分（real_community）
        列代表当前社区划分结果(cur_community)
        :return:NMI_value
        """
        nodes_number = self.G.number_of_nodes()
        r_id = [key for key in self.real_community]
        c_id = [key for key in self.cur_community]
        #分子
        sum_rc = 0
        #分母两项之和
        sum_r = sum_c = 0

        for i in range(0, len(r_id)):
            temp = 0
            nodes_i = set(self.real_community[r_id[i]])
            for j in range(0, len(c_id)):
                nodes_j = set(self.cur_community[c_id[j]])
                common = nodes_i & nodes_j
                a = len(common) * nodes_number / (len(nodes_i) * len(nodes_j))
                if a > 0:
                    temp += len(common) * math.log10(a)
            sum_rc += temp

        for i in range(0, len(r_id)):
            nodes_i = set(self.real_community[r_id[i]])
            sum_r += len(nodes_i) * math.log10(len(nodes_i) / nodes_number)
        for j in range(0, len(c_id)):
            nodes_j = set(self.cur_community[c_id[j]])
            sum_c += len(nodes_j) * math.log10(len(nodes_j) / nodes_number)

        sum_rc = sum_rc * (-2)
        NMI_value = sum_rc / (sum_r + sum_c)
        return NMI_value

---

参考文献

[1]Newman M E J,Girvan M. Finding and evaluating community structure in networks.[J]. Physical review. E, Statistical, nonlinear, and soft matter physics,2004,69(2 Pt 2).

[2] 赵卫绩,张凤斌,刘井莲.复杂网络社区发现研究进展[J].计算机科学,2020,47(02):10-20.

---

本人理解尚浅，若有错误之处欢迎大家指出！