论文笔记《Influence Maximization in Near-Linear Time: A Martingale Approach》

原文链接

原TIM,TIM+在计算OPT下界时过于保守，导致 $\theta$ 很大，仍然有很大计算量。

摘要

给定一个社交网络 $G$ 和一个正整数 $k$，影响最大化问题会要求 $k$ 个节点(在 $G$ 中)，采用某个想法或产品可能会触发其余节点最大预期的后续采用次数。该问题已在文献中进行了广泛研究，并且最先进的技术以 $O((k+l)(n+m)\log n/{ϵ}^2)$ 的预期时间运行，并返回 $(1-1/e-ϵ)$ -近似解，具有至少 $1-1/n^l$ 的概率。
本文提出了一种影响力最大化算法，该算法可提供与现有技术相同的最坏情况保证，但可显着提高经验效率。我们算法的核心是一套基于鞅的估计技术，鞅是经典的统计工具。这些技术不仅以较小的计算开销提供了准确的结果，而且使我们的算法能够比现有方法支持更大类别的信息扩散模型。我们使用多达14亿条边的真实社交网络，在几种流行的扩散模型下针对最新技术实验性地评估了我们的算法。我们的实验结果表明，所提出的算法在计算效率方面始终优于现有技术，并且通常快几个数量级。

1、简介

给定一个社交网络 $G$ 和一个正整数 $k$，影响最大化问题会要求 $k$ 个节点(在$G$ 中)，采用某个想法或产品可能会触发其余节点最大预期的后续采用次数。 这个问题源于病毒式营销，公司在社交网络中向一组有影响力的个人提供产品的免费样品，旨在通过口碑效应创造一系列产品采用。 Kempe等[25]将影响最大化描述为组合优化问题，并证明它是NP难的。 作为解决方案，他们提出了一种贪心方法，该方法在几种形式的信息扩散模型下产生 $1-1/e-ϵ)$ 近似值。 从那时起，许多技术被提出用于在大型社交网络中实现有效的影响最大化。

然而，大多数现有技术要么为了实际效率而牺牲近似保证，反之亦然。 特别是，提供 $1-1/e-\epsilon$ 近似解的方法通常需要几天的时间来处理具有数千个节点和边的小型社交网络。 另一方面，提供经验效率的技术依赖于启发式方法，因此它们无法提供任何最坏情况下的性能保证。 唯一的例外是最近有两种称为 $TIM$ 和 $TIM+$ 的技术：两种技术均以 $O((k+\ell )(n+m)\log n/{ϵ}^2)$ 的预期时间运行，并至少以 $1-1/n^{\ell }$ 的概率返回 $(1-1-/e-\epsilon )$ 的近似值，其中 $n$ 和 $m$ 分别是社交网络中节点和边的数量； 此外，他们的经验表现与最先进的启发式解决方案相当。

尽管 $TIM$ 和 $TIM+$ 提供了有力的理论保证和良好的实践效率，但它们在计算成本方面仍留有很大的改进空间。具体而言，$TIM$ 由两个阶段组成，即参数估计和节点选择。节点选择阶段从社交网络 $G$ 采样了 $\theta$ 个节点集，然后利用它们来推导具有较大预期影响的具有 $k$ 个节点的集合。 $\theta$ 的值至关重要：为了确保 $1-1/e-\epsilon$近似解，表明 θ 至少应为 $\lambda /OPT$ ，其中OPT是任意大小为 $k$ 的节点集的最大期望影响，$\lambda$ 是关于 $k,l,n,ϵ$ 的函数。为了得出合适的 $\theta$，$TIM$ 的参数估计阶段首先计算OPT的下限，然后 $\theta$ 在此下界上设置为跟 $\lambda$ 相关。这种方法虽然直观，但有两个缺陷。首先，$TIM$ 得出的下限相当保守，在最坏的情况下可能比 OPT小 $n/k$ 倍。结果，$\theta$ 可能过大，导致节点选择阶段的不必要的开销。其次，下界本身的计算成本很高，如第6节所述，得出下界所需的时间可能比节点选择所需的时间长3倍以上。

$TIM+$ 通过添加一个中间步骤（在参数估计和节点选择之间）对 $TIM$ 进行了改进，该中间步骤可启发性地将 $\theta$ 细化为更严格的OPT下限，从而提高了效率。 但是，在最坏的情况下，即使改进的下限可能仍然小到 $\frac{k}{n}$OPT。 此外，添加中间步骤不能解决由节点选择阶段引起的大量开销。

贡献 本文提出了一种 $IMM$ 算法，它是一种影响最大化算法，可以克服 $TIM$ 和 $TIM+$ 的不足，同时保留其优越的逼近保证和预期的时间复杂度。 $IMM$ 的核心是一套基于鞅的估计技术，鞅是一种经典的统计工具。通过这些技术，$IMM$ 采用了 $TIM$ 的两阶段范例，但是合并了完全不同的参数估计阶段，该阶段能够得出渐近严格的OPT的下限。具体地，通过 $IMM$ 将以大概率获得不小于 $OPT\cdot (1-1/e)/(1+{ϵ}^{\prime }{)}^2$ 的下界，其中 ${ϵ}^{\prime }$ 是可调参数。另外，下限的计算得到了优化，因此与 $TIM$ 和 $TIM+$ 相比，其开销要小得多。此外，使用鞅方法可以显着改善 $IMM$ 的节点选择阶段，这有助于消除大量原本无法避免的不必要的计算。通过上述优化，$IMM$ 在实际性能方面明显优于 $TIM$ 和 $TIM+$ 。特别是，我们在多达14亿条边的各种社交网络上针对 $TIM$ 和 $TIM+$ 对IMM进行了实验评估，结果表明，$IMM$ 的运行时间比 $TIM$ 和 $TIM+$ 的运行时间缩短了两个数量级。此外，当我们将 $ϵ$= 0.5和 $l$ = 1设置时， $IMM$ 甚至比最新的启发式解决方案产生更高的效率，同时仍然提供经验准确的结果。
此外，我们证明了 $IMM$ 可以扩展为支持任何定义了特定采样过程的扩散模型。作为应用，我们提出了一种用于连续时间独立级联（CTIC）模型[6、16、30]的 $IMM$ 变体，该模型在机器学习文献[15、17、18]中得到了广泛采用，但不受 $TIM$ 支持。我们将我们的方法与CTIC模型下最先进的方法进行了比较，并证明了 $IMM$ 在渐近性能和实际性能上都非常优越。
总结一下：

• 我们提出了 $IMM$，影响最大化算法在 $O((k+\ell )(n+m)\log n/{ϵ}^2)$ 预期时间中运行，并在触发模型(大多数现有工作采用的通用扩散模型)下至少以 $1-1/e-ϵ$ 的概率返回 $(1-1/e-ϵ)$ 的近似解(第3节)
• 我们研究了可以将IMM扩展到更大类别的扩散模型，同时仍保持 $1-1/e-ϵ$ 近似比的条件。 作为一个应用程序，我们提出了支持CTIC模型的 IMM 的扩展版本[16] (第4节)
• 我们用文献中测试过的最大的社交网络对 IMM 进行了实验评估，结果表明，它比几种流行的扩散模型的最新方法要快几个数量级(第6节)

2、前言

2.1 问题的定义

令 $G=(V,E)$ 是一个社交网络，包含 $n$ 个节点(节点集 $V$)和 $m$ 条有向边 (边集 $E$)，对任意的两个节点 $u,v\in V$，$<u,v>$ 是 $E$ 中的边，我们说 $v$ 是 $u$ 的输出节点，$u$ 是 $v$ 的输入节点。我们考虑对 $G$ 进行时间标记的扩散过程，如下所示：

1. 在初始时刻，我们激活集合 $S$ 中的节点，并且保持激活状态
2. 当某个节点 $u$ 在某时刻被首次激活时，根据某个特定的概率分布，从它的出邻居节点中采样一个节点集，然后在下一个时刻激活他们
3. 一旦某个节点成为激活态，那么在接下来的所有时刻始终保持激活状态。

令 $I(S)$ 是 $G$ 根据上述过程最终收敛(直到没有新的点被激活)的激活点集合。我们令 $S$ 为种子集，$I(S)$ 为该种子集的影响力结果。注意，$I(S)$ 是一个随机变量，它取决于每个节点从其邻居采样以激活的概率分布。 我们将这些概率分布的集合称为扩散过程下的扩散模型。

问题陈述 给定 $G$，扩散模型 $M$ 和正整数 $k$，影响最大化问题就是要求具有最大预期影响 $E[I(S_k)]$ 的大小为 $k$ 的节点集 $S_k$。

2.2 扩散模型

除非另有说明，否则我们将关注触发模型[25]，这是大多数影响力最大化的现有工作采用的经典且通用的扩散模型。 为了解释触发模型，为便于说明，我们首先介绍一种特殊情况，称为独立级联（IC）[25]模型。 IC模型源自市场营销，并假设每个边 $e\in E$ 与概率 $p(e)\in [0,1]$ 相关。 对于任何节点 $u$ 及其任何输出邻居 $v$，如果 $u$ 首先在时刻 $i$ 处被激活，则它有 $p(⟨u,v⟩)$ 的概率在 $i+1$ 时刻激活 $v$ 。 $u$ 是否可以激活 $v$ 与 $u$ 激活之前的扩散历史无关，因此，节点激活的顺序不影响扩散结果。 对于这种模型，种子集S的扩散过程具有如下等效公式[25]：

1. 我们为 $G$ 中的每个边 $e$ 掷一次硬币，并以 $1-p(e)$ 的概率将其删除。 令 $g$ 为最终的社交网络。
2. 我们激活集合 $S$ 中的节点，同时激活 $g$ 中所有可以被 $S$ 中节点触达的点

为方便起见，我们使用 $G$ 表示由随机性引起的 $g$ 的分布，该随机性来自每个节点的触发分布的采样。

2.3 回顾TIM,TIM+

如前面提到的，TIM和TIM+有参数估计阶段和节点选择阶段，后者从 $G$ 中采样了大量的节点集来计算最大化影响力，由TIM,TIM+采样得到的集合我们称为随机 RR 集，定义如下：

定义 1 (Reverse Reachable Set) 令 $v$ 是 $V$ 中的一个节点，然后在 $G$ 中采样一个子图 $g$，在 $g$ 中找到所有可以触达到 $v$ 的节点，构成RR集，随机RR集是从V中随机选择的节点的RR集。

直观地，如果一个节点 $u$ 出现在另一个节点 $v$ 的RR集中，则来自包含 $u$ 的种子集的扩散过程应具有一定的激活 $v$ 的可能性。RR集与节点激活之间的这种联系在以下引理中形式化。

引理 1 对于任意种子集合 $S$ 和任意节点 $v$，在传播过程中， $v$ 可以被种子集 $S$ 激活的概率等于种子集 $S$ 覆盖 $v$ 的一个RR集的概率
根据引理1，TIM的节点选择阶段用如下方法做到影响力最大化，

1. 生成独立的随机RR集的可观集 $\mathcal{R}$。
2. 考虑选择 $k$ 个节点以覆盖 $\mathcal{R}$ 中最大的RR集数量的最大覆盖问题。应用标准贪心算法来获得对该问题的 $1-1/e$ 近似解 $S_k^{\ast }$。
3. 返回 $S_k^{\ast }$ 作为影响最大化的答案

3、提出方法

这部分将展示 IMM，一个灵感来自于 TIM和TIM+的影响力最大化技巧，但是采样了一种新的算法来降低计算复杂度，整体来讲，IMM 分为两个阶段，

• 采样 这个阶段迭代生成随机 RR 集 ，添加到$\mathcal{R}$，直到满足停止条件
• 节点选择 这个阶段应用标准贪心算法来获得最大覆盖率，以得出一个大小为 $k$ 的节点集 $S_k^{\ast }$，它覆盖了 $\mathcal{R}$ 中的大量RR集。然后返回 $S_k\ast$ 作为最终结果。

节点选择部分，IMM和TIM,TIM+类似，但是TIM和TIM+要求 $\mathcal{R}$ 中所有的随机 RR集是独立的，IMM中不做此要求，特别地，由IMM生成的随机RR集是互相依赖的，因为在IMM的采样阶段，是否生成第 (i + 1) RR集取决于前 $i$ 个RR集是否满足停止条件。 允许RR集之间存在这种依赖性使IMM的理论保证更加难以分析，但对IMM的效率至关重要，因为它使IMM能够消除TIM和TIM +中不可避免的大量冗余计算（请参见第3.4节）。 同时，IMM的采样阶段与TIM和TIM +的参数估计阶段有很大不同，因为它采用了更高级的统计方法来确定所需的RR集的数量 $\theta$。相比于TIM和TIM+，这个方法不仅可以提供更准确的 $\theta$ 选择，还可以降低参数估计中的计算代价。

接下来，我们引入鞅的概念，它在分析 $\mathcal{R}$ 中 RR 集的依赖性非常重要。

3.1 RR集的鞅视图

令 $R_1,R_2,...,R_{\theta }$ 是在IMM采样阶段生成的随机 RR 集序列，令 $S$ 为 $G$ 中任意的节点集合，$x_i,i\in [1,\theta ]$ 是一个随机变量，满足当 $S\cap R_i=\varnothing$ 时为0，否则为1。由引理1 $$\mathbb{E}[I(S)]=\frac{n}{\theta }\cdot E\left[\sum _{i=1}^{\theta }{x}_i\right]\text{\hspace{1em}(1)}$$ 在IMM的节点选择阶段，用 $\frac{n}{\theta }\cdot {\sum }_{i=1}^{\theta }{x}_i$ 来估计 $E[I(S)]$，为了确保估计是准确的，${\sum }_{i=1}^{\theta }{x}_i$ 不应该明显偏离其期望值。证明这种集中结果的经典工具是chernoff bounds，但它要求所有 $x_i$ 都是独立的，这与 IMM 采样阶段的停止条件所引起的 $x_i$ 之间的依赖性相矛盾。 我们通过基于鞅的分析来规避此问题，定义如下：

定义 2 (鞅) 一个随机变量序列 $Y_1,Y_2,...$ 称为鞅，当且仅当对于任意的 $i>0$，有 $E[Y_i]<+\infty$ 且 $E[Y_i|Y_1,Y_2,...,Y_{i-1}]=Y_{i-1}$ 为了说明 $x_i(i\in [1,\theta ])$ 和鞅的联系，我们先介绍 IMM 采样过程中的两个性质，首先，每个$R_i(i\in [1,\theta ])$ 是为随机均匀选择的节点 $v$ 生成的，它包含可以从 $G$ 采样的图 $g$ 上到达 $v$ 的节点。 其次 $v,g$ 的选择跟 $R_1,R_2,...R_{i-1}$ 是独立的。由于这些性质，对 $\forall i\in [1,\theta ]$ ,$$E[x_i|x_1,x_2,...,x_{i-1}]=E[x_i]=E[I(S)]/n$$ 令 $p=E[I(S)]/n,M_i={\sum }_{j=1}^i(x_j-p)$，于是我们有 $E[M_i]=0$，且 $$E[M_i|M_1,M_2,...,M_{i-1}]=M_{i-1}$$ 由定义2，$M_1,M_2,..,M_{\theta }$ 是一个鞅
以下的引理表明鞅的两个浓缩结果具有与chernoff bounds相似的感觉。
引理 2 令 $Y_1,Y_2,Y_3,...$ 是一个鞅，使得 $|Y_1|<a$，对 $\forall j\in [1,i]$，$|Y_j-Y_{j-1}|<a$，且 $$Var[Y_1]+\sum _{j=2}^{i}Var[Y_j|Y_1,Y_2,...,Y_{j-1}]\le b$$ 则对任意 $\lambda >0$ $$\mathrm{P}\mathrm{r}[Y_i-E[Y_i]\ge \gamma ]\le \exp (-\frac{{\gamma }^2}{\frac{2}{3}a\gamma +2b})$$

考虑鞅 $M_1,M_2,..,M_{\theta }$。我们有 $|M_1|\le 1$，且对任意 $j\in [2,\theta ]，|M_j-M_{j-1}|\le 1$，由 $R_i(\forall i\in [1,\theta ])$ 的性质，我们有 $$Var[M_1]+\sum _{j=2}^{\theta }Var[M_j|M_1,M_2,...,M_{j-1}]=\sum _{j=1}^{\theta }{M}_j=\theta p\cdot (1-p)$$ 由引理2和 $M_{\theta }={\sum }_{i=1}^{\theta }(x_i-p)$，有以下推论：

推论 1 对任意 $ϵ>0$，有 $$\mathrm{P}\mathrm{r}[\sum _{i=1}^{\theta }{x}_i-\theta p\ge ϵ\cdot \theta p]\le \exp (-\frac{{ϵ}^2}{2+\frac{2}{3}ϵ}\cdot \theta p)$$
同样，用引理2到鞅 $-M_1,-M_2,..,-M_{\theta }$

推论 2 对任意 $ϵ>0$，有 $$\mathrm{P}\mathrm{r}[\sum _{i=1}^{\theta }{x}_i-\theta p\le -ϵ\cdot \theta p]\le \exp (-\frac{{ϵ}^2}{2}\cdot \theta p)$$

3.2 节点选择阶段

令 $\mathcal{R}=\{R_1,R_2,...,R_{\theta }\}$ 是 IMM 在采样阶段生成的随机 RR 集，$F_{\mathcal{R}}(S)$ 是 $\mathcal{R}$ 中 RR集被 $S$ 覆盖的占比，算法1显示了 IMM 节点选择部分的伪代码，输入 $\mathcal{R},k$，输出 $S_k^{\ast }$，这个算法对应了影响力最大化问题的标准贪心方法，可以保证 $F_{\mathcal{R}}(S^{\ast })$ 是任意大小为 $k$ 的节点集对随机 RR 集 $\mathcal{R}$ 覆盖率的 $1-1/e$ 倍，可以看到，当集合 $\mathcal{R}$ 中 RR 集的数量 $\theta$ 足够大的时候，$S_k^{\ast }$ 将以很大的概率得到一个 $1-1/e-ϵ$ 的近似解。

这里在节点选择阶段，和TIM也不一样，TIM中贪心算法是以最大化覆盖RR集数量，而IMM中是以种子集对 $\mathcal{R}$ 的覆盖率为准。

假设 $S_k^o$ 是期望影响力最大的 $k$ 个种子节点的集合，即 $OPT=E[I(S_k^o)]$，由等式 (1) 知，$n\cdot F_{\mathcal{R}}(S_k^o)$ 是 $OPT$ 的无偏估计，由推论 2 知，当 $\theta$ 取适当大小时，$n\cdot F_{\mathcal{R}}(S_k^o)$ 应该近似 $OPT$，正如下面的引理所示

引理 3 令 ${\delta }_1\in (0,1),{ϵ}_1>0$ 且 $${\theta }_1=\frac{2n\cdot \log (1/{\delta }_1)}{OPT\cdot {ϵ}_1^2}\text{\hspace{1em}(2)}$$如果 $\theta \ge {\theta }_1$，则 $n\cdot F_{\mathcal{R}}(S_k^o)\ge (1-{ϵ}_1)\cdot OPT$ 至少以 $1-{\delta }_1$ 的概率成立。
假设 $n\cdot F_{\mathcal{R}}(S_k^o)\ge (1-{ϵ}_1)\cdot OPT$成立，由贪心算法的性质，$$n\cdot F_{\mathcal{R}}(S_k^{\ast })\ge (1-1/e)\cdot n\cdot F_{\mathcal{R}}(S_k^o)\ge (1-1/e)\cdot (1-{ϵ}_1)\cdot OPT\text{\hspace{1em}(3)}$$ 直观地，等式 (3) 表明，$S_k^{\ast }$ 的期望影响力应该比较大，因为 $n\cdot F_{\mathcal{R}}(S_k^{\ast })$ 是 $E[I(S_k^{\ast })]$ 的示性函数，我们将这个直观的感受归纳为下面的引理

引理 4 令 ${\delta }_2\in (0,1),{ϵ}_1<ϵ$ 且 $${\theta }_2=\frac{(2-2/e)\cdot n\cdot \log ((\genfrac{}{}{0ex}{}{n}{k})/{\delta }_2)}{OPT\cdot (ϵ-(1-1/e)\cdot {ϵ}_1{)}^2}$$ 如果等式 (3) 成立，且 $\theta \ge {\theta }_2$，则至少有 $1-{\delta }_2$ 的概率有 $E[I(S_k^{\ast })]\ge (1-1/e-ϵ)\cdot OPT$

引理 3 和引理 4 得到如下定义

定理 1 给定任意 ${ϵ}_1\le ϵ,\forall {\delta }_1,{\delta }_2\in (0,1)$ 满足 ${\delta }_1+{\delta }_2\le 1/n^l$，令 $\theta \ge \max \{{\theta }_1,{\theta }_2\}$ 确保在IMM的节点选择阶段，至少以 $1-1/n^l$ 的概率返回一个 $(1-1/e-ϵ)$ 近似解。

参数化 假设 $OPT$ 是已知的，那么根据定理1，我们可以以 $1-1/n^l$ 的概率得到一个 $(1-1/e-ϵ)$ 近似解。首先，我们根据定理1的条件选择 ${ϵ}_1,{\delta }_1,{\delta }_2$，然后基于等式 (2), (4)计算 ${\theta }_1,{\theta }_2$，然后计算 $\theta =\max \{{\theta }_1,{\theta }_2\}$，最终，我们确保 $\mathcal{R}$ 中至少有 $\theta$ 个RR集。

引理 5 给定 $ϵ,l$，令 ${\theta }^o$ 是定理 1中条件下 $\theta$ 的最小值，我们有 $${\theta }^o\le {\theta }^{\ast }\le {\theta }^o\cdot \frac{l\log n+\log 2}{l\log n}$$

推论 3 算法1运行时间复杂度为 $O({\sum }_{R\in \mathcal{R}}|R|)$

3.3 采样阶段

引理 6 令 $x\in [1,n]$，${ϵ}^{\prime },{\delta }_3\in (0,1)$，假设我们在包含 $\theta$ 个RR集的集合 $\mathcal{R}$ 上使用算法1，其中 $$\theta \ge \frac{(2+\frac{2}{3}{ϵ}^{\prime })\cdot (\log (\genfrac{}{}{0ex}{}{n}{k})+\log (1/{\delta }_3))}{{ϵ}^{\prime 2}}\cdot \frac{n}{x}\text{\hspace{1em}(8)}$$ 令 $S_k^{\ast }$ 是算法1的输出结果，则如果 $OPT<x$， $n\cdot F_{\mathcal{R}}(S_k^{\ast })<(1+{ϵ}^{\prime })\cdot x$ 至少以 $1-{\delta }_3$ 的概率成立。

3.4 组合到一起

4、扩展

4.1 IMM的泛化

4.2 应用到连续时间模型

5、相关工作

6、实验