【Chapter 8】Approximation Algorithm

近似算法

不再要求总是找到最优解，在实际应用中有时很难确定一个最优解和近似最优解之间的差别，因问题的输入实例数据本身就可能是近似的。设计一个算法能够求出所有情况下的次优解来解NP-hard问题往往是有效的手段。

近似比

近似比定义为算法求得的近似解的目标函数值与最优解的目标函数值之间的比值。

一个优化问题$\Pi$由三部分构成：

• 实例集$D$：输入实例的集合；
• 解集$S(I)$：输入实例$I\in D$的所有可行解的集合；
• 解的值函数$f$：给每个解赋一个值，$f:S(I)\to R$

对于一个优化问题$\Pi$和它的任一实例$I$，$opt(I)$表示相应实例$I$的最优解的目标函数值，而$A(I)$表示给定实例$I$算法$A$求出的近似解的目标函数值。

近似算法$A$的近似比形式化定义为：
最小值问题求解的近似比定义：$r(A)=su{p}_I\frac{A(I)}{opt(I)}$
最大值问题求解的近似比定义：$r(A)=su{p}_I\frac{opt(I)}{A(I)}$

0-1背包的2-近似求解算法

0-1背包问题回顾

给定n种物品和一个背包。物品$i$的重量是$w_i$，其价值为$v_i$，背包的容量是$S$。应该如何装入背包的物品，使得装入背包中物品的总价值最大？

DP求解：
递归式的形式为：
$m(i,j)=\max \{m(i+1,j),m(i+1,j-w_i)+v_i\},j\ge w_i$
$m(i,j)=m(i+1,j),0\le j\le w_i$

DP求解的算法复杂度分析：
从$m(i,j)$的递归式容易看出，算法需要$O(n\cdot S)$的计算时间，其中S表示背包容量，这是一个伪多项式时间算法，因为当$S>2^n$时，算法需要$\Omega (n\cdot 2^n)$的计算时间。

对于0-1背包问题，当问题的输入变得无穷大时，我们需要付出极大的代价才能得到问题的最优解。对此我们希望设计一个**近似算法（2-近似算法）**能够保证该问题在多项式时间内被解决。

2-近似算法：求解0-1背包问题的贪心算法

输入： 正整数$S,w_1,v_1,w_2,v_2,...,w_n,v_n$。

首先，1）依据$\frac{v_i}{w_i}$（物品$i$的价值与重量之比）对物品进行排序，不妨设$\frac{v_1}{w_1}\ge \frac{v_2}{w_2}\ge ...\ge \frac{v_n}{w_n}$；

2）若${\sum }_{i=1}^n{w}_i\le S$，则输出：$C_G\leftarrow {\sum }_{i=1}^n{v}_i$，显然此时表示的含义是“物品的总重量不多于背包的容量，可以将物品全部放入”，此时输出的当然就是物品的总价值（因为可以被全部放入背包）；

否则求出最大的$k$，使其满足：
$$\begin{array}{r}\sum _{i=1}^k{w}_i\le S<\sum _{i=1}^{k+1}{w}_i\end{array}$$
上述不等式的含义是，找到最大的$k$使得无法再放入更多的物品了，即按照“价值-重量比”进行排序的前$k$个物品放入背包后，背包的剩余容量不足以放入第$k+1$个物品了。

输出：$C_G\leftarrow \max \{v_{k+1},{\sum }_{i=1}^k{v}_i\}$
此时输出结果，取按“价值-重量比”进行排序的前$k$个物品的价值总和${\sum }_{i=1}^k{v}_i$与第$k+1$个物品的价值$v_{k+1},$二者之间的最大者。

分析：
从算法的描述来看，0-1背包的2-近似贪心算法过程非常的简单，首先对物品按照$\frac{v_i}{w_i}$递减序进行排序，之后分析：如果物品的总重量不大于背包容量，则所有物品都可以被放入；否则，按照物品顺序找到最后一个可以被放入到背包当中的物品的位置$k$，此时第$k+1$个物品再放不进去了，因为再放进去就满了，此时便得到了输出：$C_G\leftarrow \max \{{\sum }_{i=1}^k{w}_i,v_{k+1}\}$。

定理：对于背包问题的一个实例，设opt表示最优解目标函数制，$C_G$是由上述算法生成的近似解目标函数值，则$opt\le 2C_G$（近似比为2，近似比的定义为使用算法求得的近似解的目标函数值与最优解的目标函数值之间的比值）

证明：
1）若${\sum }_{i=1}^n{w}_i\le S$，则$C_G=opt$：即如果所有物品的重量之和不大于背包容量，则最优解就是所有物品的价值之和；
2）若${\sum }_{i=1}^n{w}_i>S$，设$k$是算法得到的整数，可以证明${\sum }_{i=1}^k{v}_i\le opt<{\sum }_{i=1}^{k+1}{v}_i$，证明过程如下：

先放前$k$个物品进入背包，假定第$k+1$个物品是可分割的，将它进行分割来将已经放入了$k$个物品的背包装满，由于物品的顺序是按照“价值-重量比”递减排序的，第$k+1$个物品是没有放入背包的物品当中“价值-重量比”最大的物品，用它的分数来填满背包的剩余空间一定比使用比它顺序更靠后的物品来将背包填满所获得的价值更大。

$opt$小于${\sum }_{i=1}^{k+1}{v}_i$，最优值$opt$上界（非紧）求解：
$$\begin{array}{rl}& opt\le \hat{c}=\sum _{i=1}^k{v}_i+\frac{v_{k+1}}{w_{k+1}}(S-\sum _{i=1}^k{w}_i)<\sum _{i=1}^k{v}_i+\frac{v_{k+1}}{w_{k+1}}\cdot w_{k+1}=\sum _{i=1}^{k+1}{v}_i\\ & C_G=max\{v_{k+1},\sum _{i=1}^k{v}_i\}\ge \frac{1}{2}\sum _{i=1}^{k+1}{v}_i\ge \frac{opt}{2}(max\{a,b\}\ge \frac{1}{2}(a+b))\end{array}$$
证毕。

近似方案的定义与PTAS、FPTAS

近似方案

设$\pi$是目标函数为$f_{\pi }$的NP-hard最优化问题，如果关于输入$(I,ϵ)$，$I$为$\pi$的实例，$ϵ$为误差参数，算法$A$输出解$S$使得：
1）若$\pi$是最小化问题，$f_{\pi }(I,S)\le (1+ϵ)\cdot OPT$，目标函数在输入为$I$的实例下输出解$S$小于$(1+ϵ)\cdot OPT$
2）若$\pi$是最大化问题，$f_{pi}\ge (1-ϵ)\cdot OPT$
称算法$A$是NP-Hard优化问题$\pi$的近似方案。

PTAS和FPTAS的定义

PTAS（Polynomial-Time Approximation Scheme）

若对于一个固定的$ϵ>0$，算法$A$的运行时间以实例$I$的规模的多项式为上界，则称$A$是一个多项式时间近似算法（简称PTAS）。

FPTAS（Fully Polynomial-Time Approximation Scheme）

在PTAS的基础上，我们进一步要求算法$A$，即算法$A$的运行时间以实例$I$的规模和$\frac{1}{ϵ}$的多项式为上界，则称A是一个完全多项式时间近似算法（简称FPTAS）。

0-1背包的FPTAS算法

无论是多项式时间近似方案PTAS还是完全多项式时间近似方案FPTAS都是$(1+ϵ)$-近似算法。

PTAS中对于每一个固定的$ϵ>0$，算法$A$的运行时间以实例$I$的规模为$n$的多项式为上界。而FPTAS进一步要求算法$A$的运行时间以实例$I$的规模$n$以及误差参数$\frac{1}{ϵ}$的多项式为上界。

一个0-1背包的伪多项式时间算法

下面介绍一个0-1背包的伪多项式时间算法：
问题描述：
给定物品集合$S=\{a_1,a_2,...,a_n\}$，每个物品有指定的大小$size(a_i)\in Z^{+}$和指定的收益$profit(a_i)\in Z^{+}$，以及背包容量$B\in Z^{+}$，找一个子集，该子集的总大小以B为上界并且它的总收益最大。

算法思路：
定义$P$是收益最大的物品的收益，$P=ma{x}_{a_i\in S}profit(a_i)$。

则$nP$是任何解能够获得的收益的平凡上界。（这是显而易见的，用大白话来描述就是对于n个物品，取其中价值最高的物品，设它的价值是P，由于总共有n个物品，它们的总和无论如何也不会比$nP$更大）

对于每个$i\in \{1,...,n\}$和$p\in \{1,...,nP\}$，设$S_{i,p}$表示$\{a_1,...,a_i\}$的一个子集，该子集的总收益恰好是$p$，并且它的总大小$Size$最小。设$A(i,p)$表示集合$S_{i,p}$的大小（如果这样的集合不存在，则$A(i,p)=\infty$）。显然，对于每一个$p\in \{0,1,...,nP\}$，$A(1,p)$是已知的。（$A(1,p)$：$S_{i,p}$中仅包含一个物品，并且物品的收益为$p$）

由此可以给出递归式：
$A(i+1,p)=\min \{A(i,p),size(a_{i+1})+A(i,p-profit(a_{i+1}))\},ifprofit(a_{i+1})\le p$
$A(i+1,p)=A(i,p),otherwise$

0-1背包的FPTAS算法

Step 1：给定$ϵ>0$，设$K=\frac{ϵP}{n}$；
Step 2：对每个物品$a_i$，定义$profi{t}^{\prime }(a_i)=\lfloor \frac{profit(a_i)}{K}\rfloor$；
Step 3：用这些值作为物品新的收益，利用前述动态规划算法找到收益最大的集合，记为$S^{\prime }$；
Step 4：输出$S^{\prime }$。

多机调度的2-近似算法

问题描述： 给定n个jobs和m台machines，请设计一个2-近似算法来完成多机调度任务。具体来说，给定n个jobs，处理时间依次为$p_1,p_2,...,p_n$及整数m，寻找一个方案来将n个jobs分配给m个完全相同的machines，来使得完工时间最短。（多机调度问题是经典的NP-Hard问题）

算法描述： 非常之简单，仅仅分为两步
Step 1：对所有工作按任意顺序排序（即，可以不排序）；
Step 2：按次序在机器上对工作进行排序，把下一个工作排序给目前为止被分配了最少量工作的机器。
仅仅简单地使用上述两步便完成了多机调度的2-近似算法。

证明：
多机调度算法OPT解的$LowerBound=\max \{\frac{1}{m}({\sum }_{i=1}^n{p}_i),\max \{p_i\}\}$，即下界要么是所有工作时间之和与机器总数m之比，要么是最长作业时间，取二者中最大值。

设$M_i$是算法所产生的排序下最后完成的机器，并假设$j$是排序在这台机器上最后的作业下标。（将作业分配给$M_i$的原因是，目前为止$M_i$是被分配了最少量工作的机器，此时除了它之外其它机器都busy）

设作业$j$的开始时间为$Star{t}_j$，显然$Star{t}_j\le \frac{1}{m}{\sum }_k{p}_k\le OPT$，而又显然有$p_j\le OPT$，将两个不等式相加，得到$Star{t}_j+p_j\le 2OPT$，证毕。

近似算法中重要定义的回顾

近似比： 算法得到的近似解的目标函数值与最优解的目标函数值之间的比值；

PTAS： 若对于每一个固定的$ϵ>0$，算法$A$的运行时间以实例$I$的规模的多项式为上界，则称A是一个多项式时间近似方案。

FPTAS： 在PTAS的基础上，我们进一步要求算法$A$，即算法$A$的运行时间以实例$I$的规模和$\frac{1}{ϵ}$的多项式为上界，则称$A$是一个完全多项式时间近似方案。