算法设计与分析——贪心法

贪心法的思想（听着容易，然是需要证明啊）

贪心选择性
优化子结构
后面老师还讲了拟阵，那块特别抽象，写着就没啥必要了。

课上例题

1.活动安排问题

输入：$S=\{1,2,\dots ,n\}，F=\{[s_i，f_i]\}，n\ge i\ge 1$
输出：$S$的最大相容集合

首先应该明白什么是相容的，用图片的方式就能很容易的表现出来。

Mon 06 Mon 13 [s_i,f_i] [s_j,f_j] [s_k,f_k]

上图中表示的就是相容的活动，也就是对于$\forall 1\le i,j\le n,s_i\ge f_j或s_j\ge f_i$，更直观一点就是两个活动的时间上不能有交集。我们这种题的贪心思想就是：为了选择最多的相容活动，每次选$f_i$（或者$s_i$）最小的活动，使我们能够选更多的活动。下面就应该分别证明贪心选择性和优化子结构（一般就是使用反证法和归纳法）：

设$S=\{1,2,\dots ,n\}$是$n$个活动集合，$[s_i，f_i]$是活动的起始终止时间，且$f_1\le f_2\le \dots .\le f_n，S$的活动选择问题的某个优化解包括活动$1$.

证明：假设$A$是$S$的一个优化解，$A$的第一个活动的结束时间是$f_k$，对$\forall s_j\in A$，因为A是优化解，所以$A$中的活动都是相容的，所以$f_k\le s_j$，因为$f_1\le f_2\le \dots .\le f_n$，所以$f_1\le f_k\le s_j$，所以$A^{\prime }=A-[s_k,f_k]+[s_1,f_1]$也一定是一个优化解，里面的元素都是互不相容的并且$|A|=|A^{\prime }|$。

设$S=\{1,2,\dots ,n\}$是$n$个活动集合，$[s_i，f_i]$是活动$i$ 的起始终止时间，且$f_1\le f_2\le \dots .\le f_n$，设$A$是$S$的调度问题的一个优化解且包括活动$1$，则$A^{\prime }=A-\{1\}$ 是$S^{\prime }=\{i\in S|s_i\le f_1\}$的调度问题的优化解.

证明：由于$A$是一个优化解，所以$A$中的元素肯定是互不相容的，所以$A^{\prime }=A-\{1\}$里面的活动也一定都是互不相容的，所以我们只需要证明他是个最大的互不相容的活动的集合就好了。如果他不是最大的，有$B^{\prime }$ 是$S^{\prime }=\{i\in S|s_i\le f_1\}$的调度问题的优化解。同时$|B^{\prime }|>|A^{\prime }|$。所以，而$B^{\prime }$中一定是不含活动1的，所以令$B=B^{\prime }+\{1\}$，所以$|B|>|A|$，但是$A$是一个优化解，所以矛盾。

设 $S=1,2,\dots .,n$ 是$n$个活动集合，$f_0=0$,$l_i$ 是 $S_i=\{j\in S|s_j\ge f_{i-1}\}$ 中具有最小结束时间 $f_{l_i}$的活动.设$A$是$S$的包含活动$1$的优化解, 其中$f1\le \dots \le fn$，则$A={\cup }_{i=1}^k{l}_i$

证明：$|A|=1$的时候，$A$中显然包含$l_1$；假设$|A|<k$的时候成立，往证$|A|=k$的时候成立，$A=A^{\prime }+\{1\}$，$A^{\prime }$是$S^{\prime }=\{i\in S|s_i\le f_1\}$的优化解，加上$\{1\}$就是$S$的优化解了。

（设$f1\le f2\le \dots .\le fn$已排序）
$$\begin{gathered} Greedy-Activity-Selector(S,F) \\ (1)n\leftarrow length(S); \\ (2)A\leftarrow 1 \\ (3)j\leftarrow 1 \\ (4)Fori\leftarrow 2TonDo \\ (5)Ifsi\ge fj \\ (6)ThenA\leftarrow A\cup i；j\leftarrow i； \\ (7)Return \end{gathered}$$
时间复杂度：$T(n)=\Theta (nlogn)$

2.哈夫曼编码问题

输入: 字母表$C=\{c1,c2,....,cn\}$频率表$F=\{f(c1),f(c2),...,f(cn)\}$
输出: 具有最小$B(T)$的$C$前缀编码树（$B(T)={\sum }_{c\in C}f(c)d(c)$）

设$C$是字母表，$c\in C$，$c$具有频率$f(c)$, $x$、$y$是$C$中具有最小频率的两个字符，则存在一个$C$的优化前缀树，$x$与$y$的编码具有相同长度，且仅在最末一位不同.

证明：假设$b,c$是两个深度最大的叶子结点，因为$x$、$y$是$C$中具有最小频率的两个字符，所以$f(b)\ge f(x),f(c)\ge f(y)$，所以将$x$和$b$互换位置，$y$和$c$互换位置，得到$T^{\prime }$，那么$B(T)-B(T^{\prime })=f(x)d(x)+f(y)d(y)+f(b)d(b)+f(c)d(c)-f(x)d(b)-f(y)d(c)-f(b)d(x)-f(c)d(y)=(f(x)-f(b))(d(x)-d(b))+(f(y)-f(c))(d(y)-d(c))\ge 0$，所以换完了之后获得了一个代价更小的树。

设$T$是字母表$C$的优化前缀树，$c\in C$，$f(c)$是$c$在文件中出现的频率.设$x$、$y$是$T$中任意两个相邻叶结点，$z$是它们的父结点，则$z$作为频率是$f(z)=f(x)+f(y)$的字符，$T’=T-\{x,y\}$是字母表$C’=C-\{x,y\}\cup \{z\}$的优化前缀编码树.

证明：首先$B(T)=B(T^{\prime })+f(x)+f(y)$这个是很好证明的，对于$\forall k\in C,k\ne x\&\&k\ne y,f(k)=f^{\prime }(k),d(k)=d^{\prime }(k)$，所以对于其他的节点没有任何影响，对于$x,y，d(x)=d(y)=d^{\prime }(z)+1,f^{\prime }(z)=f(x)+f(y)$，所以，$B(T^{\prime })=\sum d^{\prime }(k)f^{\prime }(k)+d^{\prime }(z)f^{\prime }(z)=\sum d(k)f(k)+(d(x)-1)(f(x)+f(y))=B(T)-f(x)-f(y)$，现在证明$T^{\prime }$是最优的子树，如果不是则存在$T^{\prime \prime }$使得$B(T^{\prime \prime })<B(T)$，将$x,y$放回$T^{\prime \prime }$中，$B(T^{\prime \prime \prime })=B(T^{\prime \prime })+f(x)+f(y)<B(T)$，矛盾，所以$T^{\prime }$是最优的子树。

$$\begin{gathered} Huffman(C，F) \\ (1)n\leftarrow C; \\ (2)Q\leftarrow C; \\ (3)FORi\leftarrow 1Ton-1Do \\ (4)z\leftarrow Allocate-Node(); \\ (5)x\leftarrow left[z]\leftarrow Extract-MIN(Q); \\ (6)y\leftarrow right[z]\leftarrow Extract-MIN(Q); \\ (7)f(z)\leftarrow f(x)+f(y); \\ (8)Insert(Q,z); \\ (9)Return \end{gathered}$$
时间复杂度：$T(n)=O(nlogn)$

3.最小生成子树

输入: 无向连通图$G=(V,E)$, 权函数$W$
输出: $G$的最小生成树
这个主要就是$kruskal$和$prim$算法

设$uv$是$G$中权值最小的边，则必有一棵最小生成树包含边$uv$.

证明：如果最小生成树$T$中不包含边$uv$，那么找到$T$中的最小边$u^{\prime }{v}^{\prime }$，令$T^{\prime }=T-\{uv\}+\{u^{\prime }{v}^{\prime }\}$，我们能够发现$T^{\prime }$中包含了所有的顶点，而且是一棵树，并且$W(T^{\prime })\le W(T)$，跟$T$是最小生成树矛盾，所以一定包含最短边$uv$。

给定加权无向连通图$G=(V,E)$,权值函数为$W:E\to R$, $uv\in E$是$G$中权值最小的边。设$T$是$G$的包含$uv$的一棵最小生成树，则$T\cdot uv$是$G\cdot uv$的一棵最小生成树.

证明：我们发现$T\cdot uv$肯定包含了$G\cdot uv$中的所有顶点，所以$T\cdot uv$肯定是棵树，现在证明他是最小的。假设他不是最小生成树，存在$T^{\prime }$是$G\cdot uv$的最小生成树，$T^{\prime }$中肯定包含$C_{uv}$这个点，将边$uv$加到$G\cdot uv$中，则$W(T^{\prime })+W(uv)<W(T\cdot uv)+W(uv)=W(T)$，与$T$是$G$的最小生成树矛盾。

$$\begin{gathered} MST-Kruskal(G,W) \\ (1)A=\varnothing ; \\ (2)For\forall v\in V[G]Do \\ (3)Make-Set(v); \\ (4)按照W值的递增顺序排序E[G]; \\ (5)For\forall (u,v)\in E[G](按W值的递增顺序)Do \\ (6)IfFind-Set(u)\ne Find-Set(v) \\ (7)ThenA=A\cup (u,v);Union(u,v); \\ (8)Return \end{gathered}$$
时间复杂度是：$T(n)=O(mlogm),m=|E|$

$$\begin{gathered} MST-Prim(G,W,r) \\ (1)For\forall v\in V[G]Do \\ (2)key[v]\leftarrow +\infty \\ (3)[v]\leftarrow null \\ (4)key[r]\leftarrow 0 \\ (5)Q\leftarrow V[G] \\ (6)WhileQ\ne \varnothing do \\ (7)u\leftarrow Extract\_Min(Q) \\ (8)for\forall v\in Adj[u]do \\ (9)ifv\in Q且w(u,v)<key[v]then \\ (10)\pi [v]\leftarrow u \\ (11)key[v]\leftarrow w(u,v) \\ (12)ReturnA=\{(v,\pi [v])|v\in V[G]-r\} \end{gathered}$$
时间复杂度是：$T(n)=O(ElogV)$

课后习题

1.现有一台计算机, 在某个时刻同时到达了$n$个任务。该计算机在同一时间只能处理一个任务, 每个任务都必须被不间断地得到处理。该计算机处理这 $n$个任务需要的时间分别为 $a_1,a_2,...,a_n$。将第 $i$ 个任务在调度策略中的结束时间记为 $e_i$。请设计一个贪心算法输出这 $n$ 个任务的一个调度使得用户的平均等待时间 $1/n\sum e_i$达到最小。

解：贪心算法：每次都选择消耗时间少的
贪心选择性：即有一个最优解优先执行任务1，假设任务1是执行时间最少的。任务$j$的结束时间就是${\sum }_{i=1}^j{a}_i$那么平均等待时间就是$1/n∑e_i=$1/n{\sum }_{j=1}^n{\sum }_{i=1}^j{a}_i$，假设有一个最优解$i_1,i_2,...,i_n$，若$i_1$是任务1，那么就有一个最优解优先执行任务1了。若$i_t$是任务1，那么交换$i_1$和$i_t$，新的等待时间$T^{\prime }=n{i}_t+(n-1)i_2+...+(n-t+1)i_1+...+i_n$而$T=n{i}_1+(n-1)i_2+...+(n-t+1)i_t+...+i_n$，$T^{\prime }-T=n(i_t-i_1)+(n-t+1)(i_1-i_t)=(t-1)(i_t-i_1)\le 0$而$T$是优化解，所以$T=T^{\prime }$，所以先执行任务1，也是一个优化解

优化子结构：有一个$i_1,i_2,...,i_n$是$n$个任务的优化解，则$i_2,...,i_n$是$n-1$个任务的优化解。不然，则存在一组解$j_2,...,j_n$，其等待时间$T^{\prime \prime \prime }<T^{\prime \prime }$，所以$i_1,j_2,...,j_n$是$n$个问题的优化解，这就与$i_1,i_2,...,i_n$是$n$个任务的优化解矛盾。

2.现有面值为 1 角、5 分、2 分、1 分的硬币, 每种硬币的个数都是无限的。给出一个贪心算法, 使得对任意给定的面值为 $n(n>18)$ 分的纸币能够将它兑换成币值相等的硬币且使用硬币个数最少。证明算法的正确性并分析其复杂度。

解：贪心算法：每次选择面值尽可能大的硬币
贪心选择性：当$n\ge 10$时，选择1角硬币，若不然，则需要选2个5分或 5个2分或10个1分硬币；当$5\le n<10$时，选择5分，若不然，则需要选择5个1分或2个2分1个1分或1个2分3个1分；当$2\le n<5$时，选择2分，若不然，则需要选择2个1分。显然按面值选好。
优化子结构：显然有优化子结构。

3.给定 $k$ 个排好序的有序序列 $s_1,s_2,...,s_k$ ，现在用 2 路归并排序算法对这些有序序列排序。假定用 2 路归并排序算法对长度分别为 $m$ 和 $n$ 的有序序列排序要用 $m+n-1$ 次比较操作。设计一个贪心算法合并 $s_1,s_2,...,s_k$ 使得所需的比较操作次数最少。

解：贪心算法：选择$s_{i}length$最小的两个进行合并。
贪心选择性：假设$b,c$是两个深度最大的叶子结点，因为$x$、$y$是$S$中具有长度最小的两个序列，所以$f(b)\ge f(x),f(c)\ge f(y)$，所以将$x$和$b$互换位置，$y$和$c$互换位置，得到$T^{\prime }$，那么$B(T)-B(T^{\prime })=f(x)d(x)+f(y)d(y)+f(b)d(b)+f(c)d(c)-f(x)d(b)-f(y)d(c)-f(b)d(x)-f(c)d(y)=(f(x)-f(b))(d(x)-d(b))+(f(y)-f(c))(d(y)-d(c))\ge 0$，所以换完了之后获得了一个代价更小的树。
优化子结构：首先$B(T)=B(T^{\prime })+f(x)+f(y)$这个是很好证明的，对于$\forall k\in C,k\ne x\&\&k\ne y,f(k)=f^{\prime }(k),d(k)=d^{\prime }(k)$，所以对于其他的节点没有任何影响，对于$x,y，d(x)=d(y)=d^{\prime }(z)+1,f^{\prime }(z)=f(x)+f(y)$，所以，$B(T^{\prime })=\sum d^{\prime }(k)f^{\prime }(k)+d^{\prime }(z)f^{\prime }(z)=\sum d(k)f(k)+(d(x)-1)(f(x)+f(y))=B(T)-f(x)-f(y)$，现在证明$T^{\prime }$是最优的子树，如果不是则存在$T^{\prime \prime }$使得$B(T^{\prime \prime })<B(T)$，将$x,y$放回$T^{\prime \prime }$中，$B(T^{\prime \prime \prime })=B(T^{\prime \prime })+f(x)+f(y)<B(T)$，矛盾，所以$T^{\prime }$是最优的子树。

4.给定两个大小为 $n$ 的正整数集合 $A$ 和 $B$。对于 $A$ 到 $B$ 的一个一一映射 $f$, 不妨设 $f(a_i)=b_i(i=1,...,n)$, 则 $f$ 的代价为$\sum n_i=a_i^{b_i}$。试设计一个贪心算法, 找出从 $A$ 到 $B$ 的代价最大的一一映射。

解：贪心算法：每次选择$A$和$B$中最大的两个数
贪心选择性：将$A$和$B$排序，之后等到递减序列$a_1,a_2,...,a_n$和$b_1,b_2,...,b_n$，若$f(a_1)=b_i$，$f(a_j)=b_1$，交换两个使得$f(a_1)=b_1$，$f(a_j)=b_i$，得到差$\delta =a_1^{b_1}+a_j^{b_i}-a_1^{b_i}-a_j^{b_1}=a_1^{b_i}(a_1^{b_1-b_i}-1)-a_j^{b_i}(a_j^{b_1-b_i}-1)\ge 0$所以，选最大的两个数更好
优化子结构：$f^{\prime }:A-a_1\to B-b_1$,排序后$f(a_i)=b_i(i=2,...,n)$，若不然，则存在一个映射$f^{\prime \prime }$使得代价更大，加上$f(a_1)=b_1$这个条件，就与$f$是优化解矛盾。

5.一个$DNA$ 序列 $X$ 是字符集 $G,T,A,C$ 上的串, 其上有大量信息冗余。设 $x$是 $X$ 的子串,$x$ 及其冗余形式在 $X$ 内在出现的起、止位置构成了一系列等长区间 $[p_1,q_1],...,[p_m,q_m]$。试设计一个贪心算法找出 $[p_1,q_1],...,[p_m,q_m]$中互不相交的区间的最大个数, 即确定 $x$ 的独立冗余度。

解：贪心算法：每次选$q_i$最小的区间（选$p_i$最大的区间也一样）
贪心选择性：将区间按照$q_i$排序得到$[p_1,q_1],...,[p_m,q_m]$，证明存在优化解包含$[p_1,q_1]$，设有优化解$S$，第一个元素是$[p_i,q_i]$，若$i=1$，那么结论成立，否则$S’=S-\{i\}+\{1\}$，对于任意元素$q_1<q_j$，因为优化解$S$第一个元素是$[p_i,q_i]$，所以$q_i<p_j$，所以$q_1<p_j$，所以$S^{\prime }=S-\{i\}+\{1\}$还是优化解。
优化子结构：$S$是包含$\{1\}$的优化解，证明$S^{\prime }=S-\{1\}$是最大的。若不然，存在$S^{\prime \prime }$使得$|S^{\prime \prime }|>|S^{\prime }|$，其中$|S^{\prime }|$和$|S^{\prime \prime }|$的区间互不相交。加上$\{1\}$则$|S^{\prime \prime }+\{1\}|>|S^{\prime }+\{1\}|=|S|$，矛盾。

6.某工厂收到 $n$ 个订单 $(a_i,b_i)$, 其中 $a_i$ 和 $b_i$ 均是正整数 $(1\le i\le n)$, 订单$(a_i,b_i)$希望在时间$b_i$之前获得$a_i$件产品。工厂的生产能力为每个时间单位生产 1 件产品。工厂希望拒绝最少数量的订单, 并恰当地排序剩下的订单使得剩下的订单均能够被满足。试设计一个贪心算法求解上述问题。

解：贪心算法：每次选择$b_i-a_i$最大的元素
贪心选择性：假设有优化解$S$，其$b_i$中最大的元素是$b_j$，若$b_j-a_j$是 $n$ 个订单 $(a_i,b_i)$中$b_i-a_i$最大的元素，则成立，否则$S^{\prime }=S-\{j\}+\{i\}$那么$S^{\prime }$中是相互独立且含有$b_i-a_i$最大的一个优化解。
优化子结构：$S^{\prime \prime }=S-\{i\}$是剩余订单的优化解，如不然，存在一个$S^{\prime \prime \prime }$使得订单数量更大。$|S^{\prime \prime \prime }+\{i\}|>|S^{\prime \prime }+\{i\}|>|S|$，与$S$是优化解矛盾。

7.输入 $n$ 个区间 $[a_i,b_i]$, 其端点满足 $1\le a_i\le i\le b_i\le n$, 试设计一个贪心算法选出最少区间覆盖 $[1,n]$。

解：这道题端点满足 $1\le a_i\le i\le b_i\le n$就很诡异，按道理只存在一个区间覆盖和两个区间覆盖的情况，只要扫一遍就行了。感觉不存在贪心。

参考：哈工大算法设计与分析PPT