【Chapter 2】Asympototic Analysis

Θ记号

对于一个给定的函数$g(n)$，用$\Theta (g(n))$来表示以下函数的集合：$\Theta (g(n))=\{f(n):存在正常量c_1,c_2和n_0,使得对所有n\ge n_0,有0\le c_{1}g(n)\le f(n)\le c_{2}g(n)\}$。若存在正常量（正的常数量）$c_1$和$c_2$，使得对于足够大的$n$，函数$f(n)$能“夹入”$c_{1}g(n)$与$c_{2}g(n)$之间，则$f(n)$属于集合$\Theta (g(n))$。

上图给出了f(n)与g(n)的直观画面，其中$f(n)=\Theta (g(n))$。对于在$n_0$及其右边的所有值，$f(n)$的值位于或高于$c_{1}g(n)$且位于或低于$c_{2}g(n)$。

举个例子，使用形式化的符号来证明$\frac{1}{2}{n}^2-3n=\Theta (n^2)$成立：
对于正常量$c_1,c_2,n_0$，使得对所有$n\ge n_0$有：

$c_1{n}^2\le \frac{1}{2}{n}^2-3n\le c_2{n}^2$

用$n^2$除以上式，得：

$c_1\le \frac{1}{2}-\frac{3}{n}\le c_2$

通过选择任何常量$c_2\ge \frac{1}{2}$，可以使右边的不等式对任何$n\ge 1$成立；同样，通过选择任何常量$c_1\le \frac{1}{14}$，可以使左边的不等式对任何$n\ge 7$的值成立。因此，通过选择$c_1=\frac{1}{14},c_2=\frac{1}{2},n_0=7$，即可证明$\frac{1}{2}{n}^2-3n=\Theta (n^2)$成立。
（选择$c_2=\frac{1}{2}$需要满足$n\ge 1$，而$n_0=7$显然是满足$n\ge 1$的）

O记号和Ω记号

$\Theta$记号渐进地给出一个函数的上界和下界，函数则被夹在上界和下界之间，当只有一个渐进上界时，使用$O$记号；只有一个渐进下界时，使用$\Omega$记号。

o记号和ω记号

$O$和$\Omega$给出的是渐进紧确界，而小写字母符号中的$o$和$\omega$给出的则是非渐进紧确界，此时对于$o$和$\omega$两种记号，不等式当中的等号不再成立。

算法导论中与Θ有关的练习题

由于上课时明确指出，考试的第一题是使用纯符号进行一个有关$\Theta$记号的证明题，并且这个证明题是出自于算法导论课后题的，因此使用博客的方式对复习过程进行记录。算法导论课后题的答案参考自：https://zhuanlan.zhihu.com/p/35850085。

3.1-1

题目描述： 假设$f(n)$和$g(n)$都是渐进非负函数。使用$\Theta$记号的基本定义来证明$max(f(n),g(n))=\Theta (f(n)+g(n))$。

解答：
对于渐进非负函数$f(n),g(n)$，有：

$\exists n_1,n_2:f(n)\ge 0,n\ge n1;g(n)\ge 0,n\ge n_2$

令$n_0=max(n_1,n_2)$，针对$n\ge n_0$，有下述不等式成立：

$f(n)\le max(f(n),g(n))$
$g(n)\le max(f(n),g(n)$
$\frac{f(n)+g(n)}{2}\le max(f(n),g(n))$
$max(f(n),g(n))\le f(n)+g(n)$

将第三个和第四个不等式进行组合，得到：

$\frac{f(n)+g(n)}{2}\le max(f(n),g(n))\le f(n)+g(n)$

综上所示，存在当$c_1=\frac{1}{2},c_2=1,n_0=max(n_1,n_2)$使得上述不等式成立。

原命题得证。

3.1-2

题目描述： 证明：对任意实常量$a$和$b$，其中$b>0$，有：$(n+a{)}^b=\Theta (n^b)$。

解答：
根据二项式定理，对$(n+a{)}^b$进行展开：

$(n+a{)}^b=C_0^b{n}^b{a}^0+C_1^b{n}^{b-1}{a}^1+...+C_b^b{n}^0{a}^b$

此外，对于任何多项式，在$x\ge 1$的前提下，有下述不等式成立：

$a_0{x}^0+a_1{x}^1+...+a_n{x}^n\le (a_0+a_1+...+a_n)x^n$

又，根据二项式定理，有：$C_0^b+C_1^b+...+C_b^b=2^b$（令$(1+x{)}^n$展开后x为1即可得）成立；
综上，有：

$C_0^b{n}^b\le C_0^b{n}^b{a}^0+C_1^b{n}^{b-1}{a}^1+...+C_b^b{n}^0{a}^b\le 2^b{n}^b$

即$(n+a{)}^b=\Theta (n^b)$得证。

3.1-5

题目描述： 证明定理3.1：对任意两个函数$f(n)$和$g(n)$，我们有$f(n)=\Theta (g(n))$，当且仅当$f(n)=O(g(n))且f(n)=\Omega (g(n))$。

解答：
对于$f=\Theta (g(n))$，有：

$0\le c_{1}g(n)\le f(n)\le c_{2}g(n),n>n_0$

而对于$f(n)=\Omega (g(n))$和$f(n)=O(g(n))$，有：

$0\le c_{3}g(n)\le f(n),n\ge n_1$
$0\le f(n)\le c_{4}g(n),n\ge n_2$

取$n_3=max(n_1,n_2)$，并合并不等式，得到：

$0\le c_{3}g(n)\le f(n)\le c_{4}g(n),n\ge n_3$

它与$\Theta$的定义相同，原命题得证。

3.1-6

题目描述： 证明：一个算法的运行时间为$\Theta (g(n))$当且仅当其最坏情况运行时间为$O(g(n))$，且其最好情况运行时间为$\Omega (g(n))$。

解答：
使用$T_w$代表最坏情况运行时间，而使用$T_b$代表最好情况运行时间，可以得到：

$0\le c_{1}g(n)\le T_b(n),n>n_b$
$0\le T_w(n)\le c_{2}g(n),n>n_w$

组合上述不等式，得到：

$0\le c_{1}g(n)\le T_b(n)\le T_w(n)\le c_{2}g(n),n>max(n_b,n_w)$

由于运行时间介于$T_b$和$T_w$之间，并且上式正是$\Theta$记号的定义，因此原命题成立，证毕。

3.2-8

题目描述： 证明：$klnk=\Theta (n)$蕴含着$k=\Theta (\frac{n}{lnn})$

解答：
首先根据$\Theta$的对称性，得到：

$klnk=\Theta (n)\to n=\Theta (klnk)$

现在寻找$lnn$：

$lnn=\Theta (ln(klnk))=\Theta (lnk+ln(lnk))=\Theta (lnk)$

将上面两个式子相除，构造$\frac{n}{lnn}$，得到：

$\frac{n}{lnn}=\frac{\Theta (klnk)}{\Theta (lnk)}=\Theta (\frac{klnk}{lnk})=\Theta (k)$

再由$\Theta$的对称性，得到$k=\Theta (\frac{n}{lnn})$。

3-4 h.

题目描述： 证明：$f(n)+o(f(n))=\Theta (f(n))$

解答：
对于$o(f(n))$，令$g(n)=o(f(n))$，有：

$0\le g(n)\le cf(n)$

因此，有下述不等式成立：

$0\le c_{1}f(n)\le f(n)+g(n)\le c_{2}f(n)$

选取$c_1=1,c_2=c+1$可以使原命题成立。