算法导论（第三版）第二章 算法基础

2.1插入排序

开篇首先介绍了插入排序，插入排序伪代码如下：

INSERTION-SORT(A)
    for j = 2 to A.length
        key = A[j]
        // Insert A[j] into the sorted sequence A[1..j-1]
        i = j - 1
        while i > 0 and A[i] > key
            A[i + 1] = A[i]
            i = i - 1
        A[i + 1] = key

插入排序C语言实现在此
接着定义了循环不变式。循环不变式非常重要，在以后大部分算法的证明中都起到了至关重要的作用。
循环不变式主要用来帮助我们理解算法的正确性，关于循环不变时，必须证明三条性质：

1. 初始化：循环的第一次迭代之前，它为真
2. 保持：如果循环的某次迭代之前它为真，那么下次迭代之前它仍然为真。
3. 终止：在循环终止时，不变式为我们提供了一个有用的性质，该性质有助于证明算法是正确的。

并在之后介绍了本书中伪代码的一些约定，在此不加赘述。
第二章第一小节习题没什么重要内容：
2.1-1手动模拟插入排序在数组上的操作过程
2.1-2重写插入排序使结果按降序排列
2.1-3要求实现线性查找代码
2.1-4考虑用数组将两个n为二进制数相加，涉及到进位。

2.2分析算法

首先介绍了随机访问模型即RAM模型（random-access machine）。
接着讨论了输入规模和运行时间，并以插入排序的伪代码作为例子，计算出其最坏运行时间为n的二次函数。
再引入了最坏情况于平均情况分析，以及增长量级是概念。
第二章第二小节习题也没什么重要内容：
2.2-1用$\Theta$记号表示某个函数
2.2-2分析并实现选择排序算法
2.2-3分析线性查找算法复杂度
2.2-4略

2.3设计算法

设计算法的技术有很多，插入排序用了增量的方法，而本节提出了分治的方法。
分治模式在每层递归时都有三个步骤：

1. 分解原问题为若干子问题，这些子问题是原问题的规模较小的实例。
2. 解决这些子问题，递归地求解各子问题。然而，若子问题的规模足够小，则直接求解。
3. 合并这些子问题的解成原问题的解。

接着讨论了归并排序，并使用循环不变式证明了其正确性。其伪代码如下：

MERGE(A,p,q,r)
    n1 = q - p + 1
    n2 = r - q
    let L[1..n1+1] and R[1..n2+1] be new arrays
    for i = 1 to n1
        L[i] = A[p + i - 1]
    for j = 1 to n2
        R[j] = A[q + j]
    L[n1 + 1] = INT_MAX
    R[n2 + 1] = INT_MAX
    i = 1
    j = 1
    for k = p to r
        if L[i] <= R[j]
            A[k] = L[i]
            i = i + 1
        else
            A[k] = R[j]
            j = j + 1

MERGE-SORT(A,p,r)
    if p < r
        q = (p + r) / 2
        MERGE-SORT(A,p,q)
        MERGE-SORT(A,q+1,r)
        MERGE(A,p,q,r)

C语言实现在此
接下来分析了分治算法的复杂度递归式，并求出归并排序最坏情况下运行时间的递归式，初步运用了递归树讨论得出了归并算法的时间复杂度。
对于算法的分析，其使用了递归方程（递归式）来描述其运算复杂度。假设T(n)是规模为n的一个问题的运行时间，若问题规模足够小，如对某个常量c，n<=c，则直接求解只需要常量时间，将其记作$\Theta (1)$，假设把问题分解为a个子问题，每个子问题的规模为原问题的1/b，为求解一个规模为n/b的子问题需要T(n/b)的时间，如果分解子问题需要时间D(n)，合并子问题的解成原问题的解需要时间C(n)，那么得到如下递归式：
$$f(x)=\{\begin{array}{rlrl}& \Theta (1)& 若n\le c& \\ & aT(n/b)+D(n)+C(n)& 其他& \end{array}$$
归并排序中，a和b均为2，并使用了递归树来分析了归并排序的算法复杂度。在其后的章节中将看到如何求解这些常见的递归式。
该节的习题如下：
2.3-1手动模拟归并排序操作
2.3-2重写归并排序使其不用哨兵
2.3-3使用数学归纳法证明归并排序递归式的解
2.3-4更改插入排序为递归过程，并写出递归式
2.3-5实现二分查找，并分析二分查找的最坏运行时间
2.3-6问插入排序与二分查找的结合是否能降低插入排序的时间复杂度，并不可以，因为还是要移动元素
2.3-7在$\Theta (n\lg n)$时间内判断一个集合中是否有和为给定值的元素，使用归并排序后从两端逼近即可

本章最重要的就是循环不变式和分治思想。循环不变式对于很多算法的证明有极大的帮助，而分治思想经常被用来解决问题，后面的章节还会提到。

思考题

2-1在归并排序中对小数组采用插入排序：归并排序最坏情况的运行时间为$\Theta (n\log n)$，而插入排序最坏情况下为$\Theta (n^2)$。但是插入排序中的常量因子可能使得它在n较小时在许多机器上运行更快。因此在归并排序中，当子问题变得足够小时采用插入排序来使得递归树的叶变粗是有意义的。该问题讨论了加入了插入排序的归并排序的算法复杂度以及选取在何时将归并操作代替为插排操作。
2-2冒泡排序的正确性：利用循环不变式证明冒泡排序算法的正确性，并分析其算法复杂度。
2-3霍纳规则的正确性：即多项式计算的秦九韵算法（简化多项式计算）。
2-4逆序对：计算逆序对个数，在排序算法中加入原数据的位置即可，逆序数在行列式的计算过程中也有一定提及。