算法导论 — 8.3 基数排序

笔记

基数排序的做法为：对一组输入整数，先按最低位数字排好序，然后按次低位数字排好序，如此迭代，直至最后一步按最高位数字排好序，此时所有输入数据已排好序。基数排序要求对单个数字采用的排序算法是稳定的。
　　以十进制数为例，基数排序算法先按个位数字排序，然后按十位数字排序……直至最后按最高位数字排序。下图给出了一个例子。
　　
　　下面给出基数排序的伪代码。在下面的代码中，我们假设输入数组$A$包含$n$个$d$位数，其中第$1$位是最低位，第$d$位是最高位。
　　
　　关于基数排序算法，有两点需要说明。
　　(1) 直观上，我们可能觉得应该先排序最高位数字，最后排序最低位数字。但是这样做，会产生额外的开销。我们仍然看上面的例子，先按百位数字排序，得到如下序列。
　　
　　在上面的序列中，按百位数字的不同分成了$5$个子序列，分别标以不同的颜色。接下来我们要按十位数字排序。在这一步，我们并不是对整个序列进行排序，而是对$5$个子序列分别进行排序，这需要额外的空间来记录$5$个子序列的下标。
　　而基数排序算法先排序最低位数字，最后排序最高位数字。每一轮排序都是对整个数组进行排序，不会产生额外的空间开销。
　　(2) 基数排序要求每一轮排序都是稳定的。我们还是以上面的例子来说明这一点。第一轮排序完成后，得到的序列为$<720,355,436,457,657,329,839>$。观察标红色的两个数$436$和$839$。由于第一轮按个位数字排序，故第一轮排序结束后，$436$排在$839$前面。第二轮按十位数字排序。$436$和$839$的十位数字都为$3$，如果采用非稳定排序，那么第二轮排序结束后有可能$839$排在$436$之前，这显然不是我们想要的结果。故每一轮排序都必须是稳定的。
　　下面我们讨论基数排序的时间复杂度。给定$n$个$d$位数，其中每一位数有$k$个可能的取值$(0$ ~ $k-1)$。如果基数排序每一轮都采用计数排序，那么每一轮消耗的时间为$\Theta (n+k)$。于是整个基数排序的运行时间为$\Theta (d(n+k))$。
　　计算机处理的都是二进制数。我们可以把基数排序的输入数据都看成二进制数，再做分析。给定$n$个$b$位二进制数和任何正整数$r\le b$。如果基数排序每一轮都使用计数排序，那么基数排序可以在$\Theta ((b/r)(n+2^r))$时间内完成。这一结论不难证明。可以将一个$b$位数二进制数看成是由$d=\lceil b/r\rceil$个$r$位数组成。于是总共要跑$\lceil b/r\rceil$轮计数排序，每轮计数排序只对相应的$r$位数进行。由于$r$位数的取值范围为$0$ ~ $2^r-1$，故每轮计数排序所花费的时间为$\Theta (n+2^r)$。于是得到，整个基数排序的运行时间为$\Theta ((b/r)(n+2^r))$。
　　对于给定的$n$和$b$，该如何选择$r$，才能够最小化表达式$(b/r)(n+2^r)$。下面分两点说明。

• 如果$b<\lfloor \mathrm{l}\mathrm{g}n\rfloor$，即$n$比较大，$n$超过$2^b$，则对于任何$r\le b$，都有$(n+2^r)=\Theta (n)$。选择$r=b$，可以得到$(b/r)(n+2^r)=(b/b)(n+2^r)=\Theta (n)$，这一结果是渐近最优的，并且此时基数排序退化为计数排序。
• 如果$b\ge \lfloor \mathrm{l}\mathrm{g}n\rfloor$，即$n$比较小，$n$不超过$2^b$，那么选择$r=\lfloor \mathrm{l}\mathrm{g}n\rfloor$可以得到偏差不超过常系数范围内的最优时间代价。选择$r=\lfloor \mathrm{l}\mathrm{g}n\rfloor$，得到的运行时间为$\Theta ((bn/\mathrm{l}\mathrm{g}n)$。如果$r$值超过$\lfloor \mathrm{l}\mathrm{g}n\rfloor$，并且$r$值逐步增加，表达式$(b/r)(n+2^r)$分子中的$2^r$项比分母中的$r$项增加要快，此时运行时间将超过$\Theta ((bn/\mathrm{l}\mathrm{g}n)$。反之，如果$r$值小于$\lfloor \mathrm{l}\mathrm{g}n\rfloor$，并且$r$值一直减小，表达式$(b/r)(n+2^r)$中的$(b/r)$项会增大，而$(n+2^r)$保持为$\Theta (n)$，此时运行时间也将超过$\Theta ((bn/\mathrm{l}\mathrm{g}n)$。

练习

8.3-1 参照图8-3的方法，说明RADIX-SORT在下列英文单词上的操作过程：COW, DOG, SEA, RUG, ROW, MOB, BOX, TAB, BAR, EAR, TAR, DIG, BIG, TEA, NOW, FOX。
　　解
　　

8.3-2 下面的排序算法中哪些是稳定的：插入排序、归并排序、堆排序和快速排序？给出一个能使任何排序算法都稳定的方法。你所给出的方法带来的额外时间和空间开销是多少？
　　解
　　插入排序和归并排序是稳定的。堆排序和快速排序是不稳定的。
　　一个能使任何排序算法都稳定的方法是：对于一个输入数组$A[1..n]$，新开一个数组$ID[1..n]$，记录每个输入元素的下标；如果比较两个输入元素相等，再比较二者的下标，以确定二者的次序；如果排序过程中交换两个输入元素$A[i]$和$A[j]$，二者对应的下标$ID[i]$和$ID[j]$也同样做交换。
　　该方法引入了一个新数组$ID[1..n]$，因此额外空间开销为$\Theta (n)$。该方法带来的额外时间开销取决于新数组$ID[1..n]$中元素的比较次数，这一比较次数最多不会超过输入数组$A[1..n]$中元素的比较次数，因此这一做法只会在原排序算法的运行时间上增加常数因子，而并不改变原排序算法的渐近运行时间。

8.3-3 利用归纳法来证明基数排序是正确的。在你所给出的证明中，在哪里需要假设所用的底层排序算法是稳定的？
　　略

8.3-4 说明如何在$O(n)$时间内，对$0$到$n^3-1$区间内的$n$个整数进行排序。
　　解
　　定义一种$n$进制$3$位数$xyz$。由于所定义的$3$位数为$n$进制，因此每位数可能取值为$0$ ~ $n-1$，其数值为$(x{n}^2+yn+z)$。显然，这样的$3$位数最小值为$0$，最大值为$(n-1)n^2+(n-1)n+(n-1)=n^3-1$，所以其取值范围为$0$ ~ $n^3-1$。
　　对这样定义的$3$位数进行基数排序，位数$d=3$，每一位数有$k=n$个可能的取值。排序的时间复杂度为$\Theta (d(n+k))=\Theta (3(n+n))=\Theta (n)$。

8.3-5 在本节给出的第一个卡片排序算法中，为排序$d$位十进制数，在最坏情况下需要多少轮排序？在最坏情况下，操作员需要记录多少堆卡片？
　　略

代码链接：https://github.com/yangtzhou2012/Introduction_to_Algorithms_3rd/tree/master/Chapter08/Section_8.3/RadixSort