程序员必备基础知识之十大排序算法

---

---

0、排序算法说明

0.1 排序的定义

   对一序列对象根据某个关键字进行排序。

0.2 术语说明

   稳定：如果a原本在b前面，而a=b，排序之后a仍然在b的前面；
   不稳定：如果a原本在b的前面，而a=b，排序之后a可能会出现在b的后面；
   内排序：所有排序操作都在内存中完成；
   外排序：由于数据太大，因此把数据放在磁盘中，而排序通过磁盘和内存的数据传输才能进行；
   时间复杂度： 一个算法执行所耗费的时间。
   空间复杂度：运行完一个程序所需内存的大小。

0.3 算法总结

图片名词解释：
   n: 数据规模
   k: “桶”的个数
   In-place: 占用常数内存，不占用额外内存
   Out-place: 占用额外内存

0.4 算法分类

1、冒泡排序（Bubble Sort）

   冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果它们的顺序错误就把它们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。

1.1 算法描述

1. 比较相邻的元素。如果第一个比第二个大，就交换它们两个；
2. 对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对，这样在最后的元素应该会是最大的数；
3. 针对所有的元素重复以上的步骤，除了最后一个；
4. 重复步骤1~3，直到排序完成。

1.2 动图演示

1.3 代码实现

void Sorting(std::vector<int> &input)
{
    if(input.size() != 0)
    {
        for(int k=0;k1;++k) //轮次
        {
            for(int i=0;i1;++i)//首元素遍历
            {
                if(input[i]>input[i+1])
                {
                    int temp = input[i+1];
                    input[i+1]=input[i];
                    input[i]=temp;
                }
            }
        }
    }
}

1.4 算法分析

   最佳情况：O(n)；最差情况：O(n2n2)；平均情况：O(n2n2)

2、选择排序（Selection Sort）

   表现最稳定的排序算法之一，因为无论什么数据进去都是O(n2)的时间复杂度，所以用到它的时候，数据规模越小越好。唯一的好处可能就是不占用额外的内存空间了吧。理论上讲，选择排序可能也是平时排序一般人想到的最多的排序方法了吧。
   选择排序(Selection-sort)是一种简单直观的排序算法。它的工作原理：首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。

2.1 算法描述

   n个记录的直接选择排序可经过n-1趟直接选择排序得到有序结果。具体算法描述如下：
1. 初始状态：无序区为R[1..n]，有序区为空；
2. 第i趟排序(i=1,2,3…n-1)开始时，当前有序区和无序区分别为R[1..i-1]和R(i..n）。该趟排序从当前无序区中-选出关键字最小的记录 R[k]，将它与无序区的第1个记录R交换，使R[1..i]和R[i+1..n)分别变为记录个数增加1个的新有序区和记录个数减少1个的新无序区；
3. n-1趟结束，数组有序化了。

2.2 动图演示

2.3 代码实现

void Sorting(std::vector<int> &input)
{
    if(input.size()==0)
        return;
    for(int i=0;i1;++i)
    {
        int minValue=i;
        for(int j=i+1;jif(input[j]//保存每轮的最小值的索引
            }
        }
        int temp=input[i];
        input[i]=input[minValue];
        input[minValue]=temp;
    }
}

2.4 算法分析

   最佳情况：O(n2n2)；最差情况：O(n2n2)；平均情况：O(n2n2)

3、插入排序（Insertion Sort）**

   插入排序（Insertion-Sort）的算法描述是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上，通常采用in-place排序（即只需用到O(1)的额外空间的排序），因而在从后向前扫描过程中，需要反复把已排序元素逐步向后挪位，为最新元素提供插入空间。

3.1 算法描述

   一般来说，插入排序都采用in-place在数组上实现。具体算法描述如下：
1. 从第一个元素开始，该元素可以认为已经被排序；
2. 取出下一个元素，在已经排序的元素序列中从后向前扫描；
3. 如果该元素（已排序）大于新元素，将该元素移到下一位置；
4. 重复步骤3，直到找到已排序的元素小于或者等于新元素的位置；
5. 将新元素插入到该位置后；
6. 重复步骤2~5。

3.2 动图演示

3.3 代码实现

void Sorting(std::vector<int> &input)
{
    if(input.size()==0)
        return;
    for(int i=1;i//轮次，一轮
    {
        int preIdx=i-1;
        int Value=input[i];//开辟空间，用于插入
        while(preIdx>=0 && Value//有序数组中进行后移
        {
            input[preIdx+1]=input[preIdx];
            preIdx--;
        }
        input[preIdx+1]=Value;
    }
}

3.4 算法分析

最佳情况：O(n)；最差情况：O(n2n2)；平均情况：O(n2n2)

4、希尔排序（Shell Sort）*

   1959年Shell发明，第一个突破O(n^2)的排序算法，是简单插入排序的改进版。它与插入排序的不同之处在于，它会优先比较距离较远的元素。希尔排序又叫缩小增量排序。
   希尔排序的核心在于间隔序列的设定。既可以提前设定好间隔序列，也可以动态的定义间隔序列。动态定义间隔序列的算法是《算法（第4版》的合著者Robert Sedgewick提出的。

4.1 算法描述

   先将整个待排序的记录序列分割成为若干子序列分别进行直接插入排序，具体算法描述：
1. 选择一个增量序列ti，tj，…，tk，其中ti>tj，tk=1；
2. 按增量序列个数k，对序列进行k 趟排序；
3. 每趟排序，根据对应的增量ti，将待排序列分割成若干长度为m 的子序列，分别对各子表进行直接插入排序。仅增量因子为1 时，整个序列作为一个表来处理，表长度即为整个序列的长度。

4.2 过程演示

4.3 代码实现

void Sorting(std::vector<int> &input)
{
    if(input.size()==0)
        return ;
    int num=1;
   while(num2) //设定动态区间
       num=num*2+1;
    while(num>0)
    {
        for(int i=num;i//直接插入排序法
        {
            int value = input[i];
            int preIdx=i-num;
            while(preIdx>=0 && value2;//每次缩小动态区间
    }
}

4.4 算法分析

   最佳情况：O(nlognnlogn)；最差情况：O(nlog2nnlog2n)；平均情况：O(nlog2nnlog2n)

5、归并排序（Merge Sort）

   和选择排序一样，归并排序的性能不受输入数据的影响，但表现比选择排序好的多，因为始终都是O(n log n）的时间复杂度。代价是需要额外的内存空间。
   归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。归并排序是一种稳定的排序方法。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为2-路归并。

5.1 算法描述

1. 把长度为n的输入序列分成两个长度为n/2的子序列；
2. 对这两个子序列分别采用归并排序；
3. 将两个排序好的子序列合并成一个最终的排序序列。

5.2 动图演示

5.3 代码实现

void Merge(int *A,int *L,int leftCount,int *R,int rightCount) {
    int i,j,k;

    i = 0; j = 0; k =0;

    while(iif(L[i]  < R[j]) A[k++] = L[i++];
        else A[k++] = R[j++];
    }
    while(i < leftCount) A[k++] = L[i++];//解决哨兵的问题
    while(j < rightCount) A[k++] = R[j++];
}

void MergeSort(int *A,int n) {
    int mid,i, *L, *R;
    if(n < 2) return; // 如果矩阵只有两个元素，那么不做操作

    mid = n/2;

    L = new int[mid];
    R = new int [n - mid];

    for(i = 0;i// 创造左子树
    for(i = mid;i// 创造右子树

    MergeSort(L,mid);  // 分类左数组
    MergeSort(R,n-mid);  // 分类右数组
    Merge(A,L,mid,R,n-mid);  // 结合
    // 销毁动态内存
    delete [] R;
    delete [] L;
}

5.4 算法分析

最佳情况：O(nlogn)；最差情况：O(nlogn)；平均情况：O(nlogn)

6、快速排序（Quick Sort）

   快速排序的基本思想：通过一趟排序将待排记录分隔成独立的两部分，其中一部分记录的关键字均比另一部分的关键字小，则可分别对这两部分记录继续进行排序，以达到整个序列有序。

6.1 算法描述

   快速排序使用分治法来把一个串（list）分为两个子串（sub-lists）。具体算法描述如下：
1. 从数列中挑出一个元素，称为 “基准”（pivot）；
2. 重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面（相同的数可以到任一边）。在这个分区退出之后，该基准就处于数列的中间位置。这个称为分区（partition）操作；
3. 递归地（recursive）把小于基准值元素的子数列和大于基准值元素的子数列排序。

6.2 动图演示

6.3 代码实现

//分区操作
int partition(int *A,int left,int right)
{
    int pivot = left;//设定基准值
    int index = pivot + 1;
    for(int i=index;iif(A[i]int temp=A[i];
            A[i] = A[index];
            A[index] = temp;
            index++;
        }
    }
    int tempVal = A[pivot];
    A[pivot] = A[index-1];
    A[index-1]=tempVal;
    return (index-1);
}

void QuickSort(int *A,int left,int right)
{
    if(leftint partitionNum = partition(A, left, right);
        QuickSort(A, left, partitionNum);
        QuickSort(A,partitionNum+1,right);
    }
}

6.4 算法分析

   最佳情况：O(nlogn)；最差情况O(n2n2)；平均情况：O(nlogn)

7、堆排序（Heap Sort）

   堆排序（Heapsort）是指利用堆这种数据结构所设计的一种排序算法。堆积是一个近似完全二叉树的结构，并同时满足堆积的性质：即子结点的键值或索引总是小于（或者大于）它的父节点。

7.1 算法描述

1. 将初始待排序关键字序列(R1,R2….Rn)构建成大顶堆，此堆为初始的无序区；
2. 将堆顶元素R[1]与最后一个元素R[n]交换，此时得到新的无序区(R1,R2,……Rn-1)和新的有序区(Rn),且满足R[1,2…n-1]<=R[n]；
3. 由于交换后新的堆顶R[1]可能违反堆的性质，因此需要对当前无序区(R1,R2,……Rn-1)调整为新堆，然后再次将R[1]与无序区最后一个元素交换，得到新的无序区(R1,R2….Rn-2)和新的有序区(Rn-1,Rn)。不断重复此过程直到有序区的元素个数为n-1，则整个排序过程完成。

7.2 动图演示

7.3 代码实现

//建立最大堆
void MaxHeap(int *A,int root,int len)
{
    int left = 2 * root + 1;
    int right = left + 1;
    int largest = root;
    if(left<len && A[left]>A[largest])
        largest = left;
    if(right<len && A[right]>A[largest])
        largest = right;
    if(largest != root)//与根结点交换最大值的结点
    {
        int temp = A[largest];
        A[largest] = A[root];
        A[root] = temp;
        MaxHeap(A, largest, len);
    }
}

void HeapSort(int *A,int length)
{
    int len = length;
    for(int i=(len/2-1);i>=0;i--)
    {
        MaxHeap(A, i, len);//对当前序列建立最大堆
    }
    //将根结点与最后一个值进行交换，重新建立最大堆
    for(int j=len-1;j>0;j--)
    {
        int temp = A[0];
        A[0] = A[j];
        A[j] = temp;
        MaxHeap(A, 0, j);
    }
}

7.4 算法分析

   最佳情况：O(nlogn)；最差情况：O(nlogn)；平均情况：O(nlogn)

8、计数排序（Counting Sort）

   计数排序的核心在于将输入的数据值转化为键存储在额外开辟的数组空间中。 作为一种线性时间复杂度的排序，计数排序要求输入的数据必须是有确定范围的整数。
   计数排序(Counting sort)是一种稳定的排序算法。计数排序使用一个额外的数组C，其中第i个元素是待排序数组A中值等于i的元素的个数。然后根据数组C来将A中的元素排到正确的位置。它只能对整数进行排序。

8.1 算法描述

• 找出待排序的数组中最大和最小的元素；
• 统计数组中每个值为i的元素出现的次数，存入数组C的第i项；
• 对所有的计数累加（从C中的第一个元素开始，每一项和前一项相加）；
• 反向填充目标数组：将每个元素i放在新数组的第C(i)项，每放一个元素就将C(i)减去1。

8.2 动图演示

8.3 代码实现

void CountSort(int *A,int len,int maxValue)
{
    int* B = new int[maxValue+1];
    for(int i=0;iif(!B[A[i]])
            B[A[i]]=0;
        B[A[i]]++;
    }
    int num=0;
    for(int j=0;j<(maxValue+1);j++)
    {
        while(B[j]>0)
        {
            A[num++]=j;
            B[j]--;
        }
    }
    delete [] B;
}

8.4 算法分析

   当输入的元素是n 个0到k之间的整数时，它的运行时间是 O(n + k)。计数排序不是比较排序，排序的速度快于任何比较排序算法。由于用来计数的数组C的长度取决于待排序数组中数据的范围（等于待排序数组的最大值与最小值的差加上1），这使得计数排序对于数据范围很大的数组，需要大量时间和内存。
   最佳情况：T(n) = O(n+k)； 最差情况：T(n) = O(n+k)；平均情况：T(n) = O(n+k)

9、桶排序（Bucket Sort）

   桶排序是计数排序的升级版。它利用了函数的映射关系，高效与否的关键就在于这个映射函数的确定。
   桶排序 (Bucket sort)的工作的原理：假设输入数据服从均匀分布，将数据分到有限数量的桶里，每个桶再分别排序（有可能再使用别的排序算法或是以递归方式继续使用桶排序进行排序）。

9.1 算法描述

1. 设置一个定量的数组当作空桶；
2. 遍历输入数据，并且把数据一个一个放到对应的桶里去；
3. 对每个不是空的桶进行排序；
4. 从不是空的桶里把排好序的数据拼接起来。

9.2 图片演示

9.3 代码实现

void BucketSort(int *A,int len,int bucketSize = 5)
{
    int min=A[0];
    int max=A[0];
    for(int i=1;i//得到最大值，最小值
    {
        if(A[i]else if(A[i]>max)
            max=A[i];
    }
    //计算均值，用于均匀分布
    std::map<int,std::vector<int>> B;
    //将A中的值映射到桶中
    for(int i=0;iint num=0;
    //对每个桶进行排序
    for(auto i=B.begin();i!=B.end();i++)
    {
        sort(i->second.begin(),i->second.end());
        if(numfor(int j=0;jsecond.size();j++)
            {
                A[num++] = i->second[j];
            }
    }
}

9.4 算法分析

   桶排序最好情况下使用线性时间O(n)，桶排序的时间复杂度，取决与对各个桶之间数据进行排序的时间复杂度，因为其它部分的时间复杂度都为O(n)。很显然，桶划分的越小，各个桶之间的数据越少，排序所用的时间也会越少。但相应的空间消耗就会增大。
   最佳情况：T(n) = O(n+k) 最差情况：T(n) = O(n+k) 平均情况：T(n) = O(n2)　　

10、基数排序（Radix Sort）

   基数排序也是非比较的排序算法，对每一位进行排序，从最低位开始排序，复杂度为O(kn),为数组长度，k为数组中的数的最大的位数；
   基数排序是按照低位先排序，然后收集；再按照高位排序，然后再收集；依次类推，直到最高位。有时候有些属性是有优先级顺序的，先按低优先级排序，再按高优先级排序。最后的次序就是高优先级高的在前，高优先级相同的低优先级高的在前。基数排序基于分别排序，分别收集，所以是稳定的。

10.1 算法描述

• 取得数组中的最大数，并取得位数；
• arr为原始数组，从最低位开始取每个位组成radix数组；
• 对radix进行计数排序（利用计数排序适用于小范围数的特点）；

10.2 动图演示

10.3 代码实现

//LSD Radix Sort
var counter = [];
function radixSort(arr, maxDigit) {
    var mod = 1;
    var dev = 1;
    for (var i = 0; i < maxDigit; i++, dev *= 10, mod *= 10) {
        for(var j = 0; j < arr.length; j++) {
            var bucket = parseInt((arr[j] % mod) / dev);
            if(counter[bucket]==null) {
                counter[bucket] = [];
            }
            counter[bucket].push(arr[j]);
        }
        var pos = 0;
        for(var j = 0; j < counter.length; j++) {
            var value = null;
            if(counter[j]!=null) {
                while ((value = counter[j].shift()) != null) {
                      arr[pos++] = value;
                }
          }
        }
    }
    return arr;
}

10.4 算法分析

   最佳情况：T(n) = O(n * k) 最差情况：T(n) = O(n * k) 平均情况：T(n) = O(n * k)
   基数排序有两种方法：
      马上到！从高位开始进行排序 LSD 从低位开始进行排序

基数排序 vs 计数排序 vs 桶排序
   这三种排序算法都利用了桶的概念，但对桶的使用方法上有明显差异：
* 基数排序：根据键值的每位数字来分配桶
* 计数排序：每个桶只存储单一键值
* 桶排序：每个桶存储一定范围的数值