算法复杂度精讲——算法时间复杂度的数学原理:从O(n(log(n))说起

概述:在设计算法的时候,要考虑两个方面,一个是算法的正确性,另外一个就是算法的效率,也就是复杂度,通常情况下,我们优先考虑的是时间复杂度,这也是本文要讨论的内容。算法学习的时候,经常碰到这样的问题,为什么快速排序的时间复杂度是O(nlog(n))?为何插入排序的时间复杂度是On^2)?这些是我们熟悉的算法时间复杂度,可能病没有太大的问题,那我们不熟悉的呢?如果我们采用三路归并排序而不是二路归并排序,时间复杂度是多少呢?一个排序算法经过某种变形以后时间复杂度又是多少呢?本文,主要从数学底层,讲述一个算法时间复杂度是如何推导的。让你真正知其所以然,而不仅仅是总是心中存有疑惑:为何快排的时间复杂度会是这么奇怪的Onlogn))


1.数学基础知识


首先,介绍以下数学基础知识,这些基本都分布在高等数学和离散数学之中,不进行数学推导。

一些不等式:

  






无论是归并还是快速排序,我们都可以把它们归结到递归/分治这一类问题的求解,他们具有一个一般性的时间复杂度表述:


这个等式的意义是:规模是n的问题可以拆分成a个规模是n/b的问题,那么它的时间复杂度就等于a个规模是n/b的问题,加上一次分解耗费的时间Dn)和一次合并耗费的时间Cn)。第二部分到第四部分将介绍三种求解这个方程式的方法。


2.递归树方法


这是一种最直观的方法,它把上述等式形象化,然后进行求解,我们通过一个例子来说明这个情况。

例子:利用递归树求解T(n)=T(n/10)+T(9n/10)+cn

划出递归树如下:

算法复杂度精讲——算法时间复杂度的数学原理:从O(n(log(n))说起_第1张图片


关键点:求出树的深度和每层的代价(注意,此例中因为每层的代价都相同,所以比较好求解;但在其他情况下,可能是每层代价不同,而是一个等比数列或者其他形式的数列)


1)其中,树的深度容易求解:n-->9/10n-->81/100(n)......n/n=1

也就是说,这个递归下降满足这个趋势(其中b=10/9):

于是

所以



2)第i层的代价:

每层的规模分别是1/10n9/10n,而每个节点的代价是cn/109cn/10,所以加在一块是cn


3)总代价:


所以

Tn=Onlgn


3.主方法


形如下列表达式的算法复杂度表述

Tn=aTn/b+fn)(a>=1,b>1算法复杂度精讲——算法时间复杂度的数学原理:从O(n(log(n))说起_第2张图片

主方法的证明:参考算法导论第四章

最终利用等比数列的求和公式即可求解。


4.替换代换法


说明:此种方法需要凭借一定的经验,有点类似于数学归纳法,先猜测后证明。

1)步骤:猜测时间复杂度的表述形似

2)要点:猜测要准确,归纳假设要足够强,避免弱化证明。替换非多项式变量

对于边界问题:可采用移动边界和强化归纳假设的方式加以解决。


实例:

1)证明Tn=Tn/2+n的时间复杂度位Onlogn

Tn

算法复杂度精讲——算法时间复杂度的数学原理:从O(n(log(n))说起_第3张图片


说明:此种算法复杂度的计算对以分支法为基础的算法比较有效。

你可能感兴趣的:(数据结构和算法)