算法分析

科学家用来理解自然世界的方法对于研究计算机程序的运行时间同样有效：

1. 细致地观察真实世界的特点，通常还要有精准地测量；
2. 根据观察结果提出假设模型；
3. 根据模型预测未来的时间；
4. 继续观察并核实预测的准确性；
5. 如此反复直到确认预测和观察一致。

科学方法的一条关键原则是我们所设计的实验必须是可重现的，这样他人也可以自己验证假设的真实性。所有的假设也必须是可证伪的，这样我们才能确认某个假设是错误的（并需要修正）。正如爱因斯坦的一句名言：“再多的实验也不一定能证明我是对的，但只需要一个实验就能证明我是错的。”我们永远也没法知道某个假设是否绝对正确，我们只能验证它和我们的观察的一致性。

观察。我们的第一个挑战是决定如何定量测量程序的运行时间。我们对大多数程序的第一个定量观察就是计算计算性任务的困难程度可以用问题的规模来衡量。一般来说，问题的规模可以是输入的大小或是某个命令行参数的值。根据直觉，程序的运行时间应该随着问题规模的增长而变长，但我们每次在开发和运行一个程序时想问的问题都是程序时间的增长有多快。从许多程序中得到的另一个定量观察是运行时间和输入本身相对无关，它主要取决于问题规模。如果这个关系不成立，我们就需要进行一些实验来更好地理解并更好地将问题规模和运行时间的关系量化。

数学模型。在计算机科学的早起，D.E.Knuth认为，尽管有许多复杂的因素影响着我们对程序的运行时间的理解，原则上我们仍然可能构造出一个数学模型来描述任意程序的运行时间。Knuth的基本见地很简单——一个程序运行的总时间主要和两点有关：

1. 执行每条语句的耗时
2. 执行每条语句的频率

前者取决于计算机、编译器和操作系统，后者取决于程序本身和输入。
计算时我们采用近似。

增长数量级的分类：常数级别，对数级别，线性级别，线性对数级别，平方级别，立方级别，指数级别。