高性能的大型系统经验 －－ 数据查询与分页

     本文讨论针对大型数据表（记录数2千万以上）进行数据查找与分页的可行的高效方案。

     首先，恰当的索引是必须的。

     没有索引的支持，在大数据表中进行查询是不可思议的。关键点在于如何创建索引？

1.建立正确的聚集索引(clustered index)。由于聚集索引的叶子节点就是记录本身，所以选择哪个索引为聚集索引非常关键。通过聚集索引扫描记录更快。

2.根据你的系统的需求总结常用的单个查询条件或综合性的查询条件，对于常用的单个查询条件建立单列索引，对常用的综合性查询条件建立联合索引。

3.关于数据库查询引擎如何利用索引，要注意以下几点：

（1）对于单列索引，只要条件列中出现索引列，无论在什么位置，都能利用索引查询。

（2）查询条件中出现联合索引第一列，或者全部，则能利用联合索引。

（3）条件列中只要条件相连在一起，无论前后,都会利用上联合索引。

（4）查询条件中没有出现联合索引的第一列，而出现联合索引的第二列，或者第三列，则都不会利用联合索引查询。 

    

     接下来，我们看如何进行分页。

1.利用索引（或联合索引）将满足条件的记录的主键列INTO到一个临时表（只有一列，与目标表的主键对应）。

2.Count (*) 临时表获取满足条件的记录的总数。

3.从临时表中获取第N页的主键值集合。

4.根据主键值集合从目标表中取出对应的记录以构成所要的Page。

5.释放临时表。      

     按照这种方式进行分页查询，如果满足条件的记录数在几万以内，分页查询都可在1秒内返回。

     最后提醒一句，不要轻易的在大数据表上执行不带条件的Select Count(*) From Table，该操作将非常耗时，而且由于扫描时会在目标表上加S锁，这段期间对目标表的Insert/update/delete操作将被阻塞，从而可能引发Insert/update/delete操作执行超时。 

 

注：本文源于我的SqlServer经验，可能在Oracle中有更好的办法，呵呵：）