Xapian高性能测试-单库VS多库

Xapian高性能测试-单库VS多库

Luo Weifeng 2011-7-11

测试数据来源：

搜狗网络流行新词， 词数5746，随机模拟

测试操作，大规模写操作，单线程。

测试机配置：

CPU：

model name : Intel(R)Pentium(R) Dual CPU T3200 @ 2.00GHz

stepping : 13

CPU MHz : 1000.000

cache size : 1024 KB

RAM: 3GB

库数目： 1

	Exception Rate(%)	Disk Use	Time Use(s)	CPU Use(%)	Memory Use(%)
1000	0	44K	4.39	11.0	0.3
10000	0	752K	44.18	49.5	0.3
100000	0	5.6M	437.98	76.7	0.3
200000	0	12M	877.35	79.1	0.3
300000	0	17M	1329.11	80.1	0.3
400000	0	23M	1784.57	80.7	0.3
500000	0	27M	2229.55	80.6	0.3
600000	0	32M	2697.47	80.0	0.3
700000	0	39M	3144.21	80.0	0.3
800000	0	45M	3591.50	80.0	0.3
900000	0	49M	4047.12	79.9	0.3
1000000	0	54M	4508.38	79.7	0.3
2000000	0	108M	9015.87	79.6	0.3
3000000	0	163M	13555.43	79.9	0.3
4000000	0	222M	18180.14	80.1	0.3
5000000	0	272M	22701.43	80.0	0.3
6000000	0	332M	27290.17	79.9	0.3
7000000	0	382M	31965.52	79.7	0.3
8000000	0	449M	36695.46	79.3	0.3
9000000	0	497M	41464.56	78.9	0.3
10000000	0	556M	46035.51	78.9	0.3

多库测试：

分发函数：

使用python自带的hash函数 hash(term)%N

测试用库数目：10 个

	Exception Rate(%)	Disk Use	Time Use(s)	CPU Use(%)	Memory Use(%)
1000	0	204K	4.37	11.7	0.3
10000	0	460K	44.48	50.6	0.4
100000	0	4.9M	460.35	74.4	0.6
200000	0	11M	922.31	76.8	0.6
300000	0	16M	1373.92	78.1	0.7
400000	0	22M	1816.15	78.9	0.7
500000	0	27M	2257.51	79.3	0.7
600000	0	32M	2718.21	79.8	0.7
700000	0	37M	3178.57	80.1	0.7
800000	0	43M	3643.31	80.1	0.7
900000	0	48M	4117.24	79.7	0.7
1000000	0	53M	4577.51	79.7	0.7
2000000	0	107M	9141.61	79.4	0.7
3000000	0	162M	13703.26	79.2	0.7
4000000	0	214M	18353.27	78.8	0.7

可以看出，至少在这种分配函数的情况下，Xapian多库的应用并没有比较满意的效果，甚至在特定条件下性能不如单库的使用。

附： xapian install on ubuntu 

#apt-get install xapian-core xapian-bindings-python