eventlet dbpool for postgresql &mysql

Eventlet是由第二人生(Secondlife)开源的高度伸缩性的Python网络编程库.

根据官方介绍大致特性如下:

非阻塞I/O模型
协程(Coroutines)使得开发者可以采用阻塞式的开发风格,却能够实现非阻塞I/O的效果
隐式事件调度,使得可以在Python解释器或者应用程序的某一部分去使用Eventlet

关于协程,大致可以理解成允许子程序可以多次暂停和恢复执行,是实现多任务的一种有效手段,具体见这里

在Python的世界里,实现了nonblocking I/O的产品并不算少.比如内置的Asyncore和著名的Twisted.相比之下,Eventlet是更容易上手和使用的。

举个例子

 
       import eventlet 
       
       pool = eventlet.GreenPool() 
       
       while True:    pool.spawn(func,args)

上面这段代码,几乎就是使用eventlet的范式：

GreenPool 用来实现协程,保证并行;
Spawn 用来调用相应的函数,完成具体业务.

每个func之间切换，实施“你运行一会、我运行一会”，并且在进行切换时必须指定何时切换以及切换到哪，当出现阻塞时，就显式切换到另一段没有被阻塞的代码段执行，直到原先的阻塞状况消失以后，再人工切换回原来的代码段继续处理.

Eventlet内置提供了一个基于上述原理实现的数据库连接池,目前仅支持MySQL和PostgreSQL.为了测试其性能如何,我参考了gashero的这篇文章,并简化了测试方案.

测试对象分别是MySQLdb(MySQL驱动的Python封装),Eventlet.db_pool,DBUtils

测试代码如下:

        import time 
       
 import random 
       
 import MySQLdb 
       
 import eventlet.db_pool as db_pool 
       
 from DBUtils.PooledDB import PooledDB 
       
 conn_kwargs={'host':'192.168.8.84','user':'root','passwd':'','db':'logs'} 
       
 sql="""SELECT * FROM test WHERE id=%d""" 
       
 pooled=db_pool.ConnectionPool(MySQLdb,**conn_kwargs) 
       
 pooldb=PooledDB(MySQLdb,**conn_kwargs) 
       
 def query(conn): 
       
     cur=conn.cursor() 
       
     cur.execute(sql%(random.randint(1,1000))) 
       
     data=cur.fetchall() 
       
     return cur 
       
 def print_now(): 
       
     print time.strftime("%H:%M:%S") 
       
     return 
       
 def test1(times): 
       
     print_now() 
       
     for i in range(0,times): 
       
         conn=MySQLdb.connect(**conn_kwargs) 
       
         r = query(conn) 
       
         r.close() 
       
         conn.close() 
       
     print_now() 
       
     return 
       
 def test2(times): 
       
     print_now() 
       
     for i in range(0,times): 
       
         conn=pooled.get() 
       
         try: 
       
             query(conn) 
       
         finally: 
       
             pooled.put(conn) 
       
     print_now() 
       
     return 
       
 def test3(times): 
       
     print_now() 
       
     for i in range(0,times): 
       
         conn=pooldb.connection() 
       
         r=query(conn) 
       
         r.close() 
       
         conn.close() 
       
     print_now() 
       
     return

然后进入Python解释器交互环境

        Python -i db-pool-test.py 
       
 >>> test1(10000) //MySQLdb 
       
 16:04:34 
       
 16:11:25 
       
 >>> test2(10000) //Event 
       
 16:12:35 
       
 16:15:22 
       
 >>> test3(10000) //DBUtils 
       
 16:15:28 
       
 16:18:09

总体来看,和传统的MySQLdb相比,性能有了很大的提升,和DBUtils差别并不是很明显.

协程凶猛啊!

eventlet dbpool for postgresql &mysql

并发编程利器Eventlet

2 comments:

Post a Comment

你可能感兴趣的:(PostgreSQL)