gearman队列持久化带来的问题

阅读更多

============================================================================

原创作品，允许转载。转载时请务必以超链接形式标明原始出处、以及本声明。

请注明转自：http://yunjianfei.iteye.com/blog/

============================================================================

gearman 创建Mysql持久化队列的方式如下：

1. 登入mysql命令行，运行：    

create database gearman;

 2. 启动gearman，命令如下：

 

 

 /usr/local/gearman/sbin/gearmand -p 4730 -L 0.0.0.0 --log-file=/tmp/gearmand-4730.log --pid-file=/tmp/gearmand-4730.pid -q MySQL --mysql-host=localhost --mysql-user=root --mysql-db=gearman --verbose DEBUG  -d
 

 具体的参数，根据自己的服务器状况去修改就行了。

 

3. 再次登入mysql命令行，执行：

 

use gearman;
show tables;

 就可以看到下面多了个“gearman_queue”的表。

 

 

这样，gearman就变成了持久化的方式。

 

=============================================================================

 

gearman用mysql持久化之后，其实会带来一些问题。

1. 每个任务都会写入数据库，这样会带来磁盘IO的损耗，并且gearman的性能瓶颈又多了一个可能，就是由数据库引起的性能问题。

2. mysql有个“wait_timeout”的参数，在mysql命令行中运行

show variables like "%timeout%";

 可以看到wait_timeout的值，默认是28800。也就是说，如果一个mysql的连接，超过28800s没有任何响应，就会断开。

 

3. gearman持久化的方式，如果超过了mysql的wait_timeouts的时间没有任何响应，和数据库的连接就会被mysql断开，而且gearman目前是没有mysql重新连接的，结果就是，会导致如下错误，必须重启gearman才能重新正常工作。

 

gearman报错 

ERROR 2014-04-01 02:10:02.897899 [ proc ] mysql_stmt_execute failed: -> libgearman-server/plugins/queue/mysql/queue.cc:357
ERROR 2014-04-01 02:10:02.897910 [ proc ] gearman_server_job_add gearman_server_run_command(QUEUE_ERROR) -> libgearman-server/server.cc:301

 

所以，gearman持久化方式带来的缺点显而易见，该方式下，要避免gearman对mysql连接超时断开，可以将mysql的wait_timeout参数改大。

 

或者，直接放弃用mysql的持久化方式。