安装过程为:
1. 下载
wget http://launchpad.net/gearmand/trunk/0.26/+download/gearmand-0.26.tar.gz
2. 编译
% tar -xvzf gearmand-0.26.tar.gz
% cd gearmand
% ./configure
3. 安装
% make
% make install
但是在第2步的时候发现了很多编译错误:
- configure: error: no acceptable C compiler found in $PATH
这是说没有装编译器,可以装个GCC或G++ - configure: error: cannot find Boost headers version >= 1.39.0
这是说没有安装boost包或库
4. 最后找了下,所有的依赖包:
sudo apt-get install uuid-dev libevent-dev libboost-all-dev libdrizzle-dev
/** 未遇到
在./configure的时候,可能会出现缺少libraries的情况:
checking for libevent… no
configure: error: cannot find the flags to link with Boost program_options
configure: error: libevent is required for gearmand. On Debian this can be found in libevent-dev. On RedHat this can be found in libevent-devel.
可能系统缺少libboost、libevent和uuid等等,需要依次安装:
sudo apt-get install libboost-program-options-dev
sudo apt-get install libevent-dev
sudo apt-get install uuid-dev
*/
5. 运行./configure 之后出现下面结果:
Configuration summary for gearmand version 0.26 * Installation prefix: /usr/local * System type: pc-linux-gnu * Host CPU: i686 * C Compiler: gcc (Ubuntu/Linaro 4.4.4-14ubuntu5) 4.4.5 * Assertions enabled: yes * Debug enabled: no * Warnings as failure: * Building with libsqlite3 no * Building with libdrizzle no * Building with libmemcached no * Building with libp no * Building with tokyocabinet no/** apt-get安装提示有如下软件包,没试过apt-get install gearman gearman-job-server gearman-server gearman-tools*/
因为本试验Client和Worker端都由PHP来实现,所以需要安装php的gearman扩展
安装Gearman PHP extension:
wget http://pecl.php.net/get/gearman-0.7.0.tgz
tar zxf gearman-0.7.0.tgz
cd gearman-0.7.0
phpize
./configure
sudo make
sudo make install
中间可能遇到的问题:
出现 error "unimplemented: Graphite loop optimizations .. 错误,
则执行
sudo apt-get install cloog-ppl
找不到phpize命令,phpize在php开发包中,所以要先安装php5-dev
sudo apt-get install php5-dev
编译时出错:configure: error: Please install libgearman,执行
apt-get install libgearman-dev
安装完后,就可以在源码目录中执行phpize生成相关安装配置信息,接着执行后面的./configure等
make install后,它告诉你一个目录,生成的gearman.so就在那里。
根据需要考到相应PHP的扩展目录里(因为我直接用系统默认安装的php,它自动生成就在扩展中)
接下来修改php.ini 在其中加入
extension = “gearman.so”
————————————————————————————————————————————
然后,开始编写client和worker端
client.php
<?php
$client= new GearmanClient();
$client->addServer(“127.0.0.1″, 4730);
print $client->do(“title”, “Linvo”);
print “\n”;
?>
worker.php
<?php
$worker= new GearmanWorker();
$worker->addServer(“127.0.0.1″, 4730);
$worker->addFunction(“title”, “title_function”);
while ($worker->work());
function title_function($job)
{
$str = $job->workload();
return strlen($str);
}
?>
准备工作已经完毕,试验开始
1、启动job
gearmand -d
2、启动worker
php -c /etc/php5/apache2/php.ini worker.php
3、启动client(新开终端中打开)
php -c /etc/php5/apache2/php.ini client.php
屏幕显示字符串的长度 “5”
这里,有几点需要说明一下:
1、这里直接用php cli方式运行,添加-c参数是为了加载php.ini配置文件,以加载gearman扩展
2、worker应该做成守护进程(CLI模式),可以开启多个,这样client发起的任务就会分发到各个worker分别来执行(自动负载均衡)
这个例子由于太过简单,即使开启多个worker也无法看出效果,不过可以通过终止其中一个,可以看出系统自动切换到其他worker继续正常执行
3、同理,client也是可以开启多个的(模型请参考之前的那边日志)
4、同时,job也可以开启多个,以避免单点故障
简易实作
接下来,我们可以试着用 PHP API 来连接 Job Server 。前面安装好 PECL 的 Gearman Extension 后,我们就可以在 PHP 程式裡建立操作 Gearman API 的物件了。
以下我用简单的方式来模拟 Client 和 Worker 的运作,所以这裡 Client 和 Worker 会在同一部主机上,但实际运作时是不需要的,请大家注意。
Client 端程式
<?php
$client= new GearmanClient();
$client->addServer("127.0.0.1", 4730);
$who = array('who_send'=>'web','get_email'=>'');
$img['image'] = '/var/www/pub/image/test.png';
print $client->do("sendEmail", serialize($who));
print "\n";
print $client->do("resizeImage", serialize($img));
print "\n";
?>
Worker 端程式
<?php
$worker = new GearmanWorker();
$worker->addServer(); // 预设为 localhost
$worker->addFunction('sendEmail', 'doSendEmail');
$worker->addFunction('resizeImage', 'doResizeImage');
while($worker->work()) {
sleep(1); // 无限回圈,并让 CPU 休息一下
}
function doSendEmail($job)
{
$data = unserialize($job->workload());
print_r($data);
sleep(3); // 模拟处理时间
echo "Email sending is done really.\n\n";
}
function doResizeImage($job)
{
$data = unserialize($job->workload());
print_r($data);
sleep(3); // 模拟处理时间
echo "Image resizing is really done.\n\n";
}
首先, PHP Gearman Extension 提供了一个名为 GearmanClient 的类别,它可以让程式安排工作给 Job Server 。
而 addServer 方法表示要通知的是哪些 Job Server ,也就是说如果有多台 Job Server 的话,就可以透过 addServer 新增。
然后我们将要呼叫哪个 Worker 以及该 Worker 所需要的资料,利用 GearmanClient 的 doBackground 方法传送过去。 doBackground 方法顾名思义就是在背景执行, Client 在丢出需求后就可以继续处理其他的程式,也就是我们常说的「射后不理」。
doBackground 方法的第一个参数是告诉 Job Server 要执行哪个功能,而这个功能则是由 Worker 提供的;要注意是,这个参数只是识别用的,并不是真正的函式名称。而第二个参数是要传给 Worker 的资料,它必须是个字串;因此如果要传送的是阵列的话,我们就要用 PHP 的 serialize 函式来对这些资料做序列化。
PHP 的 Gearman Extension 也提供了一个 GearmanWorker 类别,让我们可以实作 Worker 。而 GearmanWorker 类别也提供了addServer 方法,让所生成的 Worker 物件可以注册到 Job Server 中。
另外 GearmanWorker 类别也提供了 addFuncton 方法,告诉 Job Server 自己可以处理哪些工作。 addFunction 的第一个参数就是对应到 GearmanClient::doBackground 方法的第一个参数,也就是功能名称;这使得 Client 和 Worker 能透过这个名称来互相沟通。而第二个参数则是一个callback函式,它会指向真正应该要处理该工作的函式或类别方法等。
最后因为 Worker 因为要随时准备服务,是不能被中断的,因此我们透过一个无限迴圈来让它常驻在 Job Server 中。
测试
准备好 Client 和 Worker 的程式后,就可以测试看看了。首先我们必须得先执行 worker.php ,让它开始服务。
php worker.php
这时我们会看到 worker.php 停驻在等待服务。
接着我们开启另一个 console 视窗来执行 client.php :
切换到执行 worker.php 的 console 时,就会看到以下执行结果:
Array
(
[who_send] => web
[get_email] =>
)
Email sending is really done.
Array
(
[image] => /var/www/pub/image/test.png
)
Image resizing is really done.
这表示 Worker 正常地处理 Client 的需求了。
现在试着把 worker.php 停掉 (Ctrl+C) ,然后再执行 client.php ,大家应该会发现 client.php 还是正常地完成它的工作;这是因为 Job Server 帮我们把需求先放在 Queue 裡,等待 Worker 启动后再处理。
这时可以查看 MySQL 的 gearman 资料库,在 gearman_queue 资料表中应该就会看到以下结果:
这表示 Job Server 成功地将 Queue 保留在 MySQL 资料表中。
接着再执行 worker.php ,这时 Job Server 会得知 Worker 复活,赶紧将 Queue 裡面属于该 Worker 应该执行的工作再发送出去以完成作业;而 Worker 完成作业后, Job Server 就会把 Queue 清空了。
Message Queue 这个架构的应用可以说相当广泛,尤其在大流量的网站上,我们能透过它来来有效运用分散式的系统架构,以处理更多使用者的需求。
而目前 Gearman 可说是在 PHP 上一个很棒的 Message Queue 支援套件,而且 API 也相当完善;因此如果能善用 Gearman 的话,那么我们在 PHP 网站的架构上就可以有更大的延展性,也能有更多的可能性。
(转载自:http://hi.baidu.com/baisiye/item/b856baea3cc4892a5a7cfbe6)
补充说明:
1. 有个 gearadmin 的命令管理工具,可以查看gearman的运行状态等,如
bb2和bb1为注册的函数名,第一列为等待执行的任务数,第二列为正在执行的任务数,第三列为对应的worker 数。
2. gearmand -d 这个命令默认是使用内存存储队列的,假如需要使用持久化存储,可以结合mysql来使用。
新建数据库 gearman
新建表:
CREATETABLE`gearman_queue`( `unique_key`VARCHAR(64)NOTNULL, `function_name`VARCHAR(255)NOTNULL, `priority`INT(11)NOTNULL, `data`LONGBLOBNOTNULL, `when_to_run`INT(11)NULLDEFAULTNULL, PRIMARYKEY(`unique_key`) )
使用mysql作为队列存储:
/usr/local/sbin/gearmand -L 127.0.0.1 --queue-type=mysql --mysql-host=127.0.0.1 --mysql-user=root --mysql-password=123456 --mysql-db=gearman --mysql-table=gearman_queue -d
从上面的命令参数可以看出需要配置的mysql数据表信息。-d 参数为使用守护进程运行gearmand。
经测试,假如在gearmand有任务队列执行的情况下重启,队列会继续保存着,只是worker丢失了,需要重新注册一次worker;而假如worker重启,gearman会自动继续执行队列任务。
3.