任务分发系统gearman

1 Gearman是什么

Gearman Job Server@http://gearman.org/。

Gearman 是一个任务分发系统,它提供了一个分发框架,能够分发某类任务到更适合处理这类任务的服务器上去处理。并且,它支持任务并行处理、负载均衡以及多语言调用。它的适用范围很广,从高可用性的网站到透明的数据库复制等。换句话说,它是一个强健的分布式通信处理系统。下面是官网上列举的优点:

  • Open Source - 开源。Gearman 是遵循BSD开源规范的免费程序。
  • Multi-language - 多语言支持。Gearman可以作为多语言通信的接口。你可以用一种语言分发任务给另一种语言处理。比如php通过gearm分发任务给c。
  • Flexible - 灵活性。使用它,不会让你必须遵循任何特定的设计模式。对于分布式的程序,你可以使用任何你想用的模式,比如Map/Reduce。
  • Fast - 迅猛。Gearman 使用非常简单的协议和接口,它是用C/C++实现的。
  • Embeddable - 易用性。又快又轻量,所以它适用于所有规模的程序。只需要做很小的改动,就可将其整合入已存在的功能中。
  • No single point of failure - 无单点故障。
  • No limits on message size - 通信消息大小无限。单个通信消息最大达4G。要是还不满足,gearman可以将消息分片传输。
  • Worried about scaling? - Don't worry about it with Gearman. Craig's List, Tumblr, Yelp, Etsy,… discover what others have known for years.

2 Gearman如何工作


使用Gearman的程序通常包含三个部分:Client,Worker和Job server。Client是负责创建任务并将其发送至Job server。Job server会选择一个合适的Worker,然后分发来处理这个任务。Worker负责处理任务并返回处理结果。Gearman系统提供了Client和Worker工作部分的API,使得客户端可通过它们与Job server交互。所以你不需要处理网络连接或者分发任务的工作。内部实现上,Client和Worker通过TCP socket与Job server通信。


了解更多的话,让我们先看一个例子:


这个例子将从Client端发送一个字符串至Job Server,而Worker会负责将字符串翻转并返回。

Client端代码:

[php] view plain copy
  1. <?php  

  2. # Reverse Client Code  

  3. $client= new GearmanClient();  

  4. $client->addServer();  

  5. print $client->do("reverse", "Hello World!");  

这段代码很简单,new个对象,添加Job Server(默认为本地服务器),然后调用reverse功能并打印返回结果。

Worker端代码:

[php] view plain copy
  1. <?php  

  2. # Reverse Worker Code  

  3. $worker= new GearmanWorker();  

  4. $worker->addServer();  

  5. $worker->addFunction("reverse", "my_reverse_function");  

  6. while ($worker->work());  

  7. function my_reverse_function($job)  

  8. {  

  9. returnstrrev($job->workload());  

  10. }  

这段代码也显而易见地吐血。也可知道Gearman用起来是多么简单。

自己实现一个功能,通过GearmanWorker::addFunction注册,并用work()来实现监听数据即可。

整个功能的流程就是这样的:



正如你所见,Gearman实现了任务管理以及网络通信,你只需要关注业务逻辑功能。你还可以创建后台任务以及优先级任务队列。更多内容可以参考Gearman文档。


3 Gearman用在什么地方

上面的例子好像费力不讨好,N行代码只出来一个“Hello World!”――还是倒着的。但是Gearman其实在很多情况很实用。

最简单的一种是,你可以使用Gearman作为不同程序语言之间的粘合剂。比如你希望你的php程序调用c的功能,那么php可以作为Client,c来提供Worker的处理功能,Job server和php/c API就可以作为中间的接口。当然你可以把c做成php的扩展,但是你还有可能想使用php Client 和 python Worker,或者mysql Client 和 perl Worker。你可以混合使用任意支持的语言。

另外一种情况是很容易实现Worker的分布式。比如php web程序需要处理图片的转换。这个转换是很耗cpu的,直接在php中做会影响web服务器的QPS。这个时候可以将图片的处理功能放到另外一组cpu强悍的机器上,从而实现物以至用。同时,Gearman也实现了Worker的负载均衡,新任务只会分发到空闲的机器上。

现在你可能会关心Job Server如果宕了怎么办。答案是可以启动2-3台Job Server。如果其中一台无法正常工作了,请求将自动转移动另外可用的Job Server。


4 举个栗子

  • gearman自己的栗子。http://gearman.org/use_cases

  • 金山分布式图片处理。http://www.s135.com/dips/

  • perl+gearman+map/reduce。http://www.php-oa.com/2011/07/01/mapreduce-using-perl-and-gearman.html


你可能感兴趣的:(任务分发系统gearman)