Gearman 异步处理委派任务

对于绝大多数发展中等的web 2.0网站来说，LAMP结构已经不能满足现在的需要了，新的架构组合是GLAMMP,G=Gearman(分布式远程过程处理)，M=Memcached(高性能的分布式的内存对象缓存系统)。

简单的说Gearman是PHP实现异步处理利器，当然不仅仅是PHP实现异步处理的手段。

Gearman简介
Gearman是 Brad Fitzpatrick 的一个作品，用 Perl 写的任务调度程序，提供一个服务器端和多种语言的客户端接口，包括 C/Perl/Python/Ruby 等，在 client library 本身就支持一定程度的高可靠度。

Gearman系统用来把工作委派给其他机器，分布式的调用更适合做某项工作的机器，并发的做某项工作，在多个调用间做负载均衡，或用来在调用其它语言的函数。

Gearman的高级特性
在一个 Web 应用程序内可能有许多地方都会用到 Gearman。可以导入大量数据、发送许多电子邮件、编码视频文件、挖据数据并构建一个中央日志设施 ― 所有这些均不会影响站点的体验和响应性。可以并行地处理数据。而且，由于 Gearman 协议是独立于语言和平台的，所以您可以在解决方案中混合编程语言。比如，可以用 PHP 编写一个 producer，用 C、Ruby 或其他任何支持 Gearman 库的语言编写 worker。
一个连接客户机和 worker 的 Gearman 网络实际上可以使用任何您能想象得到的结构。很多配置能够运行多个代理并将 worker 分配到许多机器上。负载均衡是隐式的：每个可操作的可用 worker（可能是每个 worker 主机具有多个 worker）从队列中拉出作业。一个作业能够同步或异步运行并具有优先级。
Gearman 的最新版本已经将系统特性扩展到了包含持久的作业队列和用一个新协议来通过 HTTP 提交工作请求。对于前者，Gearman 工作队列保存在内存并在一个关系型数据库内存有备份。这样一来，如果 Gearman 守护程序故障，它就可以在重启后重新创建这个工作队列。另一个最新的改良通过一个 memcached 集群增加队列持久性。memcached 存储也依赖于内存，但被分散于几个机器以避免单点故障。
Gearman 是一个刚刚起步却很有实力的工作分发系统。据 Gearman 的作者 Eric Day 介绍，Yahoo! 在 60 或更多的服务器上使用 Gearman 每天处理 600 万个作业。新闻聚合器 Digg 也已构建了一个相同规模的 Gearman 网络，每天可处理 400,000 个作业。Gearman 的一个出色例子可以在 Narada 这个开源搜索引擎（参见 参考资料）中找到。
Gearman 的未来版本将收集并报告统计数据、提供高级监视和缓存作业结果等。为了跟踪这个 Gearman 项目，可以订阅它的 Google 组，或访问 Freenode 上它的 IRC 频道 #gearman。

Gearman都能用来干什么？
Gearman 可以用在各个方面，最简单就是在不同语言之间架起一座桥梁。比如你可能希望你的php程序调用一个c 函数，那么用gearman就可以实现了，当然了实际你可以通过写一个php扩展来实现同样的工作，但是比如你要php调用java,perl,或者python那么，Gearman就非常棒了。

Gearman另一个应用方面是负载分担，你可以将worker放在不同的服务器（或者一些列服务器）上，比如你的php程序需要图片转换，但是不希望本地服务器有太多的这样图片转换的进程，那么你可以建立一系列服务器，在上面加载worker处理图片转换。这样你的web服务器将不受图片转换的影响，同时你得到了负载均衡的功能，因为job server会在请求到来的时候，将这个请求发给空闲的worker.同样对于多核的服务器，你可以在同一机器上创建同样数目的worker. 你可能担心，job server处于一个中心，那么这会是一个单点的瓶颈，如果死了，会怎么样？对于这样的情况，你可以运行多个job server。这样如果一个job server down了，client和worker会自动迁移到另一台job server上。

Tag:  Gearman, 异步 

kimi at  2010-04-08 09:39:59 in  Linux