PinLater：Pinterest的异步任务执行系统

近日，Pinterest宣布开源异步任务执行系统PinLater。该系统已经在Pinterest的生产环境中应用了两年多，是Pinterest最关键的任务系统之一。目前，PinLater使用了10多个位于Amazon EC2之上的不同集群，500多个任务队列每分钟总计要处理超过600万个任务。

PinLater的基本架构如下：

可以看出，PinLater包含三个组件：

1. 一个无状态的Thirft服务，管理任务提交和调度；
2. 一个存储后台，存储任务和状态；
3. 工作进程池，执行任务。

要了解更多架构细节，可以查看Pinterest工程师Raghavendra Prabhu先前发表的一篇文章。

PinLater主要有如下特性：

• 可靠的任务执行：显式确认、自动重试、延迟可配置；
• 任务调度：可以将任务安排到将来的一个特定时间点执行；
• 速率限制：可以限制系统中特定队列的执行速率；
• 语言无关：可以使用任何Thrift支持的语言编写任务入队程序和任务执行程序；
• 横向可扩展：服务及存储均是横向可扩展的；
• 支持多种存储后台：目前针对不同的使用场景支持MySQL和Redis实现；
• 可见性：可以通过Ostrich查看任务及相应的任务队列，跟踪各种运行时属性。

过去的一年中，Pinterest对PinLater进行了改进，在使用MySQL作为存储后台时，其吞吐量提升了5倍，单个i2.2xl MySQL EC2实例每秒可以执行2000多次入队操作。考虑到MySQL提供了更高的可靠性，他们计划将所有工作负载移至MySQL。他们还构建了一个检查点功能和一个故事板，前者用于支持长时间执行的任务和复杂的工作流程，后者用于查看任务状态、调试失败任务等。要了解更多信息，请查看PinLater的GitHub页面。

感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至[email protected]。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号：InfoQChina）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群（已满），InfoQ读者交流群（#2））。