[调度]Luigi任务调度/工作流/流水线/批量作业管道

超越Hadoop,Luigi打通云端大数据管道 - IT经理网 http://www.ctocio.com/ccnews/16988.html

[调度]Luigi任务调度/工作流/流水线/批量作业管道_第1张图片
Paste_Image.png

新的大数据开源技术和工具往往来自互联网公司,除了Facebook、Google和Twitter这样的巨头外,一些甚至是你想不到的互联网公司,例如Netflix和Spotify(音乐流媒体服务)也会贡献一些优秀的大数据分析开源工具(Suro和Luigi)。
近日创业公司Mortar就将Spotify开发的开源大数据工具Luigi搬上云端,在亚马逊云上提供复杂的,涉及大量工具和数据库的大数据流水线处理服务,不论是否使用Hadoop,用户都可以用Luigi管理复杂的大数据工作流。


开源大数据工具:Luigi - OPEN 开发经验库 http://www.open-open.com/lib/view/open1413337781090.html

你可能感兴趣的:([调度]Luigi任务调度/工作流/流水线/批量作业管道)