Jubatus: 分布式在线机器学习框架

阅读更多

  Jubatus http://jubat.us/en/overview.html 是一个面向大数据数据流的分布式在线机器学习的开源框架，和storm有些类似，但是从介绍上来看，它提供了更多的功能。
  Jubatus认为未来的数据分析平台应该同时向三个方向展开：处理更大的数据，深层次的分析和实时处理；而当前还没有一种能够处理不断生成的流式大数据的水平可扩展的分布式架构。Hadoop的mapreduce能够处理大数据，但不能做复杂的机器学习算法；Apache Mahout是基于Hadoop的机器学习平台，但不适用于在线处理数据流。
Jubatus将在线机器学习，分布式计算和随机算法等的优势结合在一起用于机器学习，并支持分类，回归，推荐等基本元素。根据其设计目的，Jubatus有如下的特点：

• 可扩展:支持可扩展的机器学习处理。在普通硬件集群上处理数据速度高达100000条/秒
• 实时计算:实时分析数据和更新模型
• 深层次的数据分析:支持各种分析计算：分类，回归，统计，推荐等

  Jubatus还是一个很年轻的项目，当前最新的发布版本是0.3.2(c++), 但暂时还没有看到有商业使用的例子；如果有基于流数据的机器学习方面的需求，还是关注一下的。