日志采集——其它
Flume（cloudare
消息流：agent=>collect=>store
agent支持file，syslog等，store支持HDFS,file。
它有三种不同消息级别保障：end-to-end（先持久化，再发送），storeOnFailure，best effort（消息发送后不确认）
有管理端可以在线查询agent和collect运行情况，也可以动态配置
Scribe（facebook）
消息流：scribe-agent=>scribe=>store
scribe-agent对消息进行采集
agent和scribe之间通过thrif通讯，可以配置消息级别为storeOnFailure。
scribe对不同的topic进行不同的分发。
store支持文件，HDFS,buffer，scribe，thriftfile，null，bucket（多个store）
Kafka（LinkedIn)
消息流：Producer=>Broker=>Consumer
Kafka实际上是一个消息发布订阅系统。producer向某个topic发布消息，而consumer订阅某个topic的消息，进而一旦有新的关于某个topic的消息，broker会传递给订阅它的所有consumer。 在kafka中，消息是按topic组织的，而每个topic又会分为多个partition，这样便于管理数据和进行负载均衡。同时，它也使用了zookeeper进行负载均衡。
Producer和Consumer都可以通过它提供的api进行扩展。通过zookeeper，producer监听了broker和topic的更改信息，可以达到动态扩容
Chukwa
消息流：[adaptor=>agent]=>Collector=>Store
Adaptor就是采集数据；agent发送数据和守护adaptor
Collector，汇集消息，将小文件多写，改成适合HDFS的大文件少些
下面是网上的一个比较图