LOG ANALYST BIG DATA SYSTEM资源

日志抓取端：

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。

首先当然推荐的是kafka的官网 http://kafka.apache.org/

在官网最值得参考的文章就是kafka design：http://kafka.apache.org/design.html，我的文章也基本都是参照这里的说明，大家要特别重视这篇文章，里面有好多理念都特别好，推荐多读几遍。

在OSC的翻译频道有kafka design全中文的翻译，翻得挺好的，推荐一下：http://www.oschina.net/translate/kafka-design

kafka的wiki是很不错的学习文档：https://cwiki.apache.org/confluence/display/KAFKA/Index

——————————————————————————————————

接下来就是我写的一系列文章，文章都是循序渐进的方式带你了解kafka：

关于kafka的基本知识，分布式的基础：《分布式消息系统Kafka初步》

kafka的分布式搭建，quick start：《kafka分布式环境搭建》

关于kafka的实现细节，这主要就是讲design的部分：《细节上》、《细节下》

关于kafka开发环境，scala环境的搭建：《开发环境搭建》

数据生产者，producer的用法：《producer的用法》、《producer使用注意》

数据消费者，consumer的用法：《consumer的用法》

还有些零碎的，关于通信段的源码解读：《net包源码解读》、《broker配置》

——————————————————————————————————

扩展的阅读还有下面这些：

我的好友写的关于kafka和jafka的相关博客，特别好，我有很多问题也都找他解决的，大神一般的存在：http://rockybean.github.com/ @rockybean

kafka的java化版本jafka：https://github.com/adyliu/jafka

淘宝的metaQ：https://github.com/killme2008/Metamorphosis

我最近在写的inforQ，刚开始写，我也纯粹是为了读下源码，不定期更新哈：https://github.com/ielts0909/inforq

后面一阶段可能更新点儿关于cas的东西吧，具体也没想好，最近一直出差，写代码的时间都很少

--------------------------------------------------------------------------------

0.8版本的相关更新如下：

0.8更新内容介绍：《kafka0.8版本的一些更新》