kafka学习总结

kafka学习总结

https://github.com/apache/kafka

kafka streaming： http://www.atatech.org/articles/59015

无状态计算：数据分发和过滤，基于规则和策略
有状态计算：达到某个阈值时触发报警，比如暴力密码破解行为，需要在内存中进行aggregation计算

Kafka Stream 提供了一个抽象概念KTable

关于时间窗口的问题，事件的发生时间和处理时间

kafka源码分析ISR和Replica：http://zqhxuyuan.github.io/2016/01/14/2016-01-14-Kafka-ISR/

kafka设计解析：
http://www.infoq.com/cn/articles/kafka-analysis-part-1
http://www.infoq.com/cn/articles/kafka-analysis-part-2
http://www.infoq.com/cn/articles/kafka-analysis-part-3

leader election问题；
kafka中高可用性和强一致性的折衷选择；
kafka的负载均衡性问题；
Split Brain和Herd等问题；

kafka监控：https://github.com/yahoo/kafka-manager

kafka官方文档：http://kafka.apache.org/documentation.html#quickstart

跨集群的复制：https://engineering.linkedin.com/kafka/intra-cluster-replication-apache-kafka

AVRO序列化的特点：
定义好模式后，可以不需要生成代码，即可进行序列化和反序列化操作，与protobuf和thrift不同。
http://avro.apache.org/docs/current/gettingstartedjava.html

zookeeper监控：exhibitor、zktop
https://github.com/Netflix/exhibitor/wiki/Building-Exhibitor
https://github.com/phunt/zktop
性能测试 https://github.com/brownsys/zookeeper-benchmark

distributedlog与kafka的对比：http://distributedlog.incubator.apache.org/docs/latest/start/quickstart

apache kafka技术分享系列：http://blog.csdn.net/lizhitao/article/details/39499283

美团做的mafka，一整套的kafka集群管理方案。