Kafka 基础简介

今天来一起聊聊 Kafka 基础知识。

1、Kafka 诞生的背景

LinkedIn 需要捕获数据并将这些巨量的数据以可靠的、完整的数据流方式传递给数据分析处理系统。

Kafka 作为 LinkedIn 的“中枢神经系统”，管理从各个应用程序汇聚到此的信息流，经处理后分发到各处。同时作为消息系统，进行消息的传递；同时也是日志存储系统，以日志的形式存储了数据源的所有数据。

2、Kafka 在 LinkedIn 的应用

管理信息流的开源解决方案：作为消息中枢，各应用以松耦合方式一起工作。

主要使用场景：系统监控；传统消息队列；分析；其他分布式日志系统组件；MirrorMaker（kafka 集群间同步数据）；Restful 接口；审计服务。想学习交流HashMap,nginx、dubbo、Spring MVC,分布式、高性能高可用、MySQL，redis、jvm、多线程、netty、kafka、的加尉xin（同英）：1253431195 扩列获取资料学习，无工作经验不要加哦！

3、Kafka 主要设计目标

1）以时间复杂度 O（1）的方式提供消息持久化能力，即使应对 TB 级以上的数据也能保证常数时间的访问性能

2）高吞吐率，即使廉价的商用机器上也能做到单机支持 100K/s 条消息的传输

3）支持 Kafka Server 间的消息分区，分布式消费，同时保证每个分区内消息顺序传输

4）支持离线数据处理和实时数据处理

5）支持在线水平扩展

4、为什么要使用消息系统

1）解耦

2）冗余  消息队列把数据进行持久化直到数据完全处理完，规避数据丢失风险。想学习交流HashMap,nginx、dubbo、Spring MVC,分布式、高性能高可用、MySQL，redis、jvm、多线程、netty、kafka、的加尉xin（同英）：1253431195 扩列获取资料学习，无工作经验不要加哦！

3）扩展性  基于解耦，可以增加消息入库和处理的频率

4）灵活性和峰值处理 削峰

5）可恢复性

6）顺序保证

7）缓冲

8）异步通信