kafka 第一课

Paste_Image.png

Paste_Image.png

1.kafka是能够处理实时信息流的消息系统

Paste_Image.png

（1）Producer API
提供生产topic的接口
（2） Streams API
接受一个topic 然后返回一个topic
（3）Consumer API
消费topic的api
（4） Connector API
通过 connectors可以将大数据从其它系统导入到Kafka中，也可以从Kafka中导出到其它系统。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等，比如数据库、 Elastic Search 、 Apache Ignite 等。

2.kafka 的用途

（1）在不同系统和应用之间构建实时可靠信息流
（2）能够实时转化和响应信息流

3.Topics and Logs

Paste_Image.png

系统发送的每个记录被称为一个topic。topic的存活周期可以自己设定。

Paste_Image.png

每个consumer都会保持一个meta记录，记录着offset 偏移量。由用户控制。可以随意读取。