大数据之Kafka介绍

概念

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副 本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以 实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟 的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务 等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶 级开源 项目。

介绍

Kafka的特性：

高吞吐量、低延迟：

kafka每秒可以处理几十万条消息，它的延迟最低只有几 毫秒，每个topic可以分多个partition, consumer group 对partition进行 consume操作。

可扩展性：

kafka集群支持热扩展

持久性、可靠性：

消息被持久化到本地磁盘，并且支持数据备份防止数据丢失

容错性：

允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）

高并发：

支持数千个客户端同时读写

Kafka的使用场景：

日志收集：

一个公司可以用Kafka可以收集各种服务的log，通过kafka以统 一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。

消息系统：

解耦和生产者和消费者、缓存消息等。

用户活动跟踪：

Kafka经常被用来记录web用户或者app用户的各种活动， 如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka 的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载 到hadoop、数据仓库中做离线分析和挖掘。

运营指标：

Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的 数据，生产各种操作的集中反馈，比如报警和报告。

流式处理：

比如spark streaming和storm

基本工作原理图

名词解释

Kafka中发布订阅的对象是topic。我们可以为每类数据创建一个topic，把向topic发布消息的客户端称作producer，从topic订阅消息的客户端称作consumer。Producers和consumers可以同时从多个topic读写数据。一个kafka集群由一个或多个broker服务器组成，它负责持久化和备份具体的kafka消息。

Broker：

Kafka节点，一个Kafka节点就是一个broker，多个broker 可以组成一个Kafka集群。

Topic：

一类消息，消息存放的目录即主题，例如page view日志、click 日志等都可以以topic的形式存在，Kafka集群能够同时负责多 个topic的分发。

Partition：

topic物理上的分组，一个topic可以分为多个partition， 每个partition是一个有序的队列。

Segment：

partition物理上由多个segment组成，每个Segment存 着message信息。

Producer：

生产message发送到topic。

Consumer：

订阅topic消费message, consumer作为一个线程来消费。

Consumer Group：

一个Consumer Group包含多个consumer, 这个是预先在配置文件中配置好的。各个consumer（consumer 线程）可以组成一个组（Consumer group ），partition中的每个message只能被组（Consumer group ） 中的一个consumer（consumer 线程 ）消费，如果一个message可以被多个consumer（consumer 线程 ） 消费的话，那么这些consumer必须在不同的组。Kafka不支持一个partition中的message由两个或两个以上的consumer thread来处理，即便是来自不同的consumer group的也不行。它不能像AMQ那样可以多个BET作为consumer去处理message，这是因为多个BET去消费一个Queue中的数据的时候，由于要保证不能多个线程拿同一条message，所以就需要行级别悲观所（for update）,这就导致了consume的性能下降，吞吐量不够。而kafka为了保证吞吐量，只允许一个consumer线程去访问一个partition。如果觉得效率不高的时候，可以加partition的数量来横向扩展，那么再加新的consumer thread去消费。这样没有锁竞争，充分发挥了横向的扩展性，吞吐量极高。这也就形成了分布式消费的概念。

Kafka安装（要先安装Zookeeper，Kafka由它管理）

安装网址：

CentOS7 64位虚拟机安装Kafka完整教程_顶尖高中生的博客-CSDN博客