Hadoop(九)kafka配置
Kafka是一个分布式流媒体平台，Kafka作为一个集群运行在一台或多台可以跨越多个数据中心的服务器上。
Kafka集群在称为主题的类别中存储记录流。每个记录由一个键，一个值和一个时间戳组成。
第1步：下载代码
下载地址 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz
下载完后上传到linux服务器总解压
tar -zxvf kafka_2.11-1.1.0.tgz
cd kafka_2.11-1.1.0第二步 启动服务器
Kafka使用ZooKeeper，因此如果没有启动ZooKeeper服务器，需要首先启动ZooKeeper服务器。可以使用与kafka打包在一起的便捷脚本来获得快速且简单的单节点ZooKeeper实例。
启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties启动启动 Kafka
bin/kafka-server-start.sh -daemon config/server.properties加上-daemon 可以让他们去后台运行
第3步：创建一个主题
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test运行list topic命令，我们现在可以看到该主题
> bin/kafka-topics.sh --list --zookeeper localhost:2181
test可以看到输出 test
第4步：发送一些消息(生产数据)
Kafka带有一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kafka集群。默认情况下，每行将作为单独的消息发送。
运行生产者，然后在控制台中输入几条消息发送到服务器。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hello kafka第5步：启动消费者
kafka也有一个命令行消费者，将消息转储到标准输出。
另外启动⼀个终端消费数据
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
hello kafka第6步：设置多代理群集
上面的操作只是在同一台机器上运行，我们一般情况下都是使用分布式的在多台机器上设置。这里使用3台机器 master , slave , slave2
把master中kafka的解压文件分别复制道slave 和 slave2节点中。
scp -r kafka_2.11-1.1.0 slave:/home/chs/software
scp -r kafka_2.11-1.1.0 slave2:/home/chs/software配置slave和slave2中kafka下的config/server.properties文件
进入config文件夹中 vim server.properties
slave节点上
broker.id=1
zookeeper.connect=master:2181slave2节点上
broker.id=2
zookeeper.connect=master:2181各节点分别启动 Zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties各节点分别启动kafka
bin/kafka-server-start.sh -daemon config/server.properties创建一个新的主题：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic跟上面一样产生一些新的数据给这个新主题
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
...
my test message 1
my test message 2另外启动⼀个终端消费数据
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2OK测试成功，现在我们是在一个集群上布置了kafka ，我们该怎么知道每个broker 在做什么呢？运行下面的命令
[root@master kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 2,0,1 Isr: 1,2
[root@master kafka_2.11-1.1.0]#
上面的输出中
“leader” ： 负责给定分区的所有读写操作的节点。这个领导者是随机选择出来的。上面的例子中就选择了2当做leader，也就是slave2中的kafka。
“replicas” ： 是复制此分区的日志的节点列表。
“isr” ： 是一组“同步”副本。这是复制品列表的子集，目前活着并被引导到leader身边。
如果我们在最开始创建的test主题上运行这个命令
[root@master kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:1 Configs:
Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
[root@master kafka_2.11-1.1.0]# 因为那时候还没有配置集群，他的副本数就是0
下面来看一下kafka的容错机制
上面的集群中我们可以看到leader是2也就是slave2中的kafka。下面我们去slave2中把kafka的进程杀掉
[root@slave2 kafka_2.11-1.1.0]# jps
2493 Kafka
2542 Jps
2175 QuorumPeerMain
[root@slave2 kafka_2.11-1.1.0]# kill -9 2493这个时候master中会看到一些日志
2018-06-07 17:36:11,807] WARN [Consumer clientId=consumer-1, groupId=console-consumer-831] Connection to node 2 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2018-06-07 17:36:11,912] WARN [Consumer clientId=consumer-1, groupId=console-consumer-831] Connection to node 2 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2018-06-07 17:36:12,150] WARN [Consumer clientId=consumer-1, groupId=console-consumer-831] Connection to node 2 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)意思是连不上节点2了
这个时候在查看其属性描述
[root@master kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 0 Replicas: 2,0,1 Isr: 0,1
[root@master kafka_2.11-1.1.0]# leader变成了0，并且节点2不在同步副本中。
kafka的简单配置就到这啦。