部署kafka以及配置文件详解

########安装kafka

 tar -zxvf kafka_2.12-0.10.2.0.tgz

cd /root/letv/kafka_2.12-0.10.2.0/config
egrep -v '^#|^$' server.properties 
vim server.properties

配置文件

broker.id=2
#每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.id的话不会影响consumers
port=9092
##提供给客户端响应的端口
num.network.threads=10
## broker 处理消息的最大线程数，一般情况下不需要去修改
num.io.threads=12
## broker处理磁盘IO 的线程数 ，数值应该大于你的硬盘数
message.max.bytes=10485760
##消息体的最大大小，单位是字节
log.index.size.max.bytes=104857600
## 对于segment日志的索引文件大小限制，会被topic创建时的指定参数覆盖
socket.send.buffer.bytes=1048576
## socket的发送缓冲区，socket的调优参数SO_SNDBUFF
socket.receive.buffer.bytes=1048576
## socket的接受缓冲区，socket的调优参数SO_RCVBUFF
socket.request.max.bytes=104857600
## socket请求的最大数值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，会被topic创建时的指定参数覆盖
replica.fetch.max.bytes=104857600
##replicas每次获取数据的最大大小
log.dirs=/data/hadoop/data1/kafka/log,/data/hadoop/data2/kafka/log,/data/hadoop/data3/kafka/log,/data/hadoop/data5/kafka/log,/data/hadoop/data6/kafka/log
num.partitions=5
##kafka数据的存放地址，多个地址的话用逗号分割 /tmp/kafka-logs-1，/tmp/kafka-logs-2
log.retention.hours=168
##日志保留日期设置的是7天
log.segment.bytes=1073741824
## topic的分区是以一堆segment文件存储的，这个控制每个segment的大小，会被topic创建时的指定参数覆盖
log.retention.check.interval.ms=60000
## 文件大小检查的周期时间，是否处罚 log.cleanup.policy中设置的策略
log.cleaner.enable=false
## 是否开启日志压缩
replica.socket.receive.buffer.bytes=1048576
## leader复制时候的socket缓存大小
num.replica.fetchers=10
## leader 进行复制的线程数，增大这个数值会增加follower的IO
zookeeper.connect=10.183.93.129:21818,10.183.93.131:21818,10.183.93.132:21818/kafka
##zookeeper集群的地址，可以是多个，多个之间用逗号分割 hostname1:port1,hostname2:port2,hostname3:port3
zookeeper.connection.timeout.ms=10000
## ZooKeeper的连接超时时间
auto.create.topics.enable=false
## 是否允许自动创建topic ，若是false，就需要通过命令创建topic
delete.topic.enable=true
#删除topic权限开启
replica.lag.time.max.ms=100000
## replicas响应partition leader的最长等待时间，若是超过这个时间，就将replicas列入ISR(in-sync replicas)，并认为它是死的，不会再加入管理中
replica.lag.max.messages=40000
## 在broker数量较少,或者网络不足的环境中,建议提高此值.
auto.leader.rebalance.enable=false
## 是否自动平衡broker之间的分配策略
unclean.leader.election.enable=false

安装继续

tar zcvf kafka_2.12-0.10.2.0.tar.gz kafka_2.12-0.10.2.0
sudo ansible -i ansible_hosts elk -m copy -a "src=/letv/kafka_2.12-0.10.2.0.tar.gz dest=/letv/kafka_2.12-0.10.2.0.tar.gz "
ansible -i ansible_hosts elk -m script -a '/root/script/kafka_install.sh'

#！bin/bash
cd /letv
tar -xzvf kafka_2.12-0.10.2.0.tar.gz
ln -s /letv/kafka_2.12-0.10.2.0 /usr/local/kafka


#brokerid要改一下
vim  /letv/kafka_2.12-0.10.2.0/config/server.properties 
mkdir  /usr/local/kafka/logs/
mkdir /data/hadoop/data6/kafka-logs/
启动脚本
start-broker.sh
关闭
kafka-server-stop.sh

#! /bin/bash
source /etc/profile
cd `dirname $0`
pwd
COUNT=`jps | grep Kafka  | wc -l`
if [ $COUNT -eq 0 ]; then
  echo starting Kafka
  echo `date "+%Y%m%d %H:%M:%S"` COUNT=0, starting Kafka >> /usr/local/kafka/logs/kafka-restart.log
  nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties  > /data/hadoop/data6/kafka-logs/kafka_run.log 2>&1 &
  sleep 5
  #bin/storm supervisor >/dev/null 2>&1 &
fi

hosts还是必须要加
10.183.93.131 elasticsearch-cluster bops-10-183-93-131
10.183.93.132 elasticsearch-cluster bops-10-183-93-132
10.183.93.129 elasticsearch-cluster bops-10-183-93-129
报错 应该是没装scala
java.net.UnknownHostException: bops-10-183-93-129: bops-10-183-93-129: Name or service not known
mkdir -p /data/hadoop/data1/kafka/log
mkdir -p /data/hadoop/data2/kafka/log
mkdir -p /data/hadoop/data3/kafka/log
mkdir -p /data/hadoop/data5/kafka/log
mkdir -p /data/hadoop/data6/kafka/log