kafka学习之linux单机安装kafka
linux单机安装kafka
一、关闭SELINUX
vi /etc/selinux/config
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加
:wq! #保存退出
setenforce 0 #使配置立即生效
二、配置关闭防火墙，开启9092端口
启动一个服务：systemctl start firewalld.service
关闭一个服务：systemctl stop firewalld.service
重启一个服务：systemctl restart firewalld.service
显示一个服务的状态：systemctl status firewalld.service
在开机时启用一个服务：systemctl enable firewalld.service
在开机时禁用一个服务：systemctl disable firewalld.service
查看服务是否开机启动：systemctl is-enabled firewalld.service;echo $?
查看已启动的服务列表：systemctl list-unit-files|grep enabled
三、安装jdk
1、查看是否存在
which java
2、卸载
mv /usr/bin/java /usr/bin/java.bak
rpm 卸载(前体rpm安装)，如果二进制安装直接删除目录
3、创建/usr/java/目录
mkdir /usr/java/
4、解压
tar -zxvf /home/vminstall/jdk-8u152-linux-x64.tar.gz -C /usr/local/
5、配置全局环境变量
vi /etc/profile
内容：
#my setttings
export JAVA_HOME=/usr/local/jdk1.8.0_111/
export CLASSPATH=.:${JAVA_HOME}lib/dt.jar:${JAVA_HOME}lib/tools.jar:${JAVA_HOME}jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin:
6、使上述配置生效
source /etc/profile
五、安装kafka
1、下载kafka
cd /usr/local/src
wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
注意，kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本，解压就能使用。
tar -xzvf kafka_2.11-0.8.2.1.tgz #解压
mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录
2、配置kafka
mkdir /usr/local/kafka/log/kafka #创建kafka日志目录
cd /usr/local/kafka/config #进入配置目录
vi server.properties #编辑修改相应的参数
broker.id=0
port=9092 #端口号
host.name=00.00.00.00 #服务器IP地址，修改为自己的服务器IP
log.dirs=/usr/local/kafka/log/kafka #日志存放路径，上面创建的目录
zookeeper.connect=00.00.00.00:2181 #zookeeper地址和端口，单机配置部署，localhost:2181
:wq! #保存退出
3、配置zookeeper
mkdir /usr/local/kafka/zookeeper #创建zookeeper目录
mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录
cd /usr/local/kafka/config #进入配置目录
vi zookeeper.properties #编辑修改相应的参数
dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录
dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
:wq! #保存退出
4、创建启动、关闭kafka脚本
cd /usr/local/kafka
#创建启动脚本
vi kafkastart.sh #编辑，添加以下代码
#!/bin/sh
#启动zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒后执行
#启动kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
:wq! #保存退出
#创建关闭脚本
vi kafkastop.sh #编辑，添加以下代码
#!/bin/sh
#关闭zookeeper
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒后执行
#关闭kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &
:wq! #保存退出
#添加脚本执行权限
chmod +x kafkastart.sh
chmod +x kafkastop.sh
5、设置脚本开机自动执行
vi /etc/rc.d/rc.local #编辑，在最后添加一行
sh /usr/local/kafka/kafkastart.sh & ＃设置开机自动在后台运行脚本
:wq! #保存退出
sh /usr/local/kafka/kafkastart.sh #启动kafka
sh /usr/local/kafka/kafkastop.sh #关闭kafka
5、操作kafka
创建topic:
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 00.00.00.00:2181 --replication-factor 1 --partitions 1 --topic test
生产者：
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 00.00.00.00:9092 --topic test
消费者：
/usr/local/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --zookeeper 00.00.00.00:2181
查看topic列表：
/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 00.00.00.00:2181