kafka安装以及可视化界面kafka-eagle以及集群安装

KAFKA

先安装完zookeeper，小规模用可以用新版kafka自带的zookeeper。

下载

cd /usr/local

wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.12-2.7.0.tgz

#解压
tar -xzvf kafka_2.12-2.7.0.tgz

#重命名
mv kafka_2.12-2.7 kafka

修改配置

cd kafka/config

vim server.properties

advertised.listeners=PLAINTEXT://外网IP:9092

log.dirs=/usr/local/kafka/logs

启动（注意要先启动zk）

../bin/kafka-server-start.sh config/server.properties

常用命令：

#在kafka安装根目录
#启动
bin/kafka-server-start.sh -daemon config/server.properties
ps:-daemon是为了让在后台运行
 
#创建tocic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
 
#查询topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
 
#启动 Producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
 
#启动 Consumer
bin/kafka-console-consumer.sh --bootstrap-server local:9092 --topic test --from-beginning
 
#topic的信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

KAFKA-EAGLE可视化界面

下载&解压

cd /usr/local

wget https://github.com/smartloli/kafka-eagle-bin/archive/v2.0.4.tar.gz

tar -xvf kafka-eagle-bin-1.2.4.tar.gz

mv kafka-eagle-bin-1.2.4 kafka-eagle

配置环境变量(需要配置java_home，yum安装看
https://blog.csdn.net/a704397849/article/details/103809206)

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64

export KE_HOME=/usr/local/kafka-eagle-bin-1.2.4/kafka-eagle-web-1.2.4

export PATH=$PATH:$KE_HOME/bin:$JAVA_HOME/bin

改好后更新配置

source /etc/profile

修改Kafka-Eagle配置文件

cd /usr/local/kafka-eagle/kafka-eagle-web-1.2.4

vi ./conf/system-config.properties

修改节点如下：

kafka.eagle.url=jdbc:sqlite:/usr/local/kafka-eagle/kafka-eagle-web-1.2.4/bin/db/ke.db

######################################
# multi zookeeper&kafka cluster list
######################################
#kafka.eagle.zk.cluster.alias=cluster1,cluster2
#cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

#单节点
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.1.104:2181

创建数据库目录以及启动

cd /usr/local/kafka-eagle/kafka-eagle-web-1.2.4/bin
mkdir db

chmod +x ke.sh

./ke.sh start

启动成功打印日志如下;

*******************************************************************
* Kafka Eagle system monitor port successful...
*******************************************************************
[2020-02-07 17:05:57] INFO: Status Code[0]
[2020-02-07 17:05:57] INFO: [Job done!]
Welcome to
__ __ ___ ____ __ __ ___ ______ ___ ______ __ ______
/ //_/ / | / __/ / //_/ / | / ____/ / | / ____/ / / / ____/
/ ,< / /| | / /_ / ,< / /| | / __/ / /| | / / __ / / / __/
/ /| | / ___ | / __/ / /| | / ___ | / /___ / ___ |/ /_/ / / /___ / /___
/_/ |_| /_/ |_|/_/ /_/ |_| /_/ |_| /_____/ /_/ |_|\____/ /_____//_____/
Version 1.3.8
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://10.0.0.200:8048/ke'
* Account:admin ,Password:123456
*******************************************************************
* ke.sh [start|status|stop|restart|stats]
* https://www.kafka-eagle.org/
*******************************************************************

如果出现错误，请查看日志日志是否出问题

如果没问题，则直接登录

• http://host:8048/ke
• 默认用户名:admin

• 默认密码:123456

  
  

监控趋势图

Kafka系统默认是没有开启JMX端口的，所以Kafka Eagle的监控趋势图默认采用不启用的方式，即kafka.eagle.metrics.charts=false。如果需要查看监控趋势图，需要开启Kafka系统的JMX端口，设置该端口在$KAFKA_HOME/bin/kafka-server-start.sh脚本中，设置内容如下：

vim  /opt/software/kafka-eagle/conf/system-config.properties

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true

开启JMX监控

eagle通过jmx收集一些指标，在使用jmx之前需要确保kafka开启了jmx监控

开启方法1：kafka启动时要添加JMX_PORT=9999

开启方法2：vim bin/kafka-server-start.sh

...
vi /opt/software/kafka/bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    # 这里的端口不一定非要设置成9999，端口只要可用，均可。
    export JMX_PORT="9999" 
    #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

Kafka Eagle系统会自动获取这个JMX端口，采集结果如下：

配置文件参考链接：
https://www.cnblogs.com/weixiuli/p/6413109.html

集群部署

3台机器，分别是192.168.1.104，192.168.1.105，192.168.1.107
kafka配置文件加上

#三台机器必须不同
broker-id = 1
zookeeper.connect=192.168.88.21:2181,192.168.88.22:2181,192.168.88.23:2181

之后先启动zk集群，再启动kafka集群，启动完成后，登录eagle查看即可。