kafka-manager 编译安装

kafka-manager 安装

由于 kafka 管控台是 Scala 语言编写的，需要下载支持构建 Scala 工程的工具 sbt

sbt 安装

• curl https://bintray.com/sbt/rpm/rpm 下载安装包
• mv bintray-sbt-rpm.repo /etc/yum.repos.d/ 移动到 yum.repos.d 目录下（需要管理员权限）
• yum install sbt 使用基于 rpm 的软件包管理器 yum 安装 sbt 并自动处理其依赖包

jdk 安装 （非必须）

• 卸载系统自带的OpenJDK以及相关的java文件
  rpm 是 linux 系统自带的软件管理工具
  • rpm -qa|grep java 询问已安装的 jdk。
  • rpm -e --nodeps xxx 删除查看到的 jdk，noarch 文件可以不用删，nodeps 表示不验证软件的关联性。如果没有删除成功，yum -y remove 去删除他们
• 下载 jdk 到 soft 软件目录下
  https://www.oracle.com/technetwork/java/javase/downloads/index.html
• 解压 tar -zxvf jdk-8u181-linux-x64.tar.gz
• 设置环境变量 vim ~/.bash_profile

PATH=$PATH:$JAVA_HOME/bin
export PATH 

kafka-manager 安装

编译

• curl https://codeload.github.com/yahoo/kafka-manager/tar.gz/1.3.3.18 下载源程序
• tar -zxvf 1.3.3.18.tar.gz 解压
  ln -s kafka-manager-1.3.3.18 kafka-manager 创建软链接，并进入 kafka-manager 目录
• sbt clean dist 使用 sbt 构建 kafka-manager，编译完成后再 kafka-manager/target/universal 生成可运行的 zip 包
  构建过程太慢，可以修改sbt镜像
  新建~/.sbt/repositories 文件，文件内容的顺序则是软件获取位置的顺序

[repositories]
  local
  aliyun: http://maven.aliyun.com/nexus/content/groups/public/
  central: http://repo1.maven.org/maven2/

安装运行

• unzip kafka-manager-1.3.3.18.zip 解压软件到指定位置
• vim kafka-mananger-1.3.3.18/conf/application.conf 编辑相应的配置信息

kafka-manager.zkhosts="192.168.33.128:3182"

• nohup kafka-manager-1.3.3.18/bin/kafka-manager -Dconfig.file=kafka-manager-1.3.3.18/conf/application.conf -Dhttp.port=9001 & 启动程序
  说明：正常来说，play框架应该会自动加载conf/application.conf配置里的内容，但是貌似这个不起作用，要显式指定才行。
  默认http端口是9000，可以修改配置文件里的http.port的值，或者通过命令行参数传递：kafka-manager -Dhttp.port=9001
• 192.168.33.128:9000 访问管理台
  kafka 默认是不开启JMX监控的，但是kafka-manager支持JMX监控，如果不添加，无法监控，监控需要配置kafka的JMX端口，并重启kafka。修改bin/kafka-server-start.sh，添加JMX_PORT参数，添加后样子如下:

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9999"
fi 

使用

启动kafka和zk，访问web界面， 点击顶部Cluster、Add Cluster

名字；集群zkhost格式：host1:2181,host2:2181,host3:2181

添加成功后，连接需要时间，稍等一会儿就能正确显示。

kafka安装

https://www.digitalocean.com/community/tutorials/how-to-install-apache-kafka-on-centos-7
1.1 下载并解压
已安装 java 环境
地址：http://kafka.apache.org/downloads.html
1.2 规划配置

新建 kafka 实例目录
# mkdir -pv 9092/{conf,logs}
进入kafka的conf目录，新建 server.properties
配置详细说明 https://www.cnblogs.com/jun1019/p/6256371.html

# broker的全局唯一编号，不能重复
#broker.id=0
# 监听
#listeners=PLAINTEXT://:9092
# 日志目录
#log.dirs=/home/vivo/program/kafka/9092/logs
# 配置zookeeper的连接（如果不是本机，需要该为ip或主机名）
#zookeeper.connect=localhost:3003

broker.id=0
port=9092
host.name=192.168.11.114
advertised.host.name=192.168.11.114
log.dirs=/usr/local/kafka/kafka-logs
num.partitions=2
zookeeper.connect=192.168.11.114:2181,192.168.11.115:2181,192.168.11.116:2181

配置环境变量 .bash_profile

redis=/home/vivo/program/redis

zk=/home/vivo/soft/zookeeper

kafka=/home/vivo/soft/kafka

PATH=$kafka/bin:$zk/bin:$redis/bin:$PATH:$HOME/bin
export PATH

启动kafka，等待片刻，成功
# kafka-server-start.sh 9092/conf/server.properties