目录
1.系统架构
2.环境搭建
2.1本地环境下kafka批量导入数据
2.2 kafka-manager的安装与配置
3.1 Spark Streaming 性能调优(一): 解决并行度
3.2 Spark Streaming 性能调优(二): 解决task倾斜
下载
kafka-manager是开源的, 想下载的话直接到github上clone获取去relaease那里下载就行
- github主页: https://github.com/yahoo/kafka-manager
- release页面: https://github.com/yahoo/kafka-manager/releases
编译
下载完成后我们得到的是kafka-manager的源代码, 想运行kafka-manager还需要将其编译
- 由于编译时需要用到sbt下载依赖jar包, sbt默认又是用的国外源, 所以下载速度奇慢, 建议将sbt的下载源改成阿里云的私有云:
①.安装好sbt后, 一般你电脑的主目录/home/your_user_name/下一般都会有.sbt这个文件夹, 这个文件夹是隐藏的, 文件管理器可能看不到, 请用命令行打开.
②.在根目录下新建文件repositories,并编辑如下内容:
[repositories]
#local
public: http://maven.aliyun.com/nexus/content/groups/public/
typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
sonatype-oss-releases
sonatype-oss-snapshots
保存退出
这样sbt下载就会使用阿里云的源了
- 设置好国内的源后,就可以动手编译了
①.进入kafka-manager的解压目录,进入/bin文件夹,执行命令:
./sbt clean dist
之后就是漫长的等待(我的编译了5676s......)
②.编译完成后, kafka-manager的解压目录下就会多了一个target文件夹, 我们的可执行程序就在target/universal/kafka-manager-xxx.zip里面
③.解压这个kafka-manager-xxx.zip后,进入/bin就能运行kafka-manager
运行
在运行之前,我们还需要修改下kafka-manager的配置:
进入刚刚编译好的kafka-manager可执行程序的根目录下, 找到/conf/application.conf文件, 打开并修改:
kafka-manager.zkhosts="localhost:2181"
然后, 进入/bin目录, 执行:
./kafka-manager
即可运行, 不过要注意的是, 在开启kafka-manager之前, 记得开启zookeeper和kafka两个服务
配置
①.运行:
进入kafka-manager根目录下的/bin文件夹, 执行命令:
./kafka-manager
即可运行kafka-manager, 默认绑定的是9000端口, 打开localhost:9000后, 如果出现下图:
即表明kafka-manager启动成功.
②.新建集群:
点击下图中画红框的按钮:
即可弹出新建集群的界面:
具体的参数我还在研究, 以后再完善吧.
点击最下方的save即可新建集群.
③.新建topic
同样地, 新建topic与新建集群一样, 点击界面上方:
就会弹出新建topic的界面, 相关的参数我还在研究, 以后再回来完善.
参考文章: https://www.jianshu.com/p/e59c777f7f4e