kafka安装

kafka
https://blog.csdn.net/lingbo229/article/details/80761778

kafka学习系列

http://kafka.apache.org/quickstart

https://blog.csdn.net/feelwing1314/article/details/81206506

https://www.cnblogs.com/runnerjack/p/8592036.html

https://www.cnblogs.com/justuntil/p/8033792.html

https://blog.csdn.net/gscsd_t/article/details/80089269

http://blog.51cto.com/xpleaf/2090847

http://www.cnblogs.com/qizhelongdeyang/p/7341954.html

原理

install

关闭防火墙
# service iptables status
# service iptables stop   # 关闭防火墙服务
# chkconfig iptables off  # 设置为开机不启动
# chkconfig --list        # 列出所有的系统服务

http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz

  1. 安装jdk 设置环境变量 编辑/etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile :让配置文件生效

jdk最好用最新的版本,不然后面运行会报错

  1. 下载kafka
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
  1. 解压,目录结构如下:
[root@ kafka_2.12]# tar -zxvf kafka_2.12.tar -C temp/
[root@ kafka_2.12]# pwd
/usr/local/kafka_2.12
[root@ kafka_2.12]# ls
bin  config  libs  LICENSE  NOTICE  site-docs

bin:包含Kafka运行的所有脚本,如:start/stop Zookeeper,start/stop Kafka
libs:Kafka运行的依赖库
config:zookeeper,Logger,Kafka等相关配置文件
sit-docs:Kafka相关文档

4.添加到环境变量 ~/.bash_profile

export KAFKA_HOME=/usr/local/kafka_2.12
export PATH=$PATH:$KAFKA_HOME/bin

source ~/.bash_profile

5.配置相关参数:$KAFKA_HOME/config/server.properties

 broker.id=10
 log.dirs=/home/uplooking/data/kafka               [kafka数据的存放目录]
zookeeper.connect=uplooking01:2181,uplooking02:2181,uplooking03:2181
kafka实例broker监听默认端口9092,配置listeners=PLAINTEXT://:9092


# 下面两个一定要配置,不然在生产消息时会出问题 localhost只能在本机测试,如果写java运行需要改成具体的ip
listeners=PLAINTEXT://localhost:9092
advertised.listeners=PLAINTEXT://localhost:9092

6.启动kafka自带的zookeeper

  • 制作zk的配置文件
    将zookeeper.properties 中的信息筛选出来并将筛选出来的数据给一个新建的文件zk.properties
    并将带有#注释的代码去掉
cat zookeeper.properties |grep -v '#' >> zk.properties
  • 启动zk zookeeper-server-start
    kafka可视化管理工具ZK_UI
    http://www.cnblogs.com/smail-bao/p/7794636.html
$KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zk.properties &
bin/zookeeper-server-start.sh config/zk.properties &

# 查看borker
bin/zookeeper-shell.sh localhost:2181   
进入后  
   #查看状态
ls /brokers/ids
  #删除Broker
rmr /brokers

jps查看启动
zookeeper只能启动单数,比如1台 、3台、7台等等,不能偶数台,偶数台的话假设有两台,那么只有一台机器再运行,因为如果是偶数的话,选举出来的管理者有可能两个borker得到的票数相同,奇数的话就不会出现这个情况

7 启动kafka

  • 制作kafka配置文件server-kfk.properties 去掉#注释的代码
cat config/server.properties |grep -v '#' >> server-kfk1.properties
  • 启动kafka kafka-server-start
$KAFKA_HOME/bin/kafka-server-start.sh [-daemon] $KAFKA_HOME/config/server-kfk1.properties 
        -daemon 可选,表示后台启动kafka服务

bin/kafka-server-start.sh -daemon config/server-kfk1.properties 

bin/kafka-server-start.sh   config/server.properties > kafka.log 2>&1 &

8 创建主题topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_name(主题名)

创建topic时,replication-factor个数不能超过broker的个数

  • 查看主题
bin/kafka-topics.sh --list --zookeeper localhost:2181

bin/kafka-topics.sh --describe topic_name --zookeeper localhost:2181

看到这个topic_name就说明创建成功了

9 发布消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic_name

端口号为9092,可以在server.properties修改此端口号 listeners
查看端口号命令

netstat -ant |grep 9092

10 启动消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name

# 查看之前的消息  可开几个终端查看效果
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --from-beginning

java API使用

https://www.cnblogs.com/liuming1992/p/6432506.html
https://www.cnblogs.com/qizhelongdeyang/p/7407273.html
http://blog.51cto.com/xpleaf/2090936

https://blog.csdn.net/wangshuminjava/article/details/80238161

https://blog.csdn.net/feelwing1314/article/details/81206506

重试

https://blog.csdn.net/feelwing1314/article/details/81206506
https://blog.csdn.net/huanggang028/article/details/49079431
https://blog.csdn.net/u012050154/article/details/78592854

扩展

https://blog.csdn.net/Trigl/article/details/70237981
https://blog.csdn.net/m0_37739193/article/category/6995722

https://blog.csdn.net/huaidandaidai1/article/details/80875088

输入输出

https://blog.csdn.net/alphags/article/details/53157499

你可能感兴趣的:(kafka安装)