linux kafka
zookeeper 安装
Zookeeper集群搭建
https://www.cnblogs.com/grimm/p/6732867.html
下载
稳定版
wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
解压
tar -zxvf zookeeper-3.4.10.tar.gz
cd conf
cp zoo.xx zoo.conf
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/zkdata
dataLogDir=/opt/zookeeper/zkdatalog
clientPort=12181
server.1=192.1xxx:12888:13888
server.2=192.xxx:12888:13888
server.3=192.xxx:12888:13888
#server.1 这个1是服务器的标识也可以是其他的数字， 表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里
#192.168.7.107为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888
echo "1" > /opt/zookeeper/zkdata/myid
#server2
echo "2" > /opt/zookeeper/zkdata/myid
#server3
echo "3" > /opt/zookeeper/zkdata/myid
1. 启动ZK服务: sh bin/zkServer.sh start
2. 查看ZK服务状态: sh bin/zkServer.sh status
3. 停止ZK服务: sh bin/zkServer.sh stop
4. 重启ZK服务: sh bin/zkServer.sh restart
scala2.11.0 安装
wget https://downloads.lightbend.com/scala/2.11.0/scala-2.11.0.tgz
tar -zxvf scala.xx -C /usr/local
mv scala.xx scala
vi /etc/profile
在文件/etc/profile底部添加环境变量
vi /etc/profile
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile
kafka 安装
wget http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
（1）、启动kafka命令：
#cd /opt/kafka_2.10-0.10.1.1/bin;
# ./kafka-server-start.sh /opt/kafka_2.10-0.10.1.1/config/server.properties &;
（2）、停止kafka命令：
# ./kafka-server-stop.sh
（3）、创建Topic：(创建一个名为test的topic，只有一个副本，一个分区。)
#./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
（4）、列出所有Topic：
./bin/kafka-topics.sh -list -zookeeper 127.0.0.1:2181
（5）、启动Producer并发送消息：
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic huiyue
./kafka-console-producer.sh --broker-list xxx:9092 --topic test5
（输入相应的消息，eg:hello kafka;按Ctrl+C结束）
（6）、启动Consumer并接收消息：
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
./kafka-console-consumer.sh --bootstrap-server xxxx:9092 --topic test5 --from-beginning
./kafka-console-consumer --bootstrap-server localhost:9092 --topic test1 --from-beginning
(7) 启动消费组
./kafka-console-consumer.sh --bootstrap-server xxxx:9092 --topic test5 --from-beginning --consumer-property group.id=test5-group
./kafka-console-consumer.sh --bootstrap-server xxxx:9092 --topic image --from-beginning --consumer-property group.id=image-group
配置
advertised.host.name=127.0.0.1
advertised.port=9092
报错
[2017-09-26 08:26:45,015] FATAL [Kafka Server 1], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
检查kafka是否启动
输入命令 jps
创建topic来验证是否创建成功
#创建Topic
./kafka-topics.sh --create --zookeeper 1xxxx:2181 --replication-factor 2 --partitions 1 --topic shuaige
--replication-factor 2 #复制两份
--partitions 1 #创建1个分区
--topic #主题为shuaige
(以下部分我们在代码部分实现功能)
'''在一台服务器上创建一个发布者'''#创建一个broker，发布者
./bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic shuaige
php7安装kafka扩展
一、安装librdkafka
# cd /usr/local/src/
# git clone https://github.com/edenhill/librdkafka.git
# cd librdkafka
# ./configure
# make
# make install
# ln -s /usr/local/lib/librdkafka.so.1 /usr/lib/
7 支持 php
https://github.com/wenzhenxi/See-KafKa
1、安装php-rdkafka
# cd /usr/local/src/
# git clone https://github.com/arnaud-lb/php-rdkafka.git
# cd php-rdkafka
# /usr/local/php/bin/phpize
# ./configure --with-php-config=/usr/local/php/bin/php-config
# make all -j 5 // 最多允许5 个编译命令执行 加快速度
# make install
报错
Cannot find autoconf. Please check your autoconf installation and the $PHP_AUTOCONF environment vari
执行下面的链接
https://blog.csdn.net/21aspnet/article/details/7471574
1、修改php.ini
# vi /etc/php.ini
php.ini 放在 php/lib 这个目录
##增加如下代码：##
extension=rdkafka
##查看是否安装成功：##
# /usr/local/php/bin/php -m
php 安装扩展的方式 使用 phpize
重启apache
参考 https://www.cnblogs.com/luotianshuai/p/5206662.html