kafka：spark-project项目的kafka和scala配置

安装scala 2.11.4

1、将scala-2.11.4.tgz使用WinSCP拷贝到sparkproject1的/usr/local目录下。 2、对scala-2.11.4.tgz进行解压缩：tar -zxvf scala-2.11.4.tgz。 3、对scala目录进行重命名：mv scala-2.11.4 scala 4、配置scala相关的环境变量 vi ~/.bashrc export SCALA_HOME=/usr/local/scala export PATH=$SCALA_HOME/bin source ~/.bashrc 5、查看scala是否安装成功：scala -version 6、按照上述步骤在sparkproject2和sparkproject3机器上都安装好scala。使用scp将scala和.bashrc拷贝到另外两台机器上即可。

安装Kafka

1、将kafka_2.9.2-0.8.1.tgz使用WinSCP拷贝到sparkproject1的/usr/local目录下。 2、对kafka_2.9.2-0.8.1.tgz进行解压缩：tar -zxvf kafka_2.9.2-0.8.1.tgz。 3、对kafka目录进行改名：mv kafka_2.9.2-0.8.1 kafka 4、配置kafka vi /usr/local/kafka/config/server.properties broker.id：依次增长的整数，0、1、2，集群中Broker的唯一id zookeeper.connect=192.168.1.28:2181,192.168.1.31:2181,192.168.1.32:2181 5、安装slf4j 将slf4j-1.7.6.zip上传到/usr/local目录下 unzip slf4j-1.7.6.zip 把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面

搭建kafka集群

1、按照上述步骤在另外两台机器分别安装kafka。用scp把kafka拷贝到sparkproject2和sparkproject3即可。 2、唯一区别的，就是server.properties中的broker.id，要设置为1和2

默认的是同步模式 sync