【Kafka】Kafka安装部署

Kafka版本: 1.0.1

• 前期环境准备

  • 准备好相应的服务器
    • 本文中服务器共三台: node01,node02,node03
  • 服务器已安装zookeeper集群

• Kafka安装步骤

  • 下载安装包

    下载地址: http://kafka.apache.org/downloads
    

  • 上传安装包到node01的指定目录

    请选择合适的工具上传,过程略.
    

  • 解压到指定目录

    tar -zxvf kafka_2.11-1.0.1.tgz -C /soft/install
    

  • 重命名目录

    mv kafka_2.11-1.0.1 kafka
    

  • 修改配置文件,请按实际需求修改以下配置项

    cd /soft/install/kafka/config
    
    vi server.properties
    #添加如下内容
    
    #指定kafka对应的broker id ，唯一
    broker.id=0
    #指定数据存放的目录
    log.dirs=/soft/install/kafka/kafka-logs
    #指定zk地址
    zookeeper.connect=node01:2181,node02:2181,node03:2181
    #指定是否可以删除topic ,默认是false 表示不可以删除
    delete.topic.enable=true
    #指定broker主机名
    host.name=node01
    

  • 配置环境变量

    sudo vi /etc/profile
    #添加如下内容
    
    export KAFKA_HOME=/soft/install/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    

  • 分发kafka安装目录到其他节点

    scp -r kafka node02:/soft/install
    scp -r kafka node03:/soft/install
    sudo scp /etc/profile node02:/etc
    sudo scp /etc/profile node03:/etc
    

  • 修改node02和node03的配置文件

    • node02

      cd /soft/install/kafka/config
      
      vi server.properties
      
      #指定kafka对应的broker id ，唯一
      broker.id=1
      #指定数据存放的目录
      log.dirs=/soft/install/kafka/kafka-logs
      #指定zk地址
      zookeeper.connect=node01:2181,node02:2181,node03:2181
      #指定是否可以删除topic ,默认是false 表示不可以删除
      delete.topic.enable=true
      #指定broker主机名
      host.name=node02
      

    • node03

      cd /soft/install/kafka/config
      
      vi server.properties
      
      #指定kafka对应的broker id ，唯一
      broker.id=2
      #指定数据存放的目录
      log.dirs=/soft/install/kafka/kafka-logs
      #指定zk地址
      zookeeper.connect=node01:2181,node02:2181,node03:2181
      #指定是否可以删除topic ,默认是false 表示不可以删除
      delete.topic.enable=true
      #指定broker主机名
      host.name=node03
      

  • 启动kafka集群

    所有节点执行如下命令:
    nohup kafka-server-start.sh /soft/install/kafka/config/server.properties >/dev/null 2>&1 &