Kafka安装配置与部署

Kafka安装配置与部署

  • 简介
    • 一、基本概念
    • 二、环境配置
    • 三、操作过程

简介

Kafka是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统,由Scala和Java编写。官网地址:http://kafka.apache.org

一、基本概念

  1. Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker。
  2. opic:每条发布到Kafka集群的消息都有一个主题名称,这个主题名称就被称为Topic。
  3. Partition:Partition是物理上的概念,每个Topic包含一个或多个Partition。
  4. Producer:消息生产者,负责发布消息到Kafka broker。
  5. Consumer:消息消费者,向Kafka broker读取消息的客户端。
  6. Consumer Group:每个Consumer属于一个特定的Consumer Group,group name可单独设定,若不设定则属于默认的group。

二、环境配置

  • 操作系统:Cent OS 7
  • Kafka版本:kafka_2.12-2.8.0
  • Kafka下载地址:https://kafka.apache.org/downloads.html
  • Jdk版本:1.8
  • 备注:2.11-1.1.0版本才与JDK1.7兼容,否则更高版本需要JDK1.8

三、操作过程

运行Kafka需要使用Zookeeper,所以需要先启动Zookeeper,如果没有Zookeeper,可以使用Kafka自带打包和配置好的Zookeeper(PS:在Kafka包里)。

  • 解压:tar zxvf kafka_2.12-2.8.0.tgz
  • 进入Kafka安装目录:cd kafka_2.12-2.8.0
  • 启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties
  • 配置Kafka属性: config文件夹下面的server.properties
	broker.id=0   //唯一标识
	listeners=PLAINTEXT://:9092  指定服务的端口	
	advertised.listeners=PLAINTEXT://你的IP:9092  如果要提供外网访问 必须配置此项
	log.dirs=/tmp/kafka-logs-0  //日志目录
  • 启动Kafka:bin/kafka-server-start.sh config/server.properties &
  • 检查服务:netstat -tunlp|egrep “(2181|9092)”

你可能感兴趣的:(kafka,java,分布式)