大数据学习之Kafka

一、 单节点1个broker

• 启动kafka：首先启动zookeeper：systemctl start zookeeper、kafka-server-start.sh $KAFKA_HOME/config/server.properties
• 创建topic：kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
• 查看 topic 信息：kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic quickstart-events
• 查看所有topic：kafka-topics.sh --list --zookeeper localhost:2181
• 创建生产者：kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
• 创建消费者：kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

默认启在9092端口
-zookeeper localhost:2181 替换 --bootstrap-server localhost:9092。--bootstrap-server参数,consumer的信息将会存放在kafka之中，-zookeeper localhost:2181 consumer的信息将会存放在zookeeper之中。
创建consumer时会自动创建topic

二、单节点多broker，伪分布式集群
将server.properties复制多个，并修改以下配置，并全部启动（必须得有id=0的broker？）

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-broker1-logs

• 启动全部broker：kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties
• 创建主题：kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic mytopic
  或者kafka-topics.sh --create --bootstrap-server localhost:9092 localhost:9093,localhost:9094 --replication-factor 3 --partitions 1 --topic mytopic2
• 查看主题：kafka-topics.sh --describe -zookeeper localhost:2181 --topic mytopic
• 创建生产者：kafka-console-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic mytopic
• 创建消费者：kafka-console-consumer.sh --bootstrap-server localhost:9093,localhost:9094,localhost:9095 --from-beginning --topic mytopic

三、多主机集群
待完善。