kafka之快速启动

Kafka的基本概念

  1. Topic 主题 是Kafka集群中用于存储某一类 或者某一种数据。主题的数据只能添加
  2. Broker 集群中的每一个分机 都是一个Broker 相当于Kafka集群的节点
  3. Consumer 消费者 用来从Kafka 集群中读取消息
  4. Producer 生产者 用于从Kafka 集群中发送消息
  5. Streams 流 用于对实时数据的处理
  6. Partition 分区 每一个topic 可以分为多个区 提高并发,每个分区数据不会重复
  7. Replication 副本 用于提高 信息安全 当储存某个分区的节点宕机时候,该broker 的数据将会丢失,为了保障数据的安全性 分区时候应该建立副本

快捷启动

  1. 安装Kafka
    安装方式有两种一种是 tar.gz的解压版 ,还有一个是wget方式安装
  2. 启动服务
    首先 Kafka 依赖 zookeeper 要先启动zookeeper 服务才行。
    启动命令
  bin/zookeeper-server-start.sh config/zookeeper.properties 

启动Kafka

  bin/kafka-server-start.sh -daemon config/server.properties 
  1. 常用命令
    创建一个topic (test)
  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看自己所创建的所有topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

发送消息 向test 主题发送信息

  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息 查看test 主题的信息

  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

你可能感兴趣的:(大数据)