NSQ学习笔记

NSQ架构

NSQ组件

NSQ 由 3 个守护进程组成:

• nsqd 是接收、队列和传送消息到客户端的守护进程。
• nsqlookupd 是管理的拓扑信息，并提供了最终一致发现服务的守护进程。
• nsqadmin 是一个 Web UI 来实时监控集群(和执行各种管理任务)。

Topic消息的逻辑关键词

• topic 是 NSQ 消息发布的 逻辑关键词 ，可以理解为人为定义的一种消息类型。当程序初次发布带 topic 的消息时,如果 topic 不存在,则会在 nsqd中创建。

Producer消息的生产者/发布者

• producer 通过 HTTP API 将消息发布到 nsqd 的指定 topic ，一般有 pub/mpub 两种方式， pub 发布一个消息， mpub 一个往返发布多个消息。
• producer 也可以通过 nsqd客户端 的 TCP接口 将消息发布给 nsqd 的指定 topic 。
• 当生产者 producer 初次发布带 topic 的消息给 nsqd 时,如果 topic 不存在，则会在 nsqd 中创建 topic 。

Channel消息传递的通道

• 当生产者每次发布消息的时候,消息会采用多播的方式被拷贝到各个 channel 中, channel 起到队列的作用。
• channel 与 consumer(消费者) 相关，是消费者之间的负载均衡,消费者通过这个特殊的channel读取消息。
• 在 consumer 想单独获取某个 topic 的消息时，可以 subscribe(订阅)一个自己单独命名的nsqd中还不存在的 channel, nsqd会为这个 consumer创建其命名的 channel
• Channel 会将消息进行排列，如果没有 consumer读取消息，消息首先会在内存中排队，当量太大时就会被保存到磁盘中。可以在配置中配置具体参数。
• 一个 channel 一般会有多个 consumer 连接。假设所有已连接的 consumer 处于准备接收消息的状态，每个消息将被传递到一个随机的 consumer。
• Go语言中的channel是表达队列的一种自然方式，因此一个NSQ的topic/channel，其核心就是一个存放消息指针的Go-channel缓冲区。缓冲区的大小由 --mem-queue-size 配置参数确定。

Consumer消息的消费者

• consumer 通过 TCP subscribe 自己需要的 channel
  topic 和 channel 都没有预先配置。 topic 由第一次发布消息到命名 topic 的 producer 创建 或第一次通过 subscribe 订阅一个命名 topic 的 consumer 来创建。 channel 被 consumer 第一次 subscribe 订阅到指定的 channel 创建。
• 多个 consumer subscribe一个 channel，假设所有已连接的客户端处于准备接收消息的状态，每个消息将被传递到一个 随机 的 consumer。
• NSQ 支持延时消息， consumer 在配置的延时时间后才能接受相关消息。
• Channel在 consumer 退出后并不会删除，这点需要特别注意。

NSQ流程图

NSQ使用

首先启动 nsdlookupd

nsqlookupd

• 客户端通过查询 nsdlookupd 来发现指定topic的生产者，并且 nsqd 节点广播 topic 和通道 channel 信息
• 该服务运行后有两个端口：TCP 接口，nsqd 用它来广播；HTTP 接口，客户端用它来发现和管理。
• 在生产环境中，为了高可用，最好部署三个nsqlookupd服务。

先创建 nsqd 的数据路径

mkdir /tmp/nsqdata1 /tmp/nsqdata2

运行两个测试的 nsqd 实例

nsqd --lookupd-tcp-address=127.0.0.1:4160 -broadcast-address=127.0.0.1 -tcp-address=127.0.0.1:4150 -http-address=0.0.0.0:4151 -data-path=/tmp/nsqdata1

nsqd --lookupd-tcp-address=127.0.0.1:4160 -broadcast-address=127.0.0.1 -tcp-address=127.0.0.1:4152 -http-address=0.0.0.0:4153 -data-path=/tmp/nsqdata2

• nsqd 可以独立运行，不过通常它是由 nsdlookupd 实例所在集群配置的(它在这能声明 topics和 channels ，以便大家能找到)
• 服务启动后有两个端口：一个给客户端(TCP)，另一个是 HTTP API。还能够开启HTTPS。
• 同一台服务器启动多个 nsqd ，要注意端口和数据路径必须不同，包括： –lookupd-tcp-address 、 -tcp-address 、 –data-path
• 删除 topic 、channel 需要 HTTP API 调用。

启动 nsqadmin 前端Web监控

nsqadmin --lookupd-http-address=localhost:4161

• nsqadmin 是一套 WEB UI ，用来汇集集群的实时统计，并执行不同的管理任务。
• 运行后，能够通过4171端口查看并管理 topic 和 channel 。
• nsqadmin 通常只需要运行一个。