Shaocheng.Li
Toggle main menu visibility
首页
关于
MQTT 协议和 mosquitto
2015-08-11 Network 12792
MQTT 是一个轻型协议,使用基于 TCP/IP 协议的发布/订阅消息转发模式,专门用于机器对机器 (M2M) 通信。 MQTT 协议的中心是 MQTT 服务器或代理 (broker) ,支持发布程序和订阅程序进行访问,如下图所示:
用户可以使用 MQTT 构建一个传感器网络,其中各种传感器都能够以其传感器独有的消息形式发布传感器值。 订阅程序能够订阅不同的消息,以据此采取措施。 MQTT 代理将处理从发布程序到订阅程序的转发消息。
如果已经有了一个 broker ,可以直接用 MQTT 客户端软件测试。这里有一个跨平台的 MQTT 客户端 MQTT.fx 。
2. Mosquitto
mosquitto 是一个开源的 MQTT broker ,目前支持 v3.1 和 v3.1.1 协议 ,同时提供了一个 C 语言动态链接库 libmosquitto ,用于实现 mqtt 客户端:
http://mosquitto.org/documentation/
下载 mosquitto-1.4.2.tar.gz 后,解压,然后执行 make ,make install 。即可得到几个二进制可执行文件:
mosquitto : mqtt broker
mosquitto_passwd : 管理 mosquitto 密码文件的命令行工具
mosquitto_sub : mqtt 订阅者程序
mosquitto_pub : mqtt 发布者程序
相关的配置文件安装在 /etc/mosquitto/ 目录下。在 Ubuntu 下可以直接安装 sudo apt-get install mosquitto 。
现在测试一下客户端和服务端程序。为了测试方便,将客户端和服务端程序都在本机,使用 localhost 连接。执行 mosquitto -v 启动 broker ,-v 参数表示打印出运行信息,可以看到默认使用的端口是1883 :
如果你的系统出现如下问题,就需要添加一个 mosquitto 用户:
可以使用 systemd 让 mosquitto 自动启动,添加如下配置文件:
ubuntu@VM-231-137-ubuntu:/etc/systemd/system$ cat mosquitto.service
[Unit]
Description=Mosquitto MQTT Broker
ConditionPathExists=/etc/mosquitto/mosquitto.conf
After=network.target
[Service]
ExecStart=/usr/local/sbin/mosquitto -c /etc/mosquitto/mosquitto.conf
ExecReload=/bin/kill -HUP $MAINPID
User=mosquitto
Restart=on-failure
RestartSec=10
[Install]
WantedBy=multi-user.target
然后在第二个终端启动订阅者程序: mosquitto_sub -h localhost -t test -v,用 -h 参数指定服务器 IP ,用 -t 参数指定订阅的话题。
在第三个终端启动发布者程序: mosquitto_pub -h localhost -t test -m “Hello world”,用 -m 参数指定要发布的信息内容,然后在订阅者的终端就可以看到由 broker 推送的信息:
在 broker 的终端也可以看到处理信息的过程:
mosquitto 语法是
mosquitto [-c config file] [ -d | --daemon ] [-p port number] [-v]
-c 是指定配置文件的路径,默认不需要配置文件。
-d 表示作为守护进程运行在后台。
-p 用来指定监听的端口,默认是 1883 ,使用 TCP 连接,如果要使用 UDP 连接,需要设为 1884。
-v 表示生成详细的运行日志,等价于配置文件中将 log_type 设为 all 。
mosquitto 默认是不需要配置文件的,它会对所有的选项采用默认值,比如用户名和密码。默认不需要用户名和密码,如果需要,可以用 mosquitto_passwd 新建用户和密码,并管理,语法是:
mosquitto_passwd [ -c | -D ] passwordfile username
mosquitto_passwd -b passwordfile username password
mosquitto_passwd -U passwordfile
-c 表示新建一个密码文件,如果文件已经存在,会被覆盖,用户名中不能包含冒号,因为密码文件中用户名和密码是用冒号隔开的。执行之后会要求设置密码,输入内容不可见,密码以加密 hash 值的方式存储在密码文件中。
-D 表示删除用户名。
-b 表示在命令行中,以明文方式设置密码。
-U 用来将密码文件中的明文密码改成加密格式。如果文件中的密码已经是 hash 值,千万不要用这个选项,否则它会对 hash 值再做一次运算,然后修改密码文件。
设好密码后,在配置文件中设置 allow_anonymous false 再用 password_file 指定密码文件的路径就可以使用了。配置文件可以放在任何位置,只要 mosquitt 能找到它。配置文件中,每一行设置一个选项,选项名称和值用空格隔开,用井号可以注释。安装好的 mosquitto 在 /etc/mosquitto/ 目录下有配置文件和密码文件的例子,复制一份皆可使用:
$ ls /etc/mosquitto/
aclfile.example mosquitto.conf.example pskfile.example pwfile.example
客户端可以通过订阅 $SYS 层的主题来获取 broker 的信息,这些主题每 sys_interval 秒更新一次,如果 sys_interval 设为 0 则不会发送,标记为 static 的主题只会为每个订阅者发送一次。如果是在命令行中使用,要用反斜杠把 $SYS 作为普通字符串传递给客户端,否则 $SYS 会被当做环境变量来处理。
$SYS/broker/bytes/received ,broker 从启动开始收到的总字节数。
$SYS/broker/bytes/sent ,broker 从启动开始发送的总字节数。
$SYS/broker/clients/connected, $SYS/broker/clients/active (不建议使用),当前连接的客户端数目。
$SYS/broker/clients/expired ,由于 persistent_client_expiration 选项过期而断开的客户端数量。
$SYS/broker/clients/disconnected, $SYS/broker/clients/inactive (不建议使用),所有断开的已注册客户端(包括清除进程)的数量。
$SYS/broker/clients/maximum ,过去所有时间所连接的最大客户端数量(从服务器开机开始)。
$SYS/broker/clients/total ,所有连接过的客户端数量(包括活跃的客户端和已经断开的客户端数量)。
$SYS/broker/connection/# ,当代理服务器被配置为桥接模式的时候, 通常做法是提供一种状态话题来只是连接的状态,这个话题默认为 $SYS/broker/connection/, 如果数值为1,证明连接是活跃的,为0证明连接不活跃. 查看桥接一节来获取更多信息。
$SYS/broker/heap/current size ,mosquitto 当前使用的最大内存,请注意,由于编译时候的选择这个话题可能不可用。
$SYS/broker/heap/maximum size ,mosquitto 曾经使用的最大内存,请注意,由于编译时候的选择这个话题可能不可用。
$SYS/broker/load/connections/+ ,不同的时间间隔内代理服务器收到连接数据包的平均数量, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/bytes/received/+ ,不同的时间间隔内代理服务器收到的平均比特数, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/bytes/sent/+ ,不同的时间间隔内代理服务器发送的平均比特数, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/messages/received/+ ,不同的时间间隔内代理服务器收到各种类型数据包的平均数量, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/messages/sent/+ ,不同的时间间隔内代理服务器发送各种类型数据包的平均数量, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/publish/dropped/+ ,不同的时间间隔内代理服务器发布数据包丢失的数量, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/publish/received/+ ,不同的时间间隔内代理服务器发布数据包被收到的平均数量, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/publish/sent/+ ,不同的时间间隔内代理服务器发布的数据包被发送的平均数量, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/load/sockets/+ ,不同的时间间隔内代理服务器打开socket连接平均数量, 最后的+可以为 5分钟、10分钟、15分钟。
$SYS/broker/messages/inflight ,具有QoS>0正在等待的确认消息的数量。
$SYS/broker/messages/received ,从代理服务器开机开始收到的消息总数。
$SYS/broker/messages/sent ,从服务器开机开始所发送的各种类型消息的总数。
$SYS/broker/messages/stored ,在消息存储机制中保留的消息总数,包括客户端保留消息和持久客户端的队列消息。
$SYS/broker/publish/messages/dropped , 由于队列机制或者传输限制所丢弃数据包的数量. 参照mosquitto.conf 的 max_inflight_messages 和 max_queued_messages 选项获取更多解释。
$SYS/broker/publish/messages/received ,从代理服务器开机开始发布的信息被收到总数。
$SYS/broker/publish/messages/sent ,从代理服务器开机开始发布的信息总数。
$SYS/broker/retained messages/count ,代理服务器中活跃的保留消息的总数。
$SYS/broker/subscriptions/count ,代理服务器中活跃的订阅的总数。
$SYS/broker/timestamp ,代理服务器编译的时间戳. Static.
$SYS/broker/uptime ,服务器合计在线时间(以秒计)。
$SYS/broker/version ,代理服务器版本. Static.
3. 安全性
MQTT 协议没有对安全性设置强制标准,只是在第五章提出了建议,提供合适的安全功能是实现者的责任。默认情况下,mosquitto 不需要任何验证,用户可以匿名连接。如果设置了 allow_anonymous false ,客户端必须提供正确的用户名和密码进行验证,连接时应该将用户名和密码加密传输,否则有被拦截的危险。此外,mosquitto 还提供基于 SSL/TLS 证书的安全验证,使用 OpenSSL 作为 SSL/TLS 的实现。
3.1. SSL/TLS
我们可以通过这个脚本https://github.com/owntracks/tools/raw/master/TLS/generate-CA.sh 自建 CA 并颁发证书:
$ wget https://github.com/owntracks/tools/raw/master/TLS/generate-CA.sh .
$ ./generate-CA.sh
生成的文件:
ca.crt ,CA 根证书
localhost.crt ,mosquitto 服务器上的证书
localhost.key ,mosquitto 服务器上的密钥
将这三个文件复制到 /etc/mosquitto/certificates/ 目录下。然后修改配置文件,开启 SSL/TLS :
port 8883
cafile /etc/mosquitto/certificates/ca.crt
certfile /etc/mosquitto/certificates/localhost.crt
keyfile /etc/mosquitto/certificates/localhost.key
require_certificate true
启动 mosquitto :
$ mosquitto -c /etc/mosquitto/mosquitto.conf -v
1495335112: mosquitto version 1.4.11 (build date 2017-05-20 17:44:03+0800) starting
1495335112: Config loaded from /etc/mosquitto/mosquitto.conf.
1495335112: Opening ipv4 listen socket on port 8883.
1495335112: Opening ipv6 listen socket on port 8883.
再用根证书为客户端生成密钥和证书:
$ openssl genrsa -out client.key 2048
$ openssl req -new -out client.csr -key ./client.key
$ openssl x509 -req -in client.csr -CA ca.crt -CAkey ca.key -CAserial ./ca.srl -out client.crt -days 3650 -addtrust clientAuth
将根证书 ca.crt 、客户端密钥 client.key 、证书 client.crt 发送给客户端,本地测试的话,直接连接 localhost :
$ mosquitto_sub -h localhost -p 8883 -t $SYS/broker/bytes/# -v --cafile ca.crt --cert client.crt --key client.key
$SYS/broker/bytes/received 0
$SYS/broker/bytes/sent 0
如果设置了 require_certificate false ,就是 SSL 单向认证,客户端只需提供 cafile,也无需设置 --cert 和 --key 。如果设置了 allow_anonymous false ,还要提供用户名和密码,否则会客户端会报错:
$ mosquitto_sub -h localhost -p 8883 -t $SYS/broker/bytes/# -v --cafile ca.crt --cert client.crt --key client.key
Connection Refused: not authorised.
3.2. WebSockets with SSL/TLS
mosquitto 编译时默认是不支持 WebSockets 的,需要在 config.mk 中将 WITH_LIBWEBSOCDETS:=no 改为 yes 。在配置文件中追加 WebSockets 的选项,并加上用户名和密码:
listener 8884
protocol websockets
password_file /etc/mosquitto/mosquitto.password
然后重启 mosquitto 。可以在 http://www.hivemq.com/demos/websocket-client/ 页面测试,这是一个 Websockets Client 。输入 mosquitto 服务器的 IP 、端口、用户名和密码,即可连接,然后添加订阅话题:
总结:
查看mosquitto的进程
[root@aliyun59 ~]# ps -aux | grep mosquitto
mosquit+ 1847 0.0 0.1 52636 2956 pts/0 S+ 20:23 0:00 mosquitto -v
root 1904 0.0 0.0 112712 956 pts/1 R+ 20:31 0:00 grep --color mosquitto
杀掉进程
kill -15 1847 (优先用这个)
kill -9 1847
kill和kill -9,两个命令在linux中都有杀死进程的效果,然而两命令的执行过程却大有不同,在程序中如果用错了,可能会造成莫名其妙的现象
启动
mosquitto -c /etc/mosquitto/mosquitto.conf -d
注意防火墙相关端口开发,端口不是固定的可以根据需要配置端口
主要的四种通讯方式
ws协议:使用WebSocket不加密进行通讯,浏览器上使用websocket就可以实现。服务器mosquitto需要支持websocket
wss协议:ws协议的配置ssl(tls)证书.mosquitto需要支持websocket
mqqt/tcp和mqqts/tls 配制好可以直接用上面的方法在服务器上测试是否成功。
部分文档来源http://shaocheng.li/post/blog/2015-08-11主要参考这篇部署的