这是一个如何配置kafka支持SSL环境的例子。
我们的目标：
- 使用kafka2.1.1
- 利用kafka自带的zookeeper
- 使用docker来启动kafka/zookeeper clustor
Step 1：生成jks文件
#!/bin/bash
# generate CA certificate
openssl req -new -x509 -keyout ca.key -out ca.pem -days 365 -passout pass:test1234 \
-subj "/C=cn/O=mycomp/OU=mygroup/CN=ca"
# generate server keystore
keytool -keystore server.keystore.jks -alias localhost -validity 365 -keyalg RSA \
-storepass test1234 -keypass test1234 -genkey \
-dname "C=cn,O=mycomp,OU=mygroup,CN=server"
# generate client keystore
keytool -keystore client.keystore.jks -alias localhost -validity 365 -keyalg RSA \
-storepass test1234 -keypass test1234 -genkey \
-dname "C=cn,O=mycomp,OU=mygroup,CN=client"
# import CA certificate into server truststore
keytool -keystore server.truststore.jks -alias CARoot -import -noprompt \
-file ca.pem -storepass test1234
# import CA certificate into client truststore
keytool -keystore client.truststore.jks -alias CARoot -import -noprompt \
-file ca.pem -storepass test1234
# export server certificate
keytool -keystore server.keystore.jks -alias localhost -certreq \
-file server.csr -storepass test1234 -ext san="DNS:kafka.example.com"
# export client certificate
keytool -keystore client.keystore.jks -alias localhost -certreq \
-file client.csr -storepass test1234 -ext san="DNS:kafka.example.com"
# sign server certificate with CA certificate
openssl x509 -req -CA ca.pem -CAkey ca.key -in server.csr \
-out server.pem -days 365 -CAcreateserial -passin pass:test1234 \
-extensions SAN \
-extfile <(cat /etc/pki/tls/openssl.cnf <(printf "[SAN]\nsubjectAltName=DNS:kafka.example.com"))
# sign client certificate with CA certificate
openssl x509 -req -CA ca.pem -CAkey ca.key -in client.csr \
-out client.pem -days 365 -CAcreateserial -passin pass:test1234 \
-extensions SAN \
-extfile <(cat /etc/pki/tls/openssl.cnf <(printf "[SAN]\nsubjectAltName=DNS:kafka.example.com"))
# import CA certificate into server keystore
keytool -keystore server.keystore.jks -alias CARoot -import -noprompt \
-file ca.pem -storepass test1234
# import CA certificate into client keystore
keytool -keystore client.keystore.jks -alias CARoot -import -noprompt \
-file ca.pem -storepass test1234
# import server certificate into server keystore
keytool -keystore server.keystore.jks -alias localhost -import \
-file server.pem -storepass test1234
# import client certificate into client keystore
keytool -keystore client.keystore.jks -alias localhost -import \
-file client.pem -storepass test1234
运行完之后，会生成server.keystore.jks/server.truststore.jks，client.keystore.jks/client.truststore.jks一共四个文件。
有一个地方要注意：
SAN的值给定义上了kafka.example.com，这儿实际上keytool是有bug的，实际应用中，我们可能只能定义域名，无法定义确切的主机名，所以最好的方式是在这里定义DNS的值为".example.com"，但是由于keytool存在bug(设计问题)，他不支持"'开头，那么我们只能使用全名主机名了。
要解决这个问题，可以使用openssl工具来生成"*.example.com"，不要直接使用keytool。
Step 2：配置zookeeper和kafka的配置文件
增加/修改zookeeper配置文件/opt/kafka/config/zookeeper.properties：
dataDir=/data
clientPort=2181
maxClientCnxns=0
initLimit=5
dataLogDir=/datalog
syncLimit=2
autopurge.purgeInterval=1
autopurge.snapRetainCount=3
server.1=zookeeper.example.com:2888:3888
tickTime=2000
这个文件没啥补充的。
增加/修改kafka配置文件/opt/kafka/config/server.properties文件：
broker.id=1
zookeeper.connect=zookeeper.example.com:2181
listeners=SSL://:9093
advertised.listeners=SSL://kafka.example.com:9093
listener.security.protocol.map=SSL:SSL
# security.inter.broker.protocol=ssl
ssl.client.auth=required
ssl.keystore.location=/work/ssl/server.keystore.jks
ssl.keystore.password=test1234
ssl.key.password=test1234
ssl.truststore.location=/work/ssl/server.truststore.jks
ssl.truststore.type=JKS
ssl.truststore.password=test1234
ssl.keystore.type=JKS
这个文件有几点说明：
- ssl.client.auth是否验证client端的证书，即双向验证。
- listeners支持kafka同时支持SSL和PLAINTXT等多种模式
listeners=PLAINTEXT://:9092,SSL://:9093
这样kafka就能支持在端口9092上监听非SSL的请求，同时在9093端口监听SSL端口。 - security.inter.broker.protocol指定在kafka之间通信是是否使用SSL。
在前面的listeners我们知道kafkakey监听多个端口，这样运行对client进来的请求，我们让他监听在9093的SSL端口，然后kafka之间的通信我们让他监听的9092端口上，这样保证了外网访问的安全(SSL)，也提高了内部通信的性能(PLAINTEXT)。
这个内部通信协议指得是kafka之间的通信，不包括kafka和zookeeper之间的通信，也就是说kafka和zookeeper之间的通信还是PLAINTEXT的。 - advertised.listeners广播监听地址
前面的listeners可以配置0.0.0.0地址，但是advertised.listeners不能使用这个地址，因为这个地址会被SSL连接的时候验证SAN值；当然也可以把listeners配置成SAN地址，这样advertised.listeners就不需要了，但是这种配置，无法区分内网访问，还是外部访问。
Step 3: 配置docker-compose.yaml
这里需要把kafka达到image里面进去，构造两个images：kafka和zookeeper都使用kafka的安装包就行。
version: '2'
networks:
byfn:
services:
zookeeper.example.com:
image: zookeeper
container_name: zookeeper.example.com
environment:
- ZOO_MY_ID=1
- ZOO_SERVERS=server.1=zookeeper.example.com:2888:3888
volumes:
- ./zookeeper.properties:/opt/kafka/config/zookeeper.properties
networks:
- byfn
kafka.example.com:
image: kafka
container_name: kafka.example.com
environment:
volumes:
- ./ssl:/ssl
- ./server.properties:/opt/kafka/config/server.properties
depends_on:
- zookeeper.example.com
networks:
- byfn
Step 4: 启动clustor
$ docker-compose up
Step 5: 客户端访问
配置client-ssl.properties文件
security.protocol=SSL
ssl.truststore.location=/ssl/client.truststore.jks
ssl.truststore.password=test1234
ssl.keystore.location=/ssl/client.keystore.jks
ssl.keystore.password=test1234
ssl.key.password=test1234
启动producer和consumer：
# producer
/opt/kafka/bin/kafka-console-producer.sh \
--broker-list kafka.example.com:9093 \
--topic test-topic \
--producer.config /ssl/client-ssl.properties
# consumer
/opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server kafka1.example.com:9093 \
--topic test-topic \
--consumer.config /ssl/client-ssl.properties \
--from-beginning
Step 6: 如果是双端口配置
即9092是PLAINTEXT访问， 9093是SSL访问
# server.properties
listeners=PLAINTEXT://:9092,SSL://:9093
advertised.listeners=PLAINTEXT://kafka.example.com:9092,SSL://kafka.example.com:9093
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL
那么client端既可以访问9092，也可以访问9093，以producer为例：
# PLAINTEXT
/opt/kafka/bin/kafka-console-producer.sh \
--broker-list kafka.example.com:9092 \
--topic test-topic \
# SSL
/opt/kafka/bin/kafka-console-producer.sh \
--broker-list kafka.example.com:9093 \
--topic test-topic \
--producer.config /ssl/client-ssl.properties
差别PLAINTEXT访问9092端口，SSL访问9093端口，并且配置上SSL证书信息。
总的来说，这个过程还是比较清楚的。