1. 除了最极端的情况,对于绝大多数的用例来说,单机群安装的Pulsar就能够满足要求了。 如果是创业公司或单个团队想体验下Pulsar,我们推荐使用单集群。 如果你需要使用多集群的 Pulsar 实例 请看这个指南here。
2. 如果要在部署的 Pulsar 集群中使用所有内置的 Pulsar IO连接器。你必须先下载apache-pulsar-io-connectors安装包,然后将apache-pulsar-io-connectors安装到每台 broker 中 Pulsar 安装路径的connectors目录下。如果需要用独立的 function worker 运行Pulsar Functions,则也需要将包安装在 worker 节点的对应目录。
3. 如果要在部署的集群使用分层存储特性,你必须先下载apache-pulsar-offloaders安装包,然后将apache-pulsar-offloaders安装到每台 broker 中 Pulsar 安装路径的offloaders 目录下。 了解该特性的详细配置,请参考分层存储指南。
1、搭建Pulsar集群至少需要3个组件:ZooKeeper集群、BookKeeper集群和Broker集群(Broker是Pulsar的自身实例)。这三个集群组件如下:
ZooKeeper集群(3个ZooKeeper节点组成)
Bookie集群(也称为BookKeeper集群,3个BookKeeper节点组成)
Broker集群(3个Pulsar节点组成)
2、Pulsar的安装包已经包含了搭建集群所需的各个组件库,无需单独下载ZooKeeper安装包和BookKeeper安装包。
1、准备3台测试Linux服务器(Centos 7)。
2、在3台Linux裸机服务器上安装JDK(要求版本不低于JDK8)。
3、下载Pulsar安装包,https://pulsar.apache.org/download/,上传至3台服务器。
Pulsar安装包内包含了ZooKeeper,也可以自建ZooKeeper,自建ZooKeeper的方式略。安装Pulsar安装包内的ZooKeeper方法如下:
#创建data目录:
mkdir -p /data/zookeeper/{data,log}
#解压:
tar xvzf apache-pulsar-2.9.3-bin.tar.gz
cd apache-pulsar-2.9.3
wget https://archive.apache.org/dist/pulsar/pulsar-2.9.3/connectors/{connector}-2.9.3.nar
mkdir connectors
wget https://archive.apache.org/dist/pulsar/pulsar-2.9.3/connectors/pulsar-io-kafka-2.9.3.nar
mv pulsar-io-kafka-2.9.3.nar connectors/
#dataDir是修改,其他都是新增
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/log
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP3:2888:3888
参数说明:
dataDir:当前zookeeper节点的数据存放目录
dataLogDir:当前zookeeper节点的日志存放目录
server.1~3:为zookeeper集群的各个节点指定编号
#data:ZooKeeper使用的数据存储目录
mkdir -p /data/zookeeper/data
#log:ZooKeeper使用的日志存储目录
mkdir -p /data/zookeeper/log
在server.1服务器上执行命令:
echo 1 > /data/zookeeper/data/myid
在server.2服务器上执行命令:
echo 2 > /data/zookeeper/data/myid
在server.3服务器上执行命令:
echo 3 > /data/zookeeper/data/myid
./bin/pulsar-daemon start zookeeper
./bin/pulsar zookeeper-shell
客户端正常连接,就算zookeeper启动好了
例如在IP1上:
./bin/pulsar initialize-cluster-metadata \
--cluster pulsar-cluster-1 \
--zookeeper IP1:2181 \
--configuration-store IP1:2181 \
--web-service-url http://IP1:8080,IP2:8080,IP3:8080 \
--web-service-url-tls https://IP1:8443,IP2:8443,IP3:8443 \
--broker-service-url pulsar://IP1:6650,IP2:6650,IP3:6650 \
--broker-service-url-tls pulsar+ssl://IP1:6651,IP2:6651,IP3:6651
或使用如下指令:
./bin/pulsar initialize-cluster-metadata \
--cluster pulsar-cluster-1 \
--zookeeper HOSTNAMEIP:2181 \
--configuration-store HOSTNAMEIP:2181 \
--web-service-url http://HOSTNAMEIP:8080 \
--web-service-url-tls https://HOSTNAMEIP:8443 \
--broker-service-url pulsar://HOSTNAMEIP:6650 \
--broker-service-url-tls pulsar+ssl://HOSTNAMEIP:6651
集群元数据说明:
./bin/pulsar zookeeper-shell
进入zk控制台,通过ls /查看所有zk节点。能看到bookies,ledgers等节点,则说明初始化成功了。
如果需要关闭zookeeper,可使用命令
./bin/pulsar-daemon stop zookeeper
advertisedAddress=IP1
zkServers=IP1:2181,IP2:2181,IP3:2181
journalDirectory=/data/bookkeeper/journal
ledgerDirectories=/data/bookkeeper/ledgers
prometheusStatsHttpPort=8100
注意:
1、prometheusStatsHttpPort默认是8000,但实际上在bookkeeper.conf中,httpServerPort默认也是8000,会导致端口被占用。
2、上面的advertisedAddress需要设置为对应机器的ip,而不是全设置为同一个
参数说明:
mkdir -p /data/bookkeeper/{journal,ledgers}
##### 3、在三台机器上,分别输入以下命令来以后台进程启动bookie
~~~shell
./bin/pulsar-daemon start bookie
#出现Bookie sanity test succeeded则代表启动成功。
./bin/bookkeeper shell bookiesanity
#验证查看bookie可用节点个数
./bin/bookkeeper shell listbookies -rw
#如果需要关闭bookkeeper,可使用命令
./bin/pulsar-daemon stop bookie
zookeeperServers=IP1:2181,IP2:2181,IP3:2181
configurationStoreServers=IP1:2181,IP2:2181,IP3:2181
advertisedAddress=IP1
#clusterName与前面zookeeper初始化的cluster一致
clusterName=pulsar-cluster-1
注意:
上面的advertisedAddress需要设置为对应机器的ip,而不是全设置为同一个
参数说明:
./bin/pulsar-daemon start broker
如果需要关闭broker,可使用命令
./bin/pulsar-daemon stop broker
./bin/pulsar-admin brokers list pulsar-cluster
此时集群内有存活的节点: IP1、IP2、IP3,端口号都是8080。到这一步,Pulsar的部署就完成了
● 通过启动consumer和producer测试消息是否能传输成功。
● 建议先启动Consumer,再启动Producer。
● Consumer
bin/pulsar-client consume \
persistent://public/default/test \
-n 100 \
-s "consumer-test" \
-t "Exclusive"
● Produce
○ 如果你指定了 pulsar-cluster-prod 以外的集群名称,你需要在主题中使用不同的集群名称。
bin/pulsar-client produce \
persistent://public/default/test \
-n 1 \
-m "Hello Pulsar"
● 成功消费返回结果:
----- got message -----
Hello Pulsar
https://pulsar.apache.org/zh-CN/docs/2.9.3/deploy-bare-metal/