MetaQ安装部署文档

一.MetaQ安装部署情况:

地点 IP Broker ID Master/Slave Slave ID:Group
合肥 192.168.52.23 1 Slave 1:meta-slave-group-hf
北京 192.168.51.33 1 Master /
广州 192.168.70.157 1 Slave 2:meta-slave-group-gz

二.MetaQ安装

1.    前提

  已有安装了ZooKeeper的机器,且三地的MetaQ都可以访问到,即三个IP都可以ping通安装了ZooKeeper的机器。ZooKeeper是用来注册MetaQ的broker、topic、pub、sub信息,用来做负载均衡的,起到协调作用。

  我在上述三地都安装了ZooKeeper,目前使用的是北京192.168.51.33:2181作为ZooKeeper服务器

  Zookeeper使用ubuntu的deb包的dpkg方式安装。

  启动ZooKeeper:

  Service zookeeper start

2.    下载MetaQserver 1.4.6.2

  下载链接:,下载metaq-server-1.4.6.2.tar.gz复制到三地的/usr/lib目录下。

3.    部署

  解压tar zxvfmetaq-server-1.4.6.2.tar.gz,将解压出来的taobao/metamorphosis-server-wrapper文件夹移动到/usr/lib下,并重命名为metaq。

  Metaq的文件结构:

  l  bin: metaq的命令文件夹./meteServer.sh执行metaq命令

  l  conf:metaq的配置文件夹,async_slave.properties异步复制配置,server.ini配置broker,samsa_master.properties同步复制配置。

  l  lib:metaq依赖的jar包

  l  provided: 开发者自己开发的程序

4.    master/slave集群配置

  使用异步复制架构。

  修改北京192.168.51.33机器的/usr/lib/metaq/conf/server.ini文件为:

  [system]

  ;; brokerId mustbe unique, the slave should be the same with master

  brokerId=1

  ;; topicpartitions default set to 1, I changed it to 16, it should not be too large

  numPartitions=16

  serverPort=8123

  dashboardHttpPort=8120

  unflushThreshold=0

  unflushInterval=10000

  maxSegmentSize=1073741824

  ;default 1048576

  maxTransferSize=104857600

  deletePolicy=delete,168

  deleteWhen=0 0 6,18 * * ?

  flushTxLogAtCommit=1

  stat=true

  putProcessThreadCount=100

  ;; Update consumers offsets tocurrent max offsets when consumers offsets are out of range of current broker'smessages.

  ;; It must be false inproduction.But recommend to be true in development or test.

  updateConsumerOffsets=true

  ;; your zookeeperserver

  [zookeeper]

  zk.zkConnect=192.168.51.33:2181

  zk.zkSessionTimeoutMs=30000

  zk.zkConnectionTimeoutMs=30000

  zk.zkSyncTimeMs=5000

  ;; Topics section

  [topic=test]

  [topic=meta-test]

  ;; add your topicshere before use it

  [topic=oct29]

  因为使用master/slave模式,因此要时刻保持合肥192.168.52.23和广州192.168.70.157的server.ini文件保持和北京192.168.51.33相同,即使添加了新的topic,也要手动向server.ini中注册。

  修改三地的conf/async_slave.properties,北京的保持不变,合肥的修改为

  #slave编号,大于等于0表示作为slave启动,同一个master下的slave编号应该设不同值.

  slaveId=1

  

  #作为slave启动时向master订阅消息的group,如果没配置则默认为meta-slave-group

  #不同的slaveId请使用不同的group

  slaveGroup=meta-slave-group

  

  #slave数据同步的最大延时,单位毫秒

  slaveMaxDelayInMills=500

  

  #是否自动从master同步server.ini, 1.4.2新增选项

  #第一次仍然需要自己拷贝server.ini,后续可以通过设置此选项为true来自动同步

  autoSyncMasterConfig=true

  广州的conf/async_slave.properties修改为:

  #slave编号,大于等于0表示作为slave启动,同一个master下的slave编号应该设不同值.

  slaveId=2

  

  #作为slave启动时向master订阅消息的group,如果没配置则默认为meta-slave-group

  #不同的slaveId请使用不同的group

  slaveGroup=meta-slave-group-gz

  

  #slave数据同步的最大延时,单位毫秒  

  slaveMaxDelayInMills=500

  

  #是否自动从master同步server.ini, 1.4.2新增选项

  #第一次仍然需要自己拷贝server.ini,后续可以通过设置此选项为true来自动同步

  autoSyncMasterConfig=true

5.    启动MetaQ集群

  首先启动两个slave:

  合肥和广州将目录切换到/usr/lib/metaq/bin下,使用slave模式启动MetaQ:

  ./metaServer.sh start slave &

  北京启动master:

  ./metaServer.sh start &

  

三.问题

  1.      Topic的默认分区到底去多少好?即server.ini中numPartitions的配置,目前为16,当使用1024的时候很多会导致磁盘效率太低,message发送失败几率升高。

  2.      异步复制的slave将参与消费者的消费活动,消息消费者可以从slave中获取消息并消费,消费者会随机从master和slaves中挑选一台作为消费broker。如何指定consumer从slave中消费message而不跑去消费master的呢?

  3.      可以添加一个topic而不重启MetaQ吗?

 

你可能感兴趣的:(metaq)