MongoDB集群部署（副本集模式）
一、需求背景
1、现状描述
(1)、针对近期出现的mongodb未授权的安全问题，导致mongodb数据会被非法访问。应安全平台部的要求，需要对所有mongodb进行鉴权设置，目前活动侧总共有4台，用于某XX产品；
(2)、某XX产品用到4台mongodb，属于2015年机房裁撤的范围；
(3)、早期的4台mongodb采用是的M1机型，同时在架构上采取了路由分片的模式。从目前来看，无论是数据量上，还是访问量上，都比较小，在资源上有点浪费，在架构上属于过早设计。
而本次新建的mongodb集群，采用的是副本集模式，且机型选为B6，机器数量为3台。
2、服务器信息
3、架构图
4、系统环境
CentOS 6.3 x86_64
5、软件包地址
http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.6.7.tgz
二、MongoDB集群部署
1、mongodb基础安装
略过（直接从官方下载二进制包解压到“/usr/local”路径）
# mkdir -p /data/mongodb/data/repair
# mkdir -p /usr/local/mongodb/{etc,run}
# mkdir -p /data/mongodb/logs
2、前期准备工作
(1)、副本集名称设置
# vim /usr/local/mongodb/etc/mongod.conf
初期的配置：
dbpath = /data/mongodb/data
logpath = /data/mongodb/logs/mongod.log
repairpath = /data/mongodb/data/repair
pidfilepath = /usr/local/mongodb/run/mongod.pid
directoryperdb = true
logappend = true
noauth = true
bind_ip = 你的IP
port = 27017
quota = true
quotaFiles = 65535
maxConns = 20000
fork = true
nssize = 16
rest = true
httpinterface = true
journal = true
oplogSize = 2000
cpu = true
replSet = fenglingSet
(2)、启动参数
对于NUMA架构的CPU，需要增加以下启动参数：
# vim /usr/local/mongodb/etc/mongod
…..
numactl --interleave=all
…..
(3)、完整的启动脚本
# vim /usr/local/mongodb/etc/mongod
#!/bin/bash## this script start and stop the mongodb daemon
## chkconfig: - 85 15
# description: mongodb is a document key-value database
# processname: mongod
# config: /usr/local/mongodb/etc/mongod.conf
# pidfile: /usr/local/mongodb/run/mongod.pid
#
# code by rocketzhang
#
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin
mongod="/usr/local/mongodb/bin/mongod"
prog=mongod
OPTIONS="--fork --config /usr/local/mongodb/etc/mongod.conf"
RETVAL=0
start() {
echo -n $"Starting $prog......"
numactl --interleave=all $mongod $OPTIONS
RETVAL=$?
echo
[ $RETVAL -eq 0 ]
return $RETVAL
}
stop() {
echo -n $"Stopping $prog......"
/sbin/killproc -9 $prog
RETVAL=$?
echo
[ $RETVAL -eq 0 ]
return $RETVAL
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
sleep 1
start
;;
*)
echo $"Usage: $prog {start|stop|restart}"
exit 1
esac
# ln -s /usr/local/mongodb/etc/mongod /etc/init.d/mongod
# chmod +x /usr/local/mongodb/etc/mongod
(4)、服务启动
# service mongod start
注意：
3台节点服务器皆做同样设置。
3、副本集设置
# /usr/local/mongodb/bin/mongo --host 10.157.23.13 --port 27017
> use admin
> config={ _id:"fenglingSet", members:[{_id:0,host:"10.157.23.13:27017"},{_id:1,host:"10.193.23.11:27017"},{_id:2,host:"10.193.24.171:27017"}]}
> rs.initiate(config);
> rs.status();
4、其他说明
(1)、集群状态信息查看
# /usr/local/mongodb/bin/mongo --host 10.157.23.13 --quiet --eval "printjson(rs.status())"
(2)、设置副本节点可读
mongodb默认是从主节点读写数据的，副本节点上不允许读，需要设置副本节点可以读。
# /usr/local/mongodb/bin/mongo --host 10.193.24.171 --port 27017
> db.getMongo().setSlaveOk();
注意：
重启服务后，需要重新设置。
(3)、节点角色
PRIMARY节点可读可写，SECONDARY节点仅可读。
三、MongoDB授权设置
1、单机模式
(1)、账号添加
# /usr/local/mongodb/bin/mongo --host XXX.XXX.XXX.XXX --port 27017
> use admin
> db.addUser("huodong", "tenmongo$2356")
> db.system.users.find()
(2)、配置修改并重启服务
# vim /usr/local/mongodb/etc/mongod.conf
……
auth = ture
…..
# service mongod restart
(3)、连接测试
# /usr/local/mongodb/bin/mongo XXX.XXX.XXX.XXX:27017/admin -uhuodong -p'tenmongo$2356'
2、集群模式（本次采用）
(1)、keyfile文件创建
# cd /usr/local/mongodb/etc
# openssl rand -base64 513 > keyfile
# chmod 600 keyfile
注意：
需要将keyfile也同步到其他节点服务器上。
(2)、账号添加
# /usr/local/mongodb/bin/mongo --host 10.157.23.13 --port 27017
> use admin
> db.addUser("huodong", "tenmongo$2356")
> db.system.users.find()
(3)、配置修改并重启服务
# vim /usr/local/mongodb/etc/mongod.conf
# service mongod restart
最终的配置：
dbpath = /data/mongodb/data
logpath = /data/mongodb/logs/mongod.log
repairpath = /data/mongodb/data/repair
pidfilepath = /usr/local/mongodb/run/mongod.pid
directoryperdb = true
logappend = true
auth = true
clusterAuthMode = keyFile
keyFile = /usr/local/mongodb/etc/keyfile
bind_ip = 10.157.23.13
port = 27017
quota = true
quotaFiles = 16
maxConns = 20000
fork = true
nssize = 16
rest = true
httpinterface = true
journal = true
oplogSize = 2000
cpu = true
replSet = fenglingSet
注意：
需要在其他节点服务器上，也做同样设置。
(4)、简单测试
# /usr/local/mongodb/bin/mongo 10.157.23.13:27017/admin -uhuodong -p'tenmongo$2356'
# /usr/local/mongodb/bin/mongo --host 10.157.23.13 -uhuodong -p'tenmongo$2356' admin --quiet --eval "printjson(rs.status())"
四、PRIMARY节点自动Failover（业务侧）
1、业务侧服务器分布
2、账号添加（mongodb集群上进行）
# /usr/local/mongodb/bin/mongo 10.157.23.13:27017/admin -uhuodong -p'tenmongo$2356'
> use admin
> db.addUser("check_health", "tenmongo$2356")
3、Failover监控设置
(1)、HAPROXY配置（对应的VIP：10.153.224.44）
# vim /usr/local/haproxy/etc/haproxy.conf
……
listen FENGLING_MONGO_SERVER
bind 0.0.0.0:27017
mode tcp
balance roundrobin
option tcpka
server MONGO_SERVER1 10.157.23.13:27017 maxconn 1500 check inter 2000 rise 2 fall 3 weight 1
server MONGO_SERVER2 10.193.23.11:27017 maxconn 1500 check inter 2000 rise 2 fall 3 weight 1
server MONGO_SERVER3 10.193.24.171:27017 maxconn 1500 check inter 2000 rise 2 fall 3 weight 1
……
# service haproxy reload
(2)、监控脚本
# vim /data/scripts/check_mongo_primary.sh
#!/bin/sh
#======================================================================
## MongoDB副本集PRIMARY角色异常监控告警
##
## code by rocketzhang
#======================================================================
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin
MONGO_BIN_PATH="/usr/local/mongodb/bin/mongo"
MONITOR="/usr/local/oms/agent/alarm/BusMonitorAgent"
TOKEN="fengling_mongodb"
TITLE="MongoDB副本集PRIMARY角色异常监控"
SRV_IPADDR="10.153.224.44"
SRV_PORT="27017"
## S代表TCP协议，U代表UDP协议
PROT_OPT="S"
SCAN_FLAG=0
HOSTS_FILE="/etc/hosts"
for ((i=0; i<3; i++)); do
RETVAL=`/usr/bin/nmap -n -s${PROT_OPT} -p ${SRV_PORT} ${SRV_IPADDR} | grep open`
[[ -n "${RETVAL}" ]] && SCAN_FLAG=1;break || sleep 10
done
if [[ ${SCAN_FLAG} -eq 0 ]]; then
CONTENT="MongoDB集群存在异常，27017端口不可达！"
${MONITOR} -c 2 -f ${TOKEN} -t "${TITLE}" -i "${CONTENT}"
fi
CURRENT_MONGO_MASTER=`awk '/fl.mongo.qq.com/{print $1}' /etc/hosts`
NEW_MONGO_MASTER=`${MONGO_BIN_PATH} --host ${SRV_IPADDR} -ucheck_health -p'tenmongo$2356' admin --quiet --eval "printjson(rs.status())" | grep -B 3 PRIMARY | awk -F ':' '/name/{print $2}' | sed 's/ "//'`
if [[ "${NEW_MONGO_MASTER}" != "${CURRENT_MONGO_MASTER}" ]]; then
sed -i '/fl.mongo.qq.com/d' ${HOSTS_FILE}
echo "${NEW_MONGO_MASTER} fl.mongo.qq.com" >> ${HOSTS_FILE}
/sbin/service nscd restart >/dev/null 2>&1
CONTENT="MongoDB副本集PRIMARY角色已自动切换，请尽快确认！"
${MONITOR} -c 2 -f ${TOKEN} -t "${TITLE}" -i "${CONTENT}"
fi
(3)、crontab信息添加
# touch /var/run/check_primary.lock
# echo ' touch /var/run/check_primary.lock' >> /etc/rc.d/rc.local
# crontab -uroot -e
* * * * * (flock --timeout=0 /var/run/check_primary.lock /data/scripts/check_mongo_primary.sh >/dev/null 2>&1)
注意：
业务侧通过fl.mongo.qq.com域名进行mongodb集群访问，当mongodb集群的primary节点发生故障时，会自动选举剩下的其中的一个节点为primary角色，然后业务侧的监控脚本会自动发现最新的primary节点，并刷新本地的hosts配置。整个切换过程对业务侧保持透明，当然当数据与访问量到了一定规模时，我们也不推荐采用此架构模式，此时可以考虑自动路由分片的架构模式。
附录
1、参考资料
http://www.lanceyan.com/tech/mongodb/mongodb_repset1.html
http://www.lanceyan.com/tech/mongodb_repset2.html
http://www.lanceyan.com/tech/arch/mongodb_shard1.html
2、数据迁移
(1)、工具一
http://duoyun.org/topic/5173d275cbce24580a033bd8
http://pan.baidu.com/s/15YsBs 提取密码：levr
(2)、工具二
https://github.com/10gen-labs/mongo-connector
本次的迁移命令：
/usr/local/mongodb/bin/mongosync -h 10.217.121.216:27020 --to 10.157.23.13:27017 --tu huodong --tp 'tenmongo$2356' �Coplog