Mongodb副本集高可用架构
1.简介
Mongodb复制集由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点。
Mongodb Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据，以保持复制集内所有成员存储相同的数据集，实现数据的高可用。
使用场景：
1. 数据冗余，用做故障恢复使用，当发生硬件故障或者其它原因造成的宕机时，可以使用副本进行恢复。
2.读写分离，读的请求分流到副本上，减轻主节点的读压力。
一个典型的副本集架构如下图所示：
2.副本集角色
主节点（Primary）
接收所有的写请求，然后把修改同步到所有Secondary。一个Replica Set只能有一个Primary节点，当Primary挂掉后，其他Secondary或者Arbiter节点会重新选举出来一个主节点。默认读请求也是发到Primary节点处理的，可以通过修改客户端连接配置以支持读取Secondary节点。
副本节点（Secondary）
与主节点保持同样的数据集。当主节点挂掉的时候，参与选主。
仲裁者（Arbiter）
不保有数据，不参与选主，只进行选主投票。使用Arbiter可以减轻数据存储的硬件需求，Arbiter几乎没什么大的硬件资源需求，但重要的一点是，在生产环境下它和其他数据节点不要部署在同一台机器上。
3.两种架构模式
1.PSS
Primary + Secondary + Secondary模式，通过Primary和Secondary搭建的Replica Set
该模式下 Replica Set节点数必须为奇数，目的是选主投票的时候要出现大多数才能进行选主决策，由一个主和两个次级组成的3个成员副本集的图：
2.PSA
Primary + Secondary + Arbiter模式，使用Arbiter搭建Replica Set
偶数个数据节点，加一个Arbiter构成的Replica Set
4.数据同步
Primary 与 Secondary 之间通过 oplog 来同步数据，Primary 上的写操作完成后，会向特殊的 local.oplog.rs 特殊集合写入一条 oplog，Secondary 不断的从 Primary 取新的 oplog 并应用。
因 oplog 的数据会不断增加，local.oplog.rs 被设置成为一个 capped 集合，当容量达到配置上限时，会将最旧的数据删除掉。另外考虑到 oplog 在 Secondary 上可能重复应用，oplog 必须具有幂等性，即重复应用也会得到相同的结果。
在异常回滚方面，当 Primary 宕机时，如果有数据未同步到 Secondary，当 Primary 重新加入时，如果新的 Primary 上已经发生了写操作，则旧 Primary 需要回滚部分操作，以保证数据集与新的 Primary 一致。旧 Primary 将回滚的数据写到单独的 rollback 目录下，数据库管理员可根据需要使用 mongorestore 进行恢复
如下 oplog 的格式，包含 ts、h、op、ns、o 等字段。
{
"ts" : Timestamp(1446011584, 2),
"h" : NumberLong("1687359108795812092"),
"v" : 2,
"op" : "i",
"ns" : "test.nosql",
"o" : { "_id" : ObjectId("563062c0b085733f34ab4129"), "name" : "mongodb", "score" : "100" }
}
属性说明：
ts 操作时间，当前 timestamp + 计数器，计数器每秒都被重置
h 操作的全局唯一标识
v oplog 版本信息 op 操作类型
op.i 插入操作 op.u 更新操作
op.d 删除操作 op.c 执行命令（如 createDatabase，dropDatabase）
op.n 空操作，特殊用途 ns 操作针对的集合
o 操作内容 o2 操作查询条件，仅 update 操作包含该字段
5.安装前准备
操作系统：CentOS Linux release 7.5.1804 (Core)
MongoDB版本：mongodb-linux-x86_64-rhel70-3.4.18
下载地址: https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.4.18.tgz
副本集模式：PSA
设备3台：
192.168.1.246(27020端口, primary)
192.168.1.247(27020端口, secondary)
192.168.1.248(27020端口, arbiter)
在三台机器上进行下面操作：
1.创建相关文件夹
mkdir /data/mongodb
将安装包mongodb-linux-x86_64-rhel70-3.4.18.tgz解压到/data/mongodb
tar -zxvf mongodb-linux-x86_64-rhel70-3.4.18.tgz -C /data/mongodb
2.创建用于保存配置文件，日志文件，数据库。
mkdir /data/mongodb/{conf,logs,db}
3.将/data/mongodb/bin加入到环境变量.bash_profile方便日后使用。
vi /root/.bash_profile
export PATH=$PATH:/data/mongodb/bin
source /root/.bash_profile
4.开放防火墙端口。
firewall-cmd --zone=public --add-port=27020/tcp --permanent
firewall-cmd --reload
6.主节点安装
1.在/data/mongodb/conf新增下面配置文件mongod.conf
systemLog:
destination: file
path: /data/mongodb/logs/mongod.log
logAppend: true
storage:
dbPath: /data/mongodb/db
journal:
enabled: true
directoryPerDB: true
processManagement:
fork: true
pidFilePath: /data/mongodb/mongod.pid
net:
port: 27070
bindIp: 192.168.1.246
setParameter:
failIndexKeyTooLong: false
security:
keyFile: /data/mongodb/mongodb.keyfile
authorization: enabled
replication:
replSetName: mongodb_set
2.启动MongoDB服务
mongod -f /data/mongodb/conf/mongod.conf
3.连接MongoDB，必须指定端口号，因为默认的端口为27017
mongo 172.17.30.250:27020
4.创建管理员账号
use admin;
db.createUser(
{
user: "admin",
pwd: "admin", #密码设置一定复杂
roles: [ "__system","backup","clusterAdmin","dbAdminAnyDatabase","readWriteAnyDatabase","userAdminAnyDatabase" ] #设置权限
}
);
5.关闭MongoDB服务
mongod -f /data/mongodb/conf/mongod.conf --shutdown
6.生成keyfile文件
openssl rand -base64 741 > /data/mongodb/mongodb.keyfile
chmod 600 mongodb.keyfile #权限必须为600
7.新增配置文件项
vi /data/mongodb/conf/mongod.conf
security:
keyFile: /data/mongodb/mongodb.keyfile #使用keyfile认证
authorization: enabled
replication: #主从复制
replSetName: mongodb_set #复制集名称，可自定义，但主节点，从节点，仲裁者设置需要一致。
7.配置从节点，仲裁节点
1.将主节点mongod.conf和mongodb.keyfile拷贝到从节点和仲裁节点的相应目录。
2.需修改仲裁节点mongod.conf。
#注意，尝试3.4.18版本可以设置，4.0.4设置false无法启动，有待进一步测试
3.启动各节点MongoDB
8.初始化集群
一、在主节点登录MongoDB
mongo 172.17.30.250:27020/admin -uadmin -p
二、执行下面命令，初始化副本集配置。确认返回的是{ “ok” : 1 }
use admin;
config={_id:"mongodb_set",members:
[{_id:0,host:" 192.168.1.246:27020","priority":1}]}
rs.initiate(config);
三、添加从节点
rs.add("192.168.1.247:27020");
四、添加仲裁节点
rs.addArb("192.168.1.248:27020");
五、在主节点执行rs.config();查看集群配置。
rs.config();
9.测试集群
1.插入数据
1.1 在主节点执行下面语句插入数据。
db.use.insert({username: "test1", age: 26})
1.2 在从节点依次执行下面三条语句测试验证
rs.slaveOk(); #明确从节点参数，暂时设置为可读
show collections; #查看当前集合
db.use.find(); #查看数据
1.3 在从节点尝试插入数据。因从节点是不能写的，所以会报no-master.
db.use.insert({username: "test2", age: 27})
2.测试故障转移
2.1 强行停止主节点的MongoDB。（不建议使用Kill停止mongodb服务）
mongod -f /data/mongodb/conf/mongod.conf --shutdown
2.2 查看从节点和仲裁节点的日志。可以发现显示检测不到主节点的心跳
2.3 可以发现从节点的输入栏从SECONDARY变为PRIMARY
2.4 重新启动之前的主节点，发现PRIMARY变成SECONDARY。
节点故障转移成功
10.其他设置
1. 加入服务、开机自启
cd /usr/lib/systemd/system
vi mongod.service
[Unit]
Description=mongodb
After=network.target
[Service]
Type=forking
ExecStart=/data/mongodb/bin/mongod -f /data/mongodb/conf/mongod.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/data/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/mongod.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target
chmod 754 mongod.service
systemctl enable mongod.service
2. 日志分割：
编辑配置文件
新增 logRotate: rename
mkdir /usr/local/mongodb/sh/
vi /usr/local/mongodb/sh/mongod_LogCut.sh
#!/bin/bash
#Rotate the MongoDB logs to prevent a single logfile from consuming too much disk space.
service=mongod
mongodPath=/data/mongodb/bin/
pidArray=$(pidof $mongodPath/$service)
for pid in $pidArray;do
if [ $pid ]
then
kill -SIGUSR1 $pid
fi
done
exit
chmod +x mongodb_LogCut.sh
vi /etc/crotab
59 23 * * * root /usr/local/mongodb/sh/mongodb_LogCut.sh