MongoDB 学习笔记八 复制、分片、备份与恢复、监控

MongoDB复制（副本集）

MongoDB复制是将数据同步在多个服务器的过程。

复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，并可以保证数据的安全性。

复制还允许您从硬件故障和服务中断中恢复数据。

什么是复制？

• 保障数据的安全性
• 数据高可用性（24*7）
• 灾难恢复
• 无需停机维护（如备份、重建索引、压缩）
• 分布式读取数据

MongoDB 复制原理

MongoDB 的复制至少需要两个节点，其中一个是主节点，负责处理客户端请求，其余的都是从节点，负责复制主节点上的数据。

MongoDB 各个节点常见的搭配方式为：一主一从、一主多从。

主节点记录在其上的所有操作 oplog，从节点定期轮询主节点获取这些操作，然后对自己的数据副本执行这些操作，从而保证从节点的数据与主节点一致。

MongoDB 复制结构如图所示：

以上结构图中，客户端从主节点读取数据，在客户端写入数据到主节点时，主节点与从节点进行数据交互（保障数据的一致性）

副本集特征：

• N个节点的集群
• 任何节点可作为主节点
• 所有写入凑走都在主节点上
• 自动故障转移
• 自动恢复

MongoDB 副本集设置

现在我们通过指定 --replSet 选项来启动 MongoDB。-- replSet 基本语法格式如下：

mongod --port "PORT" --dbpath "YOUR_DB_DATA_PATH" --replSet "REPLICA_SET_INSTANCE_NAME"

实例

mongod --port 27017 --dbpath "D:\set up\mongodb\data" --replSet rs0

以上实例会启动一个名为 rs0 的 MongoDB实例，其端口为 27017.

启动后打开命令提示框并连接上 MongoDB 服务。

在 MongoDB 客户端使用命令 rs.initate（）来启动一个新的副本集。

我们可以使用 rs.conf 来查看副本集的配置

查看副本集状态使用 rs.status（）命令

副本集添加成员

添加副本集的成员，我么粗腰使用多台服务器来启动 MongoDB服务。进入MongoDB客户端，并使用 rs.add（）方法来添加副本集的成员。

语法

rs.add（）命令基本语法格式如下：

>rs.add(HOST_NAME:PORT)

实例

假设你已经启动了一个名为 mongod1.net，端口为 27017 的 MongoDB 服务，在客户端命令窗口使用 rs.add（）命令将其添加到副本集中，命令如下所示：

>rs.add("mongod1.net:27017")
>

MongoDB 中你只能通过主节点将 MongoDB服务添加到副本集中，判断当前运行的 MongoDB 服务是否为主节点可以使用命令 db.isMaster（）。

MongoDB的副本集与我们常见的主从有所不同，助兴在主机宕机后所有服务将停止，而副本集在主机宕机后，副本会接管主节点称为主节点，不会出现宕机的情况。

MongoDB 分片

分片

在 MongoDB 里面存在另一种集群，就是分片技术，可以满足 MongoDB数据量大量增长的需求。

当 MongoDB 存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器行分割数据，使得数据库系统能存储和处理更多的数据。

为什么使用分片

• 复制所有的写入操作到主节点
• 延迟的敏感数据会在主节点查询
• 单个副本集限制在12个节点
• 党请求来个巨大时会出现内存不足。
• 本地磁盘不足
• 垂直货站价格昂贵

MongoDB 分片

下图展示了在 MongoDB 中使用分片集群结构分布：

上图中主要有如下所述的三个主要组件：

• Shard：
  用于存储实际的数据块，实际生产环境中一个 shard server角色可由几台机器组个 replica set 承担，放置主机单点故障

• Config Server：
  mongod 实例，存储了整个 ClusterMetadata，其中包括 chunk 信息。

• Query Routers：
  前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

分片实例

分片结构端口分布如下：

Shard Server 1：27020
Shard Server 2：27021
Shard Server 3：27022
Shard Server 4：27023
Config Server ：27100
Route Process：40000

步骤一：启动 Shard Server

[root@100 /]# mkdir -p /www/mongoDB/shard/s0
[root@100 /]# mkdir -p /www/mongoDB/shard/s1
[root@100 /]# mkdir -p /www/mongoDB/shard/s2
[root@100 /]# mkdir -p /www/mongoDB/shard/s3
[root@100 /]# mkdir -p /www/mongoDB/shard/log
[root@100 /]# /usr/local/mongoDB/bin/mongod --port 27020 --dbpath=/www/mongoDB/shard/s0 --logpath=/www/mongoDB/shard/log/s0.log --logappend --fork
....
[root@100 /]# /usr/local/mongoDB/bin/mongod --port 27023 --dbpath=/www/mongoDB/shard/s3 --logpath=/www/mongoDB/shard/log/s3.log --logappend --fork

步骤二：启动 Config Server

[root@100 /]# mkdir -p /www/mongoDB/shard/config
[root@100 /]# /usr/local/mongoDB/bin/mongod --port 27100 --dbpath=/www/mongoDB/shard/config --logpath=/www/mongoDB/shard/log/config.log --logappend --fork

注意：这里我们完全可以向启动普通 MongoDB 服务一样启动，不需要添加 -shardsvr 和 configsvr 参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以。

步骤三：启动 Route Process

/usr/local/mongoDB/bin/mongos --port 40000 --configdb localhost:27100 --fork --logpath=/www/mongoDB/shard/log/route.log --chunkSize 500

mogos 启动参数中，chunkSize 这一项是用来指定 chunk 的大小的，单位是 MB，默认大小为200MB。

步骤四：配置 Sharding

接下来，我们使用 MongoDB Shell 登录到 mongos，添加 Shard 节点

[root@100 shard]# /usr/local/mongoDB/bin/mongo admin --port 40000
MongoDB shell version: 2.0.7
connecting to: 127.0.0.1:40000/admin
mongos> db.runCommand({ addshard:"localhost:27020" })
{ "shardAdded" : "shard0000", "ok" : 1 }
......
mongos> db.runCommand({ addshard:"localhost:27029" })
{ "shardAdded" : "shard0009", "ok" : 1 }
mongos> db.runCommand({ enablesharding:"test" }) #设置分片存储的数据库
{ "ok" : 1 }
mongos> db.runCommand({ shardcollection: "test.log", key: { id:1,time:1}})
{ "collectionsharded" : "test.log", "ok" : 1 }

步骤五：程序代码内无需太大更改，直接按照连接普通的 mongo 数据库那样，将数据库连接入接口 40000

---

1.创建 Sharding 复制集 rs0

# mkdir /data/log
# mkdir /data/db1
# nohup mongod --port 27020 --dbpath=/data/db1 --logpath=/data/log/rs0-1.log --logappend --fork --shardsvr --replSet=rs0 &

# mkdir /data/db2
# nohup mongod --port 27021 --dbpath=/data/db2 --logpath=/data/log/rs0-2.log --logappend --fork --shardsvr --replSet=rs0 &

1.1复制集 rs0 配置

# mongo localhost:27030
> rs.initiate({_id: 'rs0', members: [{_id: 0, host: 'localhost:27020 '}, {_id: 1, host: 'localhost:27021 '}]})
> rs.isMaster() #查看主从关系

2.创建 Sharding 复制集 rs1

# mkdir /data/db3
# nohup mongod --port 27030 --dbpath=/data/db3 --logpath=/data/log/rs1-1.log --logappend --fork --shardsvr --replSet=rs1 &
# mkdir /data/db4
# nohup mongod --port 27031 --dbpath=/data/db4 --logpath=/data/log/rs1-2.log --logappend --fork --shardsvr --replSet=rs1 &

2.1.复制集rs1配置

# mongo localhost:27030
> rs.initiate({_id: 'rs1', members: [{_id: 0, host: 'localhost:27030'}, {_id: 1, host: 'localhost:27031'}]})
> rs.isMaster() #查看主从关系

3.创建 Config 复制集 conf

# mkdir /data/conf1
# nohup mongod --port 27100 --dbpath=/data/conf1 --logpath=/data/log/conf-1.log --logappend --fork --configsvr --replSet=conf &
# mkdir /data/conf2
# nohup mongod --port 27101 --dbpath=/data/conf2 --logpath=/data/log/conf-2.log --logappend --fork --configsvr --replSet=conf &

3.1.复制集conf配置

# mongo localhost:27100
> rs.initiate({_id: 'conf', members: [{_id: 0, host: 'localhost:27100'}, {_id: 1, host: 'localhost:27101'}]})
> rs.isMaster() #查看主从关系

4.创建Route

# nohup mongos --port 40000 --configdb conf/localhost:27100,localhost:27101 --fork --logpath=/data/log/route.log --logappend & 

4.1.设置分片

# mongo localhost:40000
> use admin
> db.runCommand({ addshard: 'rs0/localhost:27020,localhost:27021'})
> db.runCommand({ addshard: 'rs1/localhost:27030,localhost:27031'})
> db.runCommand({ enablesharding: 'test'})
> db.runCommand({ shardcollection: 'test.user', key: {name: 1}})

MongoDB 备份（mongodump）与恢复（mongorestore）

MongoDB 数据备份

在MongoDB 中我们使用 mongodump 命令来备份 MongoDB 数据，该命令可以导出所有数据到指定目录中。

mongodump 命令可以通过参数指定导出的数据量级转存的服务器

语法

mongodump 命令脚本语法如下：

>mongodump -h dbhost -d dbname -o dbdirectory

• -h：MongoDB躲在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017
• -d：需要备份的数据库实例，例如：test
• -o：备份的数据存放位置，例如：c：\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在 dump 目录下建立一个 test 目录，这个目录里面存放该数据库实例的备份数据。

实例

在本地使用 27017 启动你的 mongod 服务。打开命令提示符窗口，进入 MongoDB 安装目录的 bin 目录输入命令 mongodump；

>mongodump

执行以上命令后，客户端会连接到 ip 为 127.0.0.1 端口号为 27017 的MongoDB服务上，并备份所有数据到 bin/dump/ 目录中。命令输出结果如下：

mongodump 命令可选参数列表如下所示：

语法	描述	实例
mongodump --host HOST_NAME --port PORT_NUMBER	该命令将备份所有MongoDB数据	mongodump --host runoob.com --port 27017
mongodump --dbpath DB_PATH --out BACKUP_DIRECTORY		mongodump --dbpath /data/db/ --out /data/backup/
mongodump --collection COLLECTION --db DB_NAME	该命令将备份指定数据库的集合。	mongodump --collection mycol --db test

MongoDB 数据恢复

mongodb 使用 mongorestore 命令来恢复备份的数据。

语法

mongorestore 命令脚本语法如下：

>mongorestore -h <hostname><:port> -d dbname <path>

• – host <:port>, -h <:port>： MongoDB所在服务器地址，默认为：localhost：27017
• –db，-d：需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2
• –drop：恢复的时候，先删除当前数据，然后恢复备份的数据。就是说，恢复后，备份后添加修改的数据都会被删除，慎用哦！
• –：mongorestore 最后的一个参数，设置备份数据所在的位置，例如：c:\data\dump\test。你不同时指定 和 --dir 选项，–dir也可以设置备份目录。
• –dir：指定备份的目录，你不能同时指定 和 --dir 选项。

接下来我们执行以下命令：

>mongorestore

执行以上命令输出结果如下：

MongoDB 监控

在你已经安装部署并允许 MongoDB 服务后，你必须要了解 MongoDB 的运行情况，并查看 MongoDB 的性能。这样在大流量的情况下可以很好的对并保证 MongoDB 正常运作。

MongoDB 中提供了 mongostat 和 mongotop 两个命令来监控 MongoDB 的运行情况。

mongostat 命令

mongostat 是 mongodb 自带的状态检测工具，在命令行下使用。它会间隔固定时间获取 mongodb 的当前运行状态，并输出。如果你发现数据库突然变慢或者有其他问题的话，你第一手的操作就考虑采用 mongostat 来查看 mongo 状态。

启动你的 MongoDB 服务，进入到你安装的 MongoDB 目录下的bin 目录，然后输入 mongostat 命令，如下所示：

D:\set up\mongodb\bin>mongostat

以上命令输出结果如下：

mongotop 命令

mongotop 也是 mongodb 下的一个内置工具，mongotop 提供了一个方法，用来跟踪一个 MongoDB的实例，查看哪些大量的时间花费在读取和写入数据。mongotop 提供每个集合的水平的统计数据。默认情况下，mongotop 返回值的每一秒。

启动你的 Mongod 服务，进入到你安装的 MongoDB 目录下的 bin 目录，然后输入 mongotop 命令，如下所示：

D:\set up\mongodb\bin>mongotop

以上命令执行输出结果如下：

带参数实例

 E:\mongodb-win32-x86_64-2.2.1\bin>mongotop 10

后面的 10 是 参数 ，可以不使用，等待的时间长度，以秒为单位，mongotop等待调用之间。通过的默认mongotop返回数据的每一秒。

E:\mongodb-win32-x86_64-2.2.1\bin>mongotop --locks

报告每个数据库的锁的使用中，使用 mongotop --locks， 这将产生以下输出：

输出结果字段说明：

• ns：包含数据库命名空间，后者结合了数据库名称和集合。
• db：包含数据库的名称。名为 . 的数据库针对全局锁定，而非特定数据库。
• total：mongod 花费的时间工作在这个命名空间提供总额。
• read：提供了大量的时间，这 mongod 花费在执行读操作，在此命名空间。
• write：提供这个命令空间进行写操作，这 mongo 花了大量的时间。