mongodb的分片集群搭建

最近公司的某个项目活跃越来越高，数据越来越多。目前考虑做mongodb的分片集群，虽然我只是个无关紧要的小菜鸟，这类工作肯定是老大去完成的，轮不到我去想如何做，但是还是要去主动学习一下的，

参考

• [1] 博客园shyuwu的文章

首先先简单了解一下分片集群的架构以及各个部分的作用

mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！
shard，分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。
replica set，中文翻译副本集，其实就是shard的备份，防止shard挂掉之后数据丢失。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。

第一步先准备好3台机器注明:我的内网地址分别为172.24.148.200，172.24.148.201，172.24.148.202

安装mongodb

我用的centos，安装的是4.0.9版本的mongodb

curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.9.tgz // 下载mongodb
tar -zxvf mongodb-linux-x86_64-4.0.9.tgz // 解压mongodb
mv  mongodb-linux-x86_64-4.0.9/ /usr/local/mongodb // 移到自己觉得合适的位置
mkdir -p /data/db // 创建数据库存放目录
mkdir -p /data/config // 创建配置节点目录
mkdir -p /data/mongos // 创建mongos节点的数据存放目录(其中一台机器创建就好)

创建keyfile文件，用来分片集群的验证

openssl rand -base64 666 >  /usr/local/mongodb/mongodb-keyfile 
chmod 600  /usr/local/mongodb/mongodb-keyfile // 该key的权限必须是600；也可改为400

在/data/db/目录创建第一个分片副本集的配置文件mongodb.conf

cd /data/db
vim mongodb.conf

把以下配置写进mongodb.conf并保存注明:需要注意的是副本集名称，三台机器的配置文件必须一样

# 端口
port = 27017
# 数据目录
dbpath = /data/db/
# 日志路径
logpath = /data/db/mongo.log
# 日志输出方式
logappend = true
# 允许所有ip访问 建议配置成 bind_ip=localhost,172.21.148.200(内网地址，每个配置文件不一样)，避免这个分片副本集直接暴露到外网
bind_ip = 0.0.0.0
# 副本集名称
replSet = gdtest
# 后台启动
fork = true
# 开启验证
auth = true
# 验证所需的keyfile文件
keyFile = /usr/local/mongodb/mongodb-keyfile

启动mongodb注意:三台机器都要启动

mongod --config ./mongodb.conf // 注意这是在/data/db/目录下执行的

初始化第一个分片的副本集，mongdb本身提供了api去执行

• 进入其中一台mongodb

mongo --port 27017 // 进入其中一台机器的mongodb

• 初始化第一个分片副本集

var rsconf = { // 定义初始化的设置
    _id:'config',
    members: [
        {
            _id:3,
            host:'172.24.148.202:27017'
        },
        {
            _id:2,
            host:'172.24.148.201:27017'
        },
        {
            _id:1,
            host:'172.24.148.200:27017'
        }
    ]
}
rs.initiate(rsconf); // 初始化 当看到ok字段的值为1事，就代表成功了

以上就创建好了第一个分片的副本集了，但是目前还不能称之为分片集群，只能称为为副本集(或者复制集)，因为我们还缺少配置服务器副本集和mogos的代理服务，下面我们和上面同样的顺序(注明:不同的操作目录)来创建配置服务器的副本集。

在/data/db/目录创建第一个分片副本集的配置文件config.conf

cd /data/config
vim config.conf

把以下配置写进config.conf并保存

port = 27019
dbpath = /data/config/
logpath = /data/config/mongod.log
fork = true
logappend = true
bind_ip = 0.0.0.0
replSet = config // 三台的配置服务节点的副本集名称必须一样，我这里用了config
configsvr = true // 注意这里必须注明这个节点是配置服务节点
wiredTigerCacheSizeGB = 1 //我的机器配置较低，所以这里设置小一点
auth = true
keyFile = /usr/local/mongodb/mongodb-keyfile

启动配置节点 注意:3台机器都要启动

mongod --config ./config.conf

初始化配置节点副本集

var rsconf = { // 定义初始化的设置
    _id:'config',
    members: [
        {
            _id:3,
            host:'172.24.148.202:27017'
        },
        {
            _id:2,
            host:'172.24.148.201:27017'
        },
        {
            _id:1,
            host:'172.24.148.200:27017'
        }
    ]
}
rs.initiate(rsconf); // 初始化 当看到ok字段的值为1事，就代表成功了

以上3台配置节点的副本集就搭建好了，目前还差最后一步，起一个mongos路由服务进程,

mongos进程起一个就可以了(你也可以起两个或这多个做备用)，在创建了 /data/mongos/目录的机器上运行mongos路由服务

把一下配置写进 /data/mongos/mongos.conf文件

port = 27009
fork = true
logpath = /data/mongos/mongos.log
bind_ip = 0.0.0.0
# 3台配置服务器节点的地址和端口
configdb = config/172.24.148.201:27019,172.24.148.202:27019,172.24.148.202:27019
keyFile = /usr/local/mongodb/mongodb-keyfile

运行mongos服务

mongos --config ./mongos.conf

进入mongos服务把一开始创建的第一个分片集群加上

mongo --port 27009
sh.addShard("gdtest/172.24.148.201:27017,172.24.148.202:27017,172.24.148.202:27017")

以上所有步骤执行成功就成功创建了只有一个分片的mongodb分片集群啦，但是目前应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

##use到admin库下执行，否则会报错
mongos>use admin
switched to db admin
mongos> sh.enableSharding("test") // 激活分片
{
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1555544056, 6258),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1555544056, 6258)
}
mongos> sh.shardCollection("test.persons", { _id: 1})  // 我这里是用_id去做片建，如果用其它字段当片建，必须先建索引
{
    "collectionsharded" : "test.persons",
    "collectionUUID" : UUID("da124f00-1ddd-445d-8bb9-d443a4b113ac"),
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1555544056, 6427),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1555544056, 6427)
}

至此，mongodb数据分片集群部署并测试完成