MongoDB的副本集和分片搭建

本文用的是centOS的三台虚拟机,Ubuntu只需在命令之前加sudo

注意关闭防火墙: systemctl stop firewalld.service

创建MongoDB的配置文件目录

分别在每台机器建立Config,Mongos,配置,Shard1,Shard2,Shard3六个目录,因为Mongos不存储数据,只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf \
mkdir -p /usr/local/mongodb/mongos/log \
mkdir -p /usr/local/mongodb/config/data \
mkdir -p /usr/local/mongodb/config/log \
mkdir -p /usr/local/mongodb/shard1/data \
mkdir -p /usr/local/mongodb/shard1/log \
mkdir -p /usr/local/mongodb/shard2/data \
mkdir -p /usr/local/mongodb/shard2/log \
mkdir -p /usr/local/mongodb/shard3/data \
mkdir -p /usr/local/mongodb/shard3/log

配置环境变量

vi /etc/profile
配置信息:
# MongoDB 环境变量内容
export MONGODB_HOME=/usr/local/mongodb  //安装MongoDB的路径
export PATH=$MONGODB_HOME/bin:$PATH
让配置信息生效
source /etc/profile

config server配置服务器

(三台机器)添加配置文件

vi /usr/local/mongodb/conf/config.conf

## 配置文件内容
pidfilepath = /usr/local/mongodb/config/log/configsrv.pid
dbpath = /usr/local/mongodb/config/data
logpath = /usr/local/mongodb/config/log/congigsrv.log
logappend = true
 
bind_ip = 0.0.0.0
port = 21000
fork = true
 
#declare this is a config db of a cluster;
configsvr = true

#副本集名称
replSet = configs
 
#设置最大连接数
maxConns = 20000

启动三台服务器的config server

在MongoDB的bin目录下输入

./mongod -f /usr/local/mongodb/conf/config.conf

登录任意一台配置服务器,初始化配置副本集,连接 MongoDB

mongo --port 21000

config 变量

config = {
  _id : "rs1",//rs1为副本集名称
  members : [
  {_id : 0, host : "192.168.0.100:21000" },//三台虚拟机的ip,端口自己随便设置
  {_id : 1, host : "192.168.0.101:21000" },
  {_id : 2, host : "192.168.0.102:21000" }
  ]
  }

初始化副本集

rs.initiate(rs1)

查询状态

rs.status()

MongoDB的副本集和分片搭建_第1张图片

配置分片

(三台机器)设置第一个分片

vi /usr/local/mongodb/conf/shard1.conf
#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid
dbpath = /usr/local/mongodb/shard1/data
logpath = /usr/local/mongodb/shard1/log/shard1.log
logappend = true

bind_ip = 0.0.0.0
port = 27001
fork = true
 
#分片名称
replSet = shard1
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns = 20000

启动三台服务器的shard1 server

bin目录下

./mongod -f /usr/local/mongodb/conf/shard1.conf

登陆任意一台服务器,初始化副本集(除了192.168.0.102,因为这是仲裁节点)

连接 MongoDB

mongo --port 27001

使用admin数据库

use admin

定义分片配置

config = { 
_id : "shard1", 
members : [ 
{_id : 0, host : "192.168.0.100:27001" }, 
{_id : 1, host : "192.168.0.101:27001" }, 
{_id : 2, host : "192.168.0.102:27001" , arbiterOnly: true } 
] }

初始化分片配置

rs.initiate(config)

(三台机器)设置第二个分片副本集

终端输入

vi /usr/local/mongodb/conf/shard2.conf

添加如下配置信息

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid
dbpath = /usr/local/mongodb/shard2/data
logpath = /usr/local/mongodb/shard2/log/shard2.log
logappend = true

bind_ip = 0.0.0.0
port = 27002
fork = true
 
#副本集名称
replSet=shard2
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns=20000

启动三台服务器的shard2 server

./mongod -f /usr/local/mongodb/conf/shard2.conf

连接 MongoDB

mongo --port 27002

使用admin数据库

use admin

定义分片配置

config = {
    _id : "shard2",
     members : [
         {_id : 0, host : "192.168.0.100:27002"  , arbiterOnly: true },
         {_id : 1, host : "192.168.0.101:27002" },
         {_id : 2, host : "192.168.0.102:27002" }
     ]
 }

初始化配置

rs.initiate(config)

(三台机器)设置第三个分片副本集

终端输入

vi /usr/local/mongodb/conf/shard3.conf

添加如下配置信息

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid
dbpath = /usr/local/mongodb/shard3/data
logpath = /usr/local/mongodb/shard3/log/shard3.log
logappend = true

bind_ip = 0.0.0.0
port = 27003
fork = true

#副本集名称
replSet=shard3
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns=20000

启动三台服务器的shard3 server

./mongod -f /usr/local/mongodb/conf/shard3.conf

连接 MongoDB

mongo --port 27003

使用admin数据库

use admin

定义分片配置

config = {
    _id : "shard3",
     members : [
         {_id : 0, host : "192.168.0.100:27003" },
         {_id : 1, host : "192.168.0.101:27003" , arbiterOnly: true},
         {_id : 2, host : "192.168.0.102:27003" }
     ]
 }

初始化

rs.initiate(config)

配置路由服务器 mongos

(三台机器)先启动配置服务器和分片服务器,后启动路由实例启动路由实例:

终端输入

vi /usr/local/mongodb/conf/mongos.conf

添加如下配置信息

#内容
pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid
logpath = /usr/local/mongodb/mongos/log/mongos.log
logappend = true

bind_ip = 0.0.0.0
port = 20000
fork = true

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
configdb = configs/192.168.0.100:21000,192.168.0.101:21000,192.168.0.102:21000
 
#设置最大连接数
maxConns = 20000

启动三台服务器的mongos server

./mongos -f /usr/local/mongodb/conf/mongos.conf

串联路由服务器

目前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序连接到mongos路由服务器并不能使用分片机制,还需要在程序里设置分片配置,让分片生效。

登陆任意一台mongos

mongo --port 20000

使用admin数据库

use  admin

串联路由服务器与分配副本集

sh.addShard("shard1/192.168.0.100:27001,192.168.0.101:27001,192.168.0.102:27001");
sh.addShard("shard2/192.168.0.100:27002,192.168.0.101:27002,192.168.0.102:27002");
sh.addShard("shard3/192.168.0.100:27003,192.168.0.101:27003,192.168.0.102:27003");

查看集群状态

sh.status()

启用集合分片生效

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了,但我们的目的是希望插入数据,数据能够自动分片。连接在mongos上,准备让指定的数据库、指定的集合分片生效。

登陆任意一台mongos

mongo --port 20000

使用管理数据库

use  admin

指定TESTDB分片生效

db.runCommand( { enablesharding :"testdb"});

指定数据库里需要分片的集合和片键,哈希id分片

db.runCommand( { shardcollection : "testdb.table1",key : {"id": "hashed"} } );

我们设置testdb的table1表需要分片,根据id自动分片到shard1,shard2,shard3上面去。要这样设置是因为不是所有mongodb的数据库和表都需要分片!

测试分片配置结果

连接MongoDB路由服务

mongo  127.0.0.1:20000

切换到testdb数据库

use  testdb;

插入测试数据

for(i=1;i<=100000;i++){db.table1.insert({"id":i,"name":"penglei"})};

总条数

db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}])

查看分片情况如下

  • shard1: “count”:33755
  • shard2: “count”:33143
  • shard3: “count”:33102

结论数据基本均匀

db.table1.stats();

创建索引

db.table1.createIndex({"name":1})
db.table1.getIndexes()

启动

MongoDB中的启动顺序是,先启动配置服务器,在启动分片,最后启动mongos。

bin目录

./mongod -f /usr/local/mongodb/conf/config.conf
./mongod -f /usr/local/mongodb/conf/shard1.conf
./mongod -f /usr/local/mongodb/conf/shard2.conf
./mongod -f /usr/local/mongodb/conf/shard3.conf
./mongos -f /usr/local/mongodb/conf/mongos.conf

连接MongoDB路由服务

mongo  127.0.0.1:20000

关闭

直接killall杀掉所有进程

killall mongod
killall mongos

参考:https://www.cnblogs.com/genghenggao/p/10473547.html

因为本人找了挺久都找不到可以用的教程,就把东西写到自己的笔记这

温馨提示:进程启动不了都可以在bin目录,在命令之前加./

参考:http://www.ymq.io/2018/01/30/MongoDB-3/

你可能感兴趣的:(MongoDB副本集与分片,mongodb,nosql,数据库)