第八章：sharding 分片



 

一： 安装和部署

 

 

Sharding 和Replica Set类似，都需要一个仲裁节点，但是Sharding还需要配置节点和路由节点。就三种集群搭建方式来说，这种是最复杂的。部署图如下：

这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在 sharding 的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式 MongoDB集群。 MongoDB  的数据分块称为  chunk。每个  chunk  都是  Collection  中一段连续的数据记录，通常最大尺寸是  200MB，超出则生成新的数据块。

要构建一个  MongoDB Sharding Cluster，需要三种角色：

Shard Server

即存储实际数据的分片，每个Shard可以是一个mongod实例，也可以是一组mongod实例构成的Replica Set。为了实现每个Shard内部的auto-failover，MongoDB 官方建议每个Shard为一组Replica Set。 

Config Server 

为了将一个特定的collection存储在多个shard中，需要为该collection指定一个shard key，例如{age: 1}  ，shard key可以决定该条记录属于哪个chunk。

Config Servers就是用来存储：所有shard节点的配置信息、每个chunk的shard key范围、chunk在各shard的分布情况、该集群中所有DB和collection的sharding配置信息。

Route Process 

这是一个前端路由，客户端由此接入，然后询问 Config  Servers 需要到哪个 Shard 上查询或保存记录，再连接相应的Shard进行操作，最后将结果返回给客户端。客户端只需要将原本发给mongod的查询或更新请求原封不动地发给 Routing Process，而不必关心所操作的记录存储在哪个Shard上。 

 

 

一般来说一个数据节点对应一个配置节点，仲裁节点则不需要对应的配置节点。注意在启动路由节点时，要将配置节点地址写入到启动命令里。

2.部署 Replica Sets 

环境： redhat linux5.5  

1. 建立数据文件夹

  mkdir -p  /mongodb/data/shared1     --shared1

  mkdir -p /mongodb/log/

  mkdir -p /mongodb/data/shared2     --shared2

  mkdir -p /mongodb/log/

  mkdir -p /mongodb/data/conf/           --控制节点

  mkdir -p /mongodb/log/                    

  mkdir -p /mongodb/data/root/             --路由节点

  mkdir -p /mongodb/log/     

        

  touch  /mongodb/log/shared1.log 

  touch /mongodb/log/shared2.log

  touch /mongodb/log/conf.log

  touch /mongodb/log/root.log

  touch  /mongodb/shared1.pid  

  touch  /mongodb/shared2.pid

  touch /mongodb/conf.pid

  touch /mongodb/root.pid

  chmod -R  755 /mongodb   --六个节点都执行

 

 

2. 启动数据节点

 

./mongod  --shardsvr --port 27017 --fork --dbpath /mongodb/data/shared1/ --logpath /mongodb/log/shared1.log  --directoryperdb # 192.168.56.87

./mongod --shardsvr --port 27017 --fork --dbpath /mongodb/data/shared2/ --logpath /mongodb/log/shared2.log  --directoryperdb #192.168.56.88

 

3.启动配置节点

./mongod --configsvr --dbpath /mongodb/data/conf --port 27017 --fork --logpath /mongodb/log/conf.log  --directoryperdb   #192.168.56.89

4.启动路由节点

./mongos  --configdb 192.168.56.89:27017 --port 27017 --fork --logpath /mongodb/log/root.log  --chunkSize 1  #192.168.56.89

[root@node1 bin]#   ./mongos  --configdb 192.168.56.90:27017,192.168.56.91:27017 --port 27017 --fork --logpath /mongodb/log/root.log
BadValue need either 1 or 3 configdbs
try './mongos --help' for more information  --报错了

原因以及解决办法：
mongos.conf文件中configdb参数有误， 在这里路由个数，只能为1 或 3。configdb =  192.168.56.90:27017

mongos 启动参数中，chunkSize 这一项是用来指定 chunk 的大小的，单位是 MB，默认大小
为200MB，为了方便测试Sharding效果，我们把chunkSize 指定为  1MB。 

 

4.配置Sharding

./mongo 192.168.56.90:27017   #这里必须连接路由节点 

>use admin

>db.runCommand({addshard:"192.168.56.87:27017"})    --添加shard server

>db.runCommand({addshard:"192.168.56.88:27017"})   

>db.runCommand({enablesharding:"test"})      --设置分片存储的数据库   

>db.runCommand({ shardcollection: "test.users", key: { _id:1 }})  --设置分片的集合名称，且必须指定Shard Key，系统会自动创建索引

5.验证sharing 正常工作(在路由端)

 > use test 

switched to db test
>  for  (var  i  =  1;  i  <=  5000;  i++)  db.users.insert({age:i,  name:"wangwenlong",  addr:"Beijing",country:"China"})

mongos>  db.users.stats()
{
       "sharded" : true, 说明此表已被shared
     "paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
     "userFlags" : 1,
     "capped" : false,
     "ns" : "test.users",
     "count" : 5000,
     "numExtents" : 5,
     "size" : 560000,
     "storageSize" : 704512,
     "totalIndexSize" : 179872,
     "indexSizes" : {
          "_id_" : 179872
     },
     "avgObjSize" : 112,
     "nindexes" : 1,
     "nchunks" : 3,
     "shards" : {
          " shard0000"  : {
               "ns" : "test.users",
               " count" : 4999,    --此分片上有将近5k数据
               "size" : 559888,
               "avgObjSize" : 112,
               "numExtents" : 4,
               "storageSize" : 696320,
               "lastExtentSize" : 524288,
               "paddingFactor" : 1,
               "paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
               "userFlags" : 1,
               "capped" : false,
               "nindexes" : 1,
               "totalIndexSize" : 171696,
               "indexSizes" : {
                    "_id_" : 171696
               },
               "ok" : 1
          },
            "shard0001" :  {
                 "ns" : "test.users",
               "count" : 1,
               "size" : 112,
               "avgObjSize" : 112,
               "numExtents" : 1,
               "storageSize" : 8192,
               "lastExtentSize" : 8192,
               "paddingFactor" : 1,
               "paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
               "userFlags" : 1,
               "capped" : false,
               "nindexes" : 1,
               "totalIndexSize" : 8176,
               "indexSizes" : {
                    "_id_" : 8176
               },
               "ok" : 1
          }
     },
     "ok" : 1
}
mongos> 

看上述结果，表明 test.users 集合已经被分片处理了，但是通过 mongos 路由，我们并感觉不到是数据存放在哪个 shard 的 chunk 上的，这就是 MongoDB 用户体验上的一个优势，即对用户是透明的。