mongoDB研究笔记：分片集群的工作机制

上面的（http://www.cnblogs.com/guoyuanwei/p/3565088.html）介绍了部署了一个默认的分片集群，对mongoDB的分片集群有了大概的认识，到目前为止我们还没有在集群上建立其它数据库，mongoDB的分片是基于集合（表）来进行的，因此要对一个集合分片，必须先使其所在的数据库支持分片。如何使一个集合分片？如何选择分片用到的片键？平衡器如何使chunks块在片中迁移？分片的读写情况怎么样？接下来将探讨这些问题。

使集合分片

（1）连接到上面所配置集群中的mongos实例

> mongo --port 40009

（2）在集群中创建数据库eshop和集合users

      mongos> use eshop

            switched to db eshop

      mongos> db.users.insert({userid:1,username:"lili",city:"beijing"})

     此时在集合users中只有一条记录：

     { "_id" : ObjectId("521dcce715ce3967f964c00b"), "userid" : 1, "username" : "lili", "city" :    "beijing" }

观察集群的状态信息，字段databases会增加一条记录，其它字段与初始化的集群信息相同：

mongos> sh.status()

        databases:

        {  "_id" : "eshop",  "partitioned" : false,  "primary" : "rs0" }

可以看到此时数据库eshop还没支持分片，且数据库中所有未分片的集合将保存在片rs0中；通过查看磁盘上的数据文件，此时会产生eshop.0、eshop.1、eshop.ns三个文件且位于rs0所对应的数据目录中，集群中chunks集合为空，因为现在还没有对集合users分片。

（3）分片

      mongoDB的分片是基于范围的，也就是说任何一个文档一定位于指定片键的某个范围内，一旦片键选择好后，chunks就会按照片键来将一部分documents从逻辑上组合在一起。这里对users集合选择"city"字段作为片键来分片，假如现在"city"字段值有"beijing"、"guangzhou"、"changsha"，初始的时候随机的向集群中插入包含以上字段值的文档，此时由于chunks的大小未达到默认的阈值64MB或100000个文档，集群中应该只有一个chunk，随着继续插入文档，超过阈值的chunk会被分割成两个chunks，最终的chunks和片键分布可能如下表格所示。表格只是大体上描述了分片的情况，实际可能有所变化，其中-∞表示所有键值小于"beijing"的文档，∞表示所有键值大于"guangzhou"的文档。这里还要强调一点就是chunks所包含的文档，并不是物理上的包含，它是一种逻辑包含，它只表示带有片键的文档会落在哪个范围内，而这个范围的文档对应的chunk位于哪个片是可以查询到的，后续的读写操作就定位到这个片上的具体集合中进行。

开始键值	结束键值	所在分片
-∞	beijing	rs0
beijing	changsha	rs1
changsha	guangzhou	rs0
guangzhou	∞	rs1

下面继续通过命令使集合users分片，使集合分片必须先使其所在的数据库支持分片，如下：

mongos> sh.enableSharding("eshop")  //使数据库支持分片

对已有数据的集合进行分片，必须先在所选择的片键上创建一个索引，如果集合初始时没有任何数据，则mongoDB会自动在所选择的的片键上创建一个索引。

mongos> db.users.ensureIndex({city:1})  //创建基于片键的索引

mongos> sh.shardCollection("eshop.users",{city:1})  //使集合分片

成功执行上面命令后，再次查看集群状态信息：

mongos> sh.status()

--- Sharding Status ---

  sharding version: {

        "_id" : 1,

        "version" : 3,

        "minCompatibleVersion" : 3,

        "currentVersion" : 4,

        "clusterId" : ObjectId("521b11e0a663075416070c04")

}

  shards:

        {  "_id" : "rs0",  "host" : "rs0/GUO:40000,GUO:40001" }

        {  "_id" : "rs1",  "host" : "rs1/GUO:40003,GUO:40004" }

  databases:

        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

        {  "_id" : "eshop",  "partitioned" : true,  "primary" : "rs0" } //数据库已支持分片

                eshop.users //分片的集合

                        shard key: { "city" : 1 } //片键

                        chunks:   //所有块信息

                                rs0     1 //当前只有1个块在片rs0上

                        { "city" : { "$minKey" : 1 } } -->> { "city" : { "$maxKe

y" : 1 } } on : rs0 { "t" : 1, "i" : 0 } //此块的包含键值范围是-∞到∞，且在片rs0上，因为此时集合中只有一条记录，还未进行块的分割、迁移

（4）继续插入数据使集合自动分片

     为了观察到集合被分成多个chunk，并分布在多个片上，继续插入一些数据进行分析。

> for(var i = 1; i<10000;i++) db.users.insert({userid:i,username:"lili"+i,city:"beijing"})

> for(var i = 0; i<10000;i++) db.users.insert({userid:i,username:"xiaoming"+i,city:"changsha"})

> for(var i = 0; i<10000;i++) db.users.insert({userid:i,username:"xiaoqiang"+i,city:"guangzhou"})

通过以上三次循环插入文档后，第一个chunk的大小会超过64MB时，出现chunk分割与迁移的过程。再次观察集群的状态信息，字段databases值变为：

  databases:

        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

        {  "_id" : "eshop",  "partitioned" : true,  "primary" : "rs0" }

                eshop.users

                        shard key: { "city" : 1 }

                        chunks:

                                rs1     1

                                rs0     2

                        { "city" : { "$minKey" : 1 } } -->> { "city" : "beijing"

} on : rs1 { "t" : 2, "i" : 0 } //块区间

                        { "city" : "beijing" } -->> { "city" : "guangzhou" } on

: rs0 { "t" : 2, "i" : 1 } //块区间

                        { "city" : "guangzhou" } -->> { "city" : { "$maxKey" : 1

} } on : rs0 { "t" : 1, "i" : 4 } //块区间

说明此时集群中有三个块，其中在片rs0上有两个块，在片rs1上有一个块，每个块包含一定区间范围的文档。为了更加清楚的知道这些块是如何分割和迁移的，可以查看changelog集合中的记录信息进行分析。

从命令db.changelog.find()输出内容中可以看到有以下几步：

第一步：分割大于64MB的块，原来此块的片键的区间范围是-∞到∞，分割后区间变为-∞到"beijing"、"beijing"到∞两个区间。

第二步：随着继续插入文档，区间"beijing"到∞所包含的块的大小超过64MB，此时这个区间又被分割为"beijing"到"guangzhou"、"guangzhou"到∞这两个区间。

第三步：经过上面的分割，现在相当于有三个区间块了，这一步做的就是将区间-∞到"beijing"对应的chunk从片rs0迁移到片rs1，最终结果是分片rs0上包含"beijing"到"guangzhou"、"guangzhou"到∞两个区间的块，分片rs1上包含区间-∞到"beijing"的块。

上面循环插入文档时还插入了片键值为"changsha"的记录，这个片键的记录应该都位于区间"beijing"到"guangzhou"所对应的chunk上，只不过由于chunk的大小还未达到64MB，所以还未进行分割，如果继续插入此片键的文档，区间可能会被分割为"beijing"到"changsha"、"changsha"到"guangzhou"这两个区间块。依次类推，mongoDB就是这样来实现海量数据的分布式存储的，同时由于每个片又是由复制集组成，保证了数据的可靠性。