MongoDB分片集群实践

实践是检验真理的唯一标准

自己动手搭建一套集群

采用docker搭建集群，对于学习MongoDB，这样最省时省力。前期请自行安装Docker，这是自动化安装过程中必须用的工具。

安装docker参考：https://get.docker.com/

为了方便安装,我写了如下安装脚本,再Linux和macOS上实测通过,windows平台请自行参考。执行创建mongo集群.sh 等待片刻就可以构建一个MongoDB分片集群。完整脚本下载地址：https://www.jianguoyun.com/p/DcsnjyoQlIjtBhiHjZsD。

分片集群构成

MongoDB分片群集由以下组件组成：

shard（分片）：每个分片包含分片数据的子集。每个分片都可以部署为副本集。

mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片群集之间提供接口。

config servers（配置服务）：存储集群的元数据和配置。从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）。

下图描述了分片群集中组件的交互：

分片策略

对于分片集群，MongoDB支持hash和range两种分片策略

Hash分片

Hash分片是计算片健的hash值，每个chunk存储该hash值一定范围的文档。这个过程完全由mongoDB服务端控制，客户端无感知。

Range分片

范围分片是按照片键值的范围进行拆分数据集，每个chunk存储片键值一定范围的文档。

片键以及策略的选择

片键一旦选定，就不能修改，而且一个片键的好坏，直接影响集群的性能。如果可以，应该选择一个区分度比较的片健，以保证数据可以均匀的分布在集群中。

Hash分片：适用于等值查询。

优势：数据分布更均匀。
局限性：如果是范围查询，需要扫描所有分片才能获取完整数据。
- 不能使用unique，可以给该片键再建一个唯一索引解决。

Range分片：适用于范围查询。

优势：相近的片键聚集在一个chunk中，范围查询效率好。
局限性：如果片键是单调递增或者递减的，新的数据总是写入到一个固定的分片上，该分片会不断的增长和拆分，这不能更好利用集群的写入性能。

chunk（数据块）

MongoDB把数据集拆分为chunk，每一个chunk存储左闭右开[start,end）区间的数据。每个chunk属于且仅属于一个分片，当chunk超出配置的块大小（默认为64兆字节）时，MongoDB将对其进行拆分。当一个分片相对于其他分片包含过多的集合分片时，MongoDB会迁移这些分块。

观察数据

这里创建两个集合，test_shard_hashed（hash分片）和 test_shard_range（range分片），userId都是唯一的，具体过程如下

//方便测试 1M
db=db.getSisterDB("config")
db.settings.save( { _id:"chunksize", value: 1 } )

//启用数据库分片
db=db.getSisterDB("test")
sh.enableSharding("test")

//hash分片
db.test_shard_range.drop()
sh.shardCollection("test.test_shard_range",{"userId": 1},true)
for (i = 1; i <= 100000; i++) {
    j=Math.round(Math.random()*100000)
    db.test_shard_range.insert({userId:j, name:"name"+i, create_time:new Date()})
}

//range分片
db.test_shard_hashed.drop()
db.test_shard_hashed.createIndex({"userId":1},{"unique":true})
db.test_shard_hashed.createIndex({"userId":"hashed"})
sh.shardCollection("test.test_shard_hashed",{"userId": "hashed"})
for (i = 1; i <= 100000; i++) db.test_shard_hashed.insert({userId:i+"", name:"name"+i, create_time:new Date()})

执行完成之后，连接数据库观察结果

mongo 127.0.0.1:27100
sh.status(true)

test.test_shard_hashed　分片结果如下，可以看到数据按照hash范围分布在两个分片上。

test.test_shard_range　分片结果如下，可以看到数据按照userId的值分布在两个分片上。

总结

MongoDB分片可以显著提高数据库的容量和性能，而且只需要在服务端增加副本集就可以横向扩展，再也不同担心数据库容量问题了。

参考文档

MongoDB 分片集群实战

基于Docker搭建MongoDB集群

分片官方文档