复制:两种架构

1、一个master(读写),多个slave(读),但是mongodb这种架构无法实现故障自动转移

2、副本集:

复制集、副本集:Replica set,至少三个节点,通过选举选出1个主节点和2个备节点。主节点负责读写,备节点监控主节点并从主节点上获得其心跳信息。万一主节点挂了,则剩下的节点通过选举选出新的主节点,备节点则自动将其主节点指向新的主节点。能实现自动故障转移。在实现复制时,必须指明处于哪个副本集,所有节点都要明确工作于某个副本之上,只在此副本实现主从架构。如果还有其他节点,但其他节点所处的集群名称不一样的话,就处于不同的复制架构中。集群名称通过副本集名称定义的。主节点将所有的写操作写在一个日志文件(oplog)中,从节点复制写操作并在本地执行一遍。这个复制是异步的。

还有一种情况:

    三个节点中有一个节点不存任何数据,只有选举权,而没有被选举权。这样会导致假如一个节点挂了后,剩下的一个节点没有从节点,这样那个活动节点要降级为只读模式,因为它无法保证数据有副本存放的。

副本集参数:

replset:副本集名称

oplogsize:日志大小

fastsync:快速同步

replindexprefetch:在实现复制时,根据索引实现数据预取。这种特性可以实现快速装载主节点上的数据,尤其在修改量比较大的集群上,非常有意义,在2.2.2版本实现


实验:

条件:

所有节点时间同步

配置文件中的集群名称一致

三个节点都安装mongodb

三个节点的/etc/hosts文件设置如下:

三个节点都创建数据目录、更改属主属组、修改配置文件请看上文

配置文件最后加上:

rest = true 显示按钮的相关信息

复制配置文件到另外两个节点:

启动服务:(三个节点都启动)

连接到任意节点执行副本集初始化命令即可。(rs命令)

rs.status:显示rs状态

rs.initiate:初始化,第一次实现创建副本集要用这个命令初始化

rs.initiate(cfg):通过配置文件来初始化,配置文件由下面的命令获得

rs.conf:获取配置文件

rs.reconfig(cfg):重新初始化

rs.add(hostportstr):添加从节点的端口号

rs.add(membercfgobj):添加从节点

初始化:

查看状态:

查看是否为主节点:

添加从节点并查看信息:

testrs0:PRIMARY> rs.add("192.168.0.22:27017")
{ "ok" : 1 }
testrs0:PRIMARY> rs.status()
{
    "set" : "testrs0",
    "date" : ISODate("2016-11-29T14:25:50Z"),
    "myState" : 1,
    "members" : [
        {
            "_id" : 0,
            "name" : "node1:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 557,
            "optime" : Timestamp(1480429519, 1),
            "optimeDate" : ISODate("2016-11-29T14:25:19Z"),
            "self" : true
        },
        {
            "_id" : 1,
            "name" : "192.168.0.22:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 31,
            "optime" : Timestamp(1480429519, 1),
            "optimeDate" : ISODate("2016-11-29T14:25:19Z"),
            "lastHeartbeat" : ISODate("2016-11-29T14:25:49Z"),
            "lastHeartbeatRecv" : ISODate("2016-11-29T14:25:50Z"),
            "pingMs" : 0,
            "syncingTo" : "node1:27017"
        }
    ],
    "ok" : 1
}

添加第二个节点并查看状态:(不知为何会不一样)

testrs0:PRIMARY> rs.add("192.168.0.23:27017")
{ "down" : [ "192.168.0.23:27017" ], "ok" : 1 }
testrs0:PRIMARY> rs.status()
{
    "set" : "testrs0",
    "date" : ISODate("2016-11-29T14:28:05Z"),
    "myState" : 1,
    "members" : [
        {
            "_id" : 0,
            "name" : "node1:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 692,
            "optime" : Timestamp(1480429663, 1),
            "optimeDate" : ISODate("2016-11-29T14:27:43Z"),
            "self" : true
        },
        {
            "_id" : 1,
            "name" : "192.168.0.22:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 166,
            "optime" : Timestamp(1480429663, 1),
            "optimeDate" : ISODate("2016-11-29T14:27:43Z"),
            "lastHeartbeat" : ISODate("2016-11-29T14:28:04Z"),
            "lastHeartbeatRecv" : ISODate("2016-11-29T14:28:04Z"),
            "pingMs" : 0,
            "syncingTo" : "node1:27017"
        },
        {
            "_id" : 2,
            "name" : "192.168.0.23:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 22,
            "optime" : Timestamp(1480429663, 1),
            "optimeDate" : ISODate("2016-11-29T14:27:43Z"),
            "lastHeartbeat" : ISODate("2016-11-29T14:28:03Z"),
            "lastHeartbeatRecv" : ISODate("2016-11-29T14:28:04Z"),
            "pingMs" : 2,
            "syncingTo" : "node1:27017"
        }
    ],
    "ok" : 1
}

查看master:

在主节点创建数据,看从能否获取到

主节点:

testrs0:PRIMARY> use testdb
switched to db testdb
testrs0:PRIMARY> db.testcoll.insert({Name:'test',Age:50,Gender:'F'})
testrs0:PRIMARY> db.testcoll.find({Name:'test'})
{ "_id" : ObjectId("583d92d63b539fcc9aef4fd4"), "Name" : "test", "Age" : 50, "Gender" : "F"

从节点:

从节点不能直接查询的,必须使用rs.slaveOk()把自己提升为可以接受查询的从节点

testrs0:SECONDARY> rs.slaveOk()
testrs0:SECONDARY> use testdb
switched to db testdb
testrs0:SECONDARY> db.testcoll.find({Name:'test'})
{ "_id" : ObjectId("583d92d63b539fcc9aef4fd4"), "Name" : "test", "Age" : 50, "Gender" : "F" }

让主节点挂点,看是否有一个会提升为主的:

停止主节点的服务即可:

[root@node1 ~]# service mongod stop
Stopping mongod:                                           [  OK   ]

在刚才的备节点查看状态:

testrs0:SECONDARY> rs.status()
{
    "set" : "testrs0",
    "date" : ISODate("2016-11-29T14:45:20Z"),
    "myState" : 1,
    "members" : [
        {
            "_id" : 0,
            "name" : "node1:27017",
            "health" : 0,
            "state" : 8,
            "stateStr" : "(not reachable/healthy)",
            "uptime" : 0,
            "optime" : Timestamp(1480430294, 1),
            "optimeDate" : ISODate("2016-11-29T14:38:14Z"),
            "lastHeartbeat" : ISODate("2016-11-29T14:45:19Z"),
            "lastHeartbeatRecv" : ISODate("2016-11-29T14:44:00Z"),
            "pingMs" : 0
        },
        {
            "_id" : 1,
            "name" : "192.168.0.22:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 1210,
            "optime" : Timestamp(1480430294, 1),
            "optimeDate" : ISODate("2016-11-29T14:38:14Z"),
            "self" : true
        },
        {
            "_id" : 2,
            "name" : "192.168.0.23:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 1056,
            "optime" : Timestamp(1480430294, 1),
            "optimeDate" : ISODate("2016-11-29T14:38:14Z"),
            "lastHeartbeat" : ISODate("2016-11-29T14:45:19Z"),
            "lastHeartbeatRecv" : ISODate("2016-11-29T14:45:19Z"),
            "pingMs" : 1,
            "lastHeartbeatMessage" : "syncing to: 192.168.0.22:27017",
            "syncingTo" : "192.168.0.22:27017"
        }
    ],
    "ok" : 1
}
testrs0:PRIMARY>   #这里已经改为主的了

在新的主节点添加数据:

然后在从节点查看:

让之前的主节点从新上线:


testrs0:PRIMARY> rs.status()
{
    "set" : "testrs0",
    "date" : ISODate("2016-11-29T14:50:31Z"),
    "myState" : 1,
    "members" : [
        {
            "_id" : 0,
            "name" : "node1:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",   #其状态不再是主的了
            "uptime" : 45,
            "optime" : Timestamp(1480430874, 1),
            "optimeDate" : ISODate("2016-11-29T14:47:54Z"),
            "lastHeartbeat" : ISODate("2016-11-29T14:50:30Z"),
            "lastHeartbeatRecv" : ISODate("2016-11-29T14:50:29Z"),
            "pingMs" : 1,
            "lastHeartbeatMessage" : "syncing to: 192.168.0.22:27017",
            "syncingTo" : "192.168.0.22:27017"
        },
        {
            "_id" : 1,
            "name" : "192.168.0.22:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 1521,
            "optime" : Timestamp(1480430874, 1),
            "optimeDate" : ISODate("2016-11-29T14:47:54Z"),
            "self" : true
        },
        {
            "_id" : 2,
            "name" : "192.168.0.23:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 1367,
            "optime" : Timestamp(1480430874, 1),
            "optimeDate" : ISODate("2016-11-29T14:47:54Z"),
            "lastHeartbeat" : ISODate("2016-11-29T14:50:29Z"),
            "lastHeartbeatRecv" : ISODate("2016-11-29T14:50:29Z"),
            "pingMs" : 1,
            "syncingTo" : "192.168.0.22:27017"
        }
    ],
    "ok" : 1
}

打印复制信息:






配置优先级:

rs.conf()显示现有的配置

testrs0:SECONDARY> rs.conf()
{
    "_id" : "testrs0",
    "version" : 3,
    "members" : [
        {
            "_id" : 0,
            "host" : "node1:27017"
        },
        {
            "_id" : 1,
            "host" : "192.168.0.22:27017"
        },
        {
            "_id" : 2,
            "host" : "192.168.0.23:27017"
        }
    ]
}

编辑配置文件:

方式1:rs.conf({id:xxx}),这种方式比较麻烦

方式2:把内容保存到文件中,重新应用就可以了

cfg=rs.conf()保存文件

cfg.members[0].priority=2设置优先级

rs.reconfig(cfg)重新应用

只能在主节点进行配置:

40-45从看

三个节点理由有一个可以不被选举,只参与选举,无法触发选举,但可以参与选举。这种节点的优先级为0

触发重新选举:

    一个几点只能以从节点的身份去上线,然后主节点主持重新选举。

    优先级为0的节点:无权触发,仅参与选举

添加优先级为0的节点:rs.addArb(hostportstr)

移除节点:rs.remove(hostportstr)



Sharding:把一个很大的表的数据切割后放到不同的节点,各节点只存放一部分。每个服务器成为一个sharding节点。把每个collection分割为多片,平均分配到各节点。均匀分配。

用途:

    复制集很大、吞吐量大

    高并发查询可能耗尽cpu的处理能力

    海量数据集超出某一个节点的存储能力

    降低单台服务器的io压力

sharding架构:

config servers:存储元数据

shard:存储数据

读操作:请求过来了,app server先去查找元数据,再查找shard。性能不好,因为各索引在shard节点中

写操作:shard特长

shard必须和业务数据相关联。

生产环境中应该至少有三个config server节点,这些服务器压力很小,所以可以放到运行其他应用的节点

mongos:端口28017,用来接收用户请求,合并数据,扮演前段的代理服务器。router之间不会通信。mongos1个也可以,mongos也可以直接安装到应用服务器中

shard:至少有2个


实验:1个mongos,1个config server,2个shard

1、配置config server

2、配置mongos

3、配置shard


配置config server:192.168.0.22

保存退出,重启服务


端口:


配置mongos:

启动shard:

只需改下数据目录,重启服务即可


下图中的A为主shard:

连接mongos:


查看shard状态:

添加shard:在192.168.0.22上添加

 

使用分区功能:sh.enableSharding(dbname)

collection支持分区功能:sh.shardCollection(fullName,key,unique)


添加数据:

在mongos上查看分片:192.168.0.21


完成重新均衡:

sh.addShard(host)添加新的shade

sh.setBalancerState均衡

查看是否均衡:


补充:

php访问mongodb,需要编译相应的驱动。

aubiter:仅参与选举,不持有任何数据

0优先级的节点:持有数据,参与选举,但不能成为主节点

shard:

    读:不离散

    写:离散


选择sharding key的标准:

    应该在哪里存储数据

    应该从哪里得到希望的数据

    

基本法则:

    sharding key应该是主键

    sharding key应该能尽量保证避免跨分片查询


自学:

    1、新增shard

    2、移除shard


命令:

    mongodump:备份

    mongorestore:恢复

    mongoexport:导出

    mongoimport:导入

    mongostat:监控

    mongotop:

    mongooplog:

    mongoperf:性能评估

    mongofiles:查看和修改GridFS文件系统