不穿铠甲的穿山甲
不穿铠甲的穿山甲

MongoDB快速上手

MongoDB快速上手

MongoDB用起来-快速上手&集群和安全系列

课程目标：

  • 理解MongoDB的业务场景、熟悉MongoDB的简介、特点和体系结构、数据类型等
  • 能够在windows和linux下安装和启动MongoDB、图形化管理界面Compass的安装使用
  • 掌握MongoDB基本常用命令实现数据的CRUD
  • 掌握MongoDB的索引类型、索引管理、执行计划
  • 使用Spring Data MongoDB完成文章评论业务的开发

一.MongoDB相关概念

1.1业务应用场景

传统的关系型数据库（如Mysql），在数据操作的“三高”需求以及应对web2.0的网站需求面前，显得力不从心，。

解释： “三高”解释：

  • High performance:对数据库高并发读写的需求
  • Huge Storage: 对海量数据的高效率存储和访问的需求
  • High Scalability && High Avaliability:对数据库的高拓展性和高可用性的需求

而MongoDB可应对“三高”需求

具体的应用场景：

  • 社交的应用场景，使用MongoDB存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能。
  • 游戏场景，使用MongoDB存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便从哈寻高效率存储和访问。
  • 物流场景，使用MongoDB存储订单信息，订单状态在运送过程中会不断更新，以MongoDB内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来。
  • 物联网场景，使用MongoDB存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析。
  • 视频直播，使用MongoDB存储用户信息、点赞互动信息等。

这些应用场景中，数据操作方面的共同特点是：

  • 数据量大
  • 写入操作频繁（读写都很频繁）
  • 价值较低的数据，事务性要求不高

对于这样的数据，我们更适合使用MongoDB来实现数据的存储

什么时候选择MongoDB？

在架构选型上，除了上述的三个特点外，如果你还有序是否要选择它？可以考虑以下的一些问题：

  • 应用不需要事务以及复杂的join支持
  • 新应用，需求会变，数据库模型无法确定，想快速迭代开发
  • 应用需要2000-3000以上的读写QPS(更高也可以)
  • 应用需要TB甚至PB级别数据存储
  • 应用发展迅速，需要能快速水平拓展
  • 应用要求存储的数据不丢失
  • 应用需要99.999%高可用
  • 应用需要大量的地理位置查询、文本查询

如果上述有1个符合，可以考虑MongoDB，2个以及以上的符合，选择MongoDB绝不会后悔

思考：如果用Mysql呢？

答： 相对Mysql，可以以更低的成本解决问题（包括学习、开发、运维等成本）

1.2MongoDB简介

MongoDB是一个开源、高性能、无模式的文档型数据库，当初的设计就是用于简化开发和方便拓展，是Nosql数据库产品中的一种。是最像关系型数据库（Mysql）的非关系型数据库。

它支持的数据结构非常松散，是类似JSON的BSON格式，所以它既可以存储比较复杂的数据类型，又相当的灵活。

MongoDB中的记录是一个文档，它是一个由字段和值对组成的数据结构，MongoDb文档类似于JSON对象，即一个文档认为就是一个对象，字段的数据类型是字符型，它的值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组。

1.2.1体系结构

Mysql和mongoDB对比

MongoDB快速上手_第1张图片

MongoDB快速上手_第2张图片

1.2.2数据模型

MongoDB的最小存储单元就是文档对象。文档对象对应于惯性数据库的行，数据在MongoDB中以BSON(Binary-JSON)文档的格式存储在磁盘上。

BSON是一种类JSON的一种二进制形式的存储格式，简称Binary JSON。BSON和JSON一样，支持内嵌的文档对象和数组对象，但是BSON由JSON没有的一些数据类类型，如Date和BinData类型。

BSON采用了类似于C语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据。这种格式的有点是灵活性高，但它的却段是空间利用率不是很理想。

BSON中，除了基本的JSON类型：string,integer,boolean,double,null,array和object，mongoDB还是用了特殊的数据类型。这些类型包括date,object,id,binary,data,regular expression和code,每一个驱动都以特定语言的方式实现了这些类型，查看你的驱动的文档来获取详细信息。

BSON数据类型参考列表：

MongoDB快速上手_第3张图片

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zLlR0psc-1692682451096)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821184139992.png)]

1.3MongoDB的特点

MongoDB主要有以下特点：

1.高性能

MongoDB提供高性能的数据持久化。特别是，对嵌入式数据模型的支持减少了数据库系统上的I/O活动。

索引支持更快的查询，并且可以包含来自嵌入式文档和数组的建。（文本索引解决搜索的需求，TTL索引解决历史数据自动过期的需求，地理位置索引可用于构建各种020应用）

mmapv1,wiredtiger,mongorocks(rocksdb),in-memory等多引擎支持满足各种场景需求。

2.高可用

MongoDB的复制工具称为副本集，它可提供自动故障转移和数据冗余。

3.高拓展性

MongoDB提供了水平可拓展性作为其核心功能的一部分。

分片将数据分布在一组集群的机器上。（海量数据存储，服务能力水平拓展）

从3.4开始，MongoDB支持基于片键创建数据区域，在一个平衡的集群中，MongoDB将一个区域所有覆盖的读写只定向到该区域内的哪些片。

4.丰富的查询支持

MongoDB支持丰富的额查询语言，支持读和写操作，比如数据聚合、文本搜索和地理空间查询等。

5.其他特点

如无模式（动态模式）、灵活的文本模型。

二、单机部署

2.1window系统中的安装启动

第一步：下载安装包

MongoDB提供了可用于32位和64位系统的预编译二进制包，你可以从MongoDB官网下载安装，MongoDB预编译二进制包下载地址:在这里插入图片描述
MongoDB快速上手_第4张图片

MongoDB快速上手_第5张图片

MongoDB快速上手_第6张图片

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Jw78zdRb-1692682451097)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821185559149.png)]

MongoDB快速上手_第7张图片

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "D:\SOFTWARE\mongodb\data\db"

2.2Shell连接（mongo命令）

在命令提示符输入以下shell命令即可完成登陆

mongo
或
mongo --host=127.0.0.1 --port=27017

查看已经有的数据库

show databases

退出mongodb

exit

更多的参数可以通过帮助查看：

mongodb --help

提示:

MongoDB javasctipt shell是一个基于javascipt的解释器，故事只是js程序的。

2.3Compass图形化界面客户端

MongoDB快速上手_第8张图片
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kvcseOit-1692682451098)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821190518057.png)]

2.4Linux系统中的安装启动和连接

MongoDB快速上手_第9张图片

MongoDB快速上手_第10张图片

配置文件的内容如下：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path:  "/mongodb/single/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/mongodb/single/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定的IP
  bindIp: localhost, 192.168.0.2
  #bindIp
  #绑定的端口
  port: 27017

MongoDB快速上手_第11张图片

MongoDB快速上手_第12张图片

【补充】

如果一旦是因为数据损坏，则需要进行如下操作（了解）：

1.删除lock文件：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DKF7anOa-1692682451099)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821190950144.png)]

2.修复数据
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2iZDHPoj-1692682451099)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821191010457.png)]

MongoDB快速上手_第13张图片

三、基本常用命令

3.1案例需求

存放文章评论的数据存放到MongoDB中，数据结构参考如下：

数据库：articledb

MongoDB快速上手_第14张图片

3.2数据库操作

3.2.1选择和创建数据库

选择和创建数据数据库的语法格式：

use 数据库名称

如果数据库不存在则自动创建，例如，以下语句创建spitdb数据库：

use articledb

查看有权限的所有数据库命令

show dbs
或
show databases

注意：在Mongodb中，集合只有在内容插入后擦胡创建！就是说，创建集合（数据表）后要再插入一个文档（记录），集合才会真正创建。

查看当前正在使用的数据库命令

db

MongoDB中默认的数据库位test,如果你没有选择数据库，集合将存放再test数据库中。

另外；

数据库明可以是满足以下条件的任意UTF-8字符串。

  • 不能是空字符串（“”）
  • 不得含有’'（空格）、.、$、/、\和\0（空字符）
  • 应全部小写
  • 最多64字节

有一些数据库名是保留的，可以直接访问这些有特俗作用的数据库。

  • admin:从权限的角度来看，这是"root"数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。
  • local: 这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合，防止被复制数据可以放在本数据库中。
  • config:当MongoDB用于分片设置时，config数据库在内部使用，用于保存分片的相关信息。

3.2.2数据库的删除

MongoDB删除数据库的语法格式如下：

db.dropDatabases()

提示：主要用来删除已经持久化的数据库

3.3集合操作

集合，类似关系型数据库中的表。

可以显示的创建，也可以隐式的创建。

3.3.1集合的显示创建（了解）

基本语法格式：

db.createCollection(name)

参数说明：
name:要创建的集合名称
例如：创建一个名为mycollection的普通集合。

db.createCollection("mycollection")

查看当前库中的表：show tables命令

show collections
或
show tables

集合的命名规范：
集合名不能为空字符串“”。
集合名不能含有\0字符（空字符），这个字符表示集合名的结尾。
集合名不能以“system.”开头，这是系统集合预留的前缀。

3.3.2集合的隐式创建

当向一个集合中插入一个文档的时候，如果集合不存在，则会自动创建集合。
详见文档的插入章节。
提示：通常我们使用隐式创建文档即可。

3.3.3集合的删除

集合删除语法格式如下：

db.collection.drop()
或
db.集合.drop()

返回值
如果成功删除选定集合，则drop方法返回true，否则返回false.
例如：要删除mycollection集合

db.mycollection.drop()

3.4文档基本CRUD

3.4.1文档的插入

1.当个文档插入
使用insert()或者save()方法向集合中插入文档，语法如下：

db.collection.insert(
    ,
    {
       writeConcern: ,
       ordered:  
    }
)

参数：

MongoDB快速上手_第15张图片

【示例】
要向comment的集合（表）中插入一条测试数据：

db.comment.insert({"articleid": "100000",  "content":"今天天气真好，阳光明媚", “userid”: "1001", "nickname": "Rose", "createdatetime": new Date(),  "likenum": NumberInt(10), "state": null})

提示：
1.comment集合不存在，则会隐式创建
2.mongo中的数组，默认情况下是double类型,如果要存整型，必须使用函数NumberInt（整型数字），否则取出来就会有问题了。
3.插入当前日期使用 new Date()
4.插入的数据没有指定_id,会自动生成主键值
5.如果某字段没值，可以赋值为null，或不写该字段。
执行后，如下，说明插入一个数据成功了。

img

注意：

  1. 文档中的键/值对是有序的
  2. 文档中的值不仅可以使在双引号里面的字符串，还可以使其他几种数据类型（甚至可以是整个嵌入的文档）
  3. MongoDB区分类型和大小写
  4. MongoDB的文档不能有重复的键
  5. 文档的键是字符串。除了少数例外情况，键可以使用任意UTF-8字符串

文档键命名规范：

  • 键不能含有\0（空字符）。这个字符用来表示键的结尾
  • .和$有特别的意义，只能在特定环境下才能使用
  • 以下划线“_”开头的键是保留的（不是严格要求的）

2.批量插入
语法：

db.collection.insertMany(
     [,, ...],
     {
          writeConcern: ,
          ordered: 
     }
)

参数：

MongoDB快速上手_第16张图片

[示例]
批量插入多条文章评论：

db.comment.insertMany([{
				"_id": "1",
				"articleid": "100001",
				"content": "我们不应该吧清晨浪费在手机上，健康很重要，一杯温水幸福你我她。",
				"userid": "1001",
				"nickname": "相忘于江湖 ",
				"createdatetime": new Date("2019-08-05T22:08:15.522Z"),
				"likenum": NumberInt(1000),
				"state": "1"
			},
			{
				"_id": "2",
				"articleid": "100001",
				"content": "我夏天空腹喝凉开水，冬天喝温开水。",
				"userid": "1002",
				"nickname": "伊人憔悴",
				"createdatetime": new Date("2019-08-05T23:58:51.485Z"),
				"likenum": NumberInt(888),
				"state": "1"
			},
			{
				"_id": "3",
				"articleid": "100001",
				"content": "我一直喝凉开水，冬天夏天都喝。",
				"userid": "1003",
				"nickname": "杰克船长",
				"createdatetime": new Date("2019-08-06T01:05:06.321Z"),
				"likenum": NumberInt(666),
				"state": "1"
			},
			{
				"_id": "4",
				"articleid": "100001",
				"content": "专家说不能空腹吃饭，影响健康。",
				"userid": "1004",
				"nickname": "凯撒",
				"createdatetime": new Date("2019-08-06T08:18:35.288Z"),
				"likenum": NumberInt(2000),
				"state": "1"
			},
			{
				"_id": "5",
				"articleid": "100001",
				"content": "研究表明，刚烧开的说千万不能喝，因为烫嘴。",
				"userid": "1005",
				"nickname": "凯撒",
				"createdatetime": new Date("2019-08-06T11:01:02.521Z"),
				"likenum": NumberInt(3000),
				"state": "1",
			}
		]);

提示：

插入时绑定了_id，则主键就是该值。

如果某条数据插入失败，将会终止插入，但是插入成功的数据不会回滚掉。

因为批量插入由于数据较多容易出现失败，因此，可以使用try-catch进行异常捕获处理，测试的时候可以不处理。如（了解）：

try{
	db.comment.insertMany([{
				"_id": "1",
				"articleid": "100001",
				"content": "我们不应该吧清晨浪费在手机上，健康很重要，一杯温水幸福你我她。",
				"userid": "1001",
				"nickname": "相忘于江湖 ",
				"createdatetime": new Date("2019-08-05T22:08:15.522Z"),
				"likenum": NumberInt(1000),
				"state": "1"
			},
			{
				"_id": "2",
				"articleid": "100001",
				"content": "我夏天空腹喝凉开水，冬天喝温开水。",
				"userid": "1002",
				"nickname": "伊人憔悴",
				"createdatetime": new Date("2019-08-05T23:58:51.485Z"),
				"likenum": NumberInt(888),
				"state": "1"
			},
			{
				"_id": "3",
				"articleid": "100001",
				"content": "我一直喝凉开水，冬天夏天都喝。",
				"userid": "1003",
				"nickname": "杰克船长",
				"createdatetime": new Date("2019-08-06T01:05:06.321Z"),
				"likenum": NumberInt(666),
				"state": "1"
			},
			{
				"_id": "4",
				"articleid": "100001",
				"content": "专家说不能空腹吃饭，影响健康。",
				"userid": "1004",
				"nickname": "凯撒",
				"createdatetime": new Date("2019-08-06T08:18:35.288Z"),
				"likenum": NumberInt(2000),
				"state": "1"
			},
			{
				"_id": "5",
				"articleid": "100001",
				"content": "研究表明，刚烧开的说千万不能喝，因为烫嘴。",
				"userid": "1005",
				"nickname": "凯撒",
				"createdatetime": new Date("2019-08-06T11:01:02.521Z"),
				"likenum": NumberInt(3000),
				"state": "1",
			}
		]);
}catch(e){
    print(e);
}

3.4.2文档

查询数据的语法格式如下：

db.collection.find(, [projection])

参数：

MongoDB快速上手_第17张图片

[示例]

1.查询所有

如果我们要查询spit集合的所有文档，我们输入以下命令：

db.comment.find()
或
db.comment.find({})

这里你会发现每条文档会有一个叫_id的字段，这个相当于我们原来关系型数据库中表的主键，当你插入文档记录的时没有指定该字段，MongoDB会自动创建，其类型时ObjectID类型。

如果我们在插入文档记录时指定该字段也是可以，其类型可以是ObjectID类型，也可以是MongoDB支持的任意类型。

如果我们想按一定条件来查询，比如我们想查询userid为1003的记录，怎么办？很简单，只要在find()中添加参数即可，参数也是json格式，如下：

db.comment.find({userid: "1003"})

如果你只需要返回符合条件的第一条数据，我们可以使用findOne命令来实现，语法和find一样。

如：查询用户编号是1003的记录，但最多返回符合条件的第一条记录：

db.comment.findOne({userid: "1003"})

2.投影查询

如果要查询结果返回部分字段，则需要使用投影查询（不显示所有字段，只显示指定的字段）。

如:查询结果只显示_d,userid,nickname:

db.comment.find(
	{userid: "1003"},
	{
	  userid: 1,
	  nickname: 1
	}
)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UF8SXAvh-1692682451100)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230822100836317.png)]

默认_id会显示。

如：查询结果只显示userid,nickname不显示_id

db.comment.find(
	{userid: "1003"},
	{
	  _id: 0,
	  userid: 1,
	  nickname: 1
	}
)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EUe2Rqq1-1692682451101)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230822101106205.png)]

再例如：查询所有数据，但只显示_id,userid,nickname

db.comment.find(
	{},
	{
	  _id: 0,
	  userid: 1,
	  nickname: 1
	}
)

MongoDB快速上手_第18张图片

3.4.3文档的更新

更新文档的语法：

db.collection.update(query, update, options)
或
db.collection.update(, , {
   upsert: ,
   multi: ,
   writeConcern: ,
   collation: ,
   arrayFilters: [,...],
   hint:  //Available starting in MongoDB 4.2 
})

参数：

MongoDB快速上手_第19张图片

MongoDB快速上手_第20张图片

MongoDB快速上手_第21张图片

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Nmq8vcsL-1692682451102)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230822105913253.png)]

提示：

主要关注前四个参数即可：

[示例]

1.覆盖的修改

如果我们想修改_id为1的记录，点赞量为1001，输入以下语句：

db.comment.update({_id:"1"}, {
	likenum: NumberInt(1001)
})

执行后，我们会发现，这条文档除了likenum字段其他字段都不见了。

2.局部修改

为了解决这个问题，我们需要使用修改器$set来实现，命令如下：

我们想修改_id为2的记录，浏览量为889，输入以下语句：

db.comment.update({_id:"2"}, {
	$set: {
		likenum: NumberInt(889)
	}
})

这样就OK了。

3.批量的修改

更新所有为1003的用户的昵称为凯撒大帝

//默认只修改第一条数据
db.comment.update({userid: "1003"}, {
	$set: {
		nickname: "凯撒2"
	}
})
//修改所有符合条件的数据
db.comment.update({userid: "1003"}, {
	$set: {
		nickname: "凯撒2"
	}
},{
	multi: true
})

提示：如果不加后面的参数，则只更新符合条件的第一条记录。

3.列值增长的修改

如果我们想实现对某列值在原有的基础上进行增加或减少，可以使用$inc运算符来实现。

需求：对3号数据的点赞数，每次递增1

db.comment.update({_id:"3"}, {
	$inc: {
		likenum: NumberInt(1)
	}
})

3.4.4删除文档

删除文档的语法结构

db.集合名称.remove(条件)

以下语句可以将数据全部删除，请慎用（暂时不做）

db.comment.remove({})

如果删除_id=1的记录，输入以下语句

db.comment.remove({_id: "1"})

3.5文档的分页查询

3.5.1统计查询

统计查询使用count()方法，语法如下：

db.comment.count(query, options)

参数：

MongoDB快速上手_第22张图片

提示：

可选项暂时不使用。

[示例]

1.统计所有记录数

统计comment集合的所有的记录数

db.comment.count()

提示:

默认情况下count()方法返回符合条件的全部记录条数。

3.5.2分页列表查询

可以使用limit()方法来读取指定数量的数据，使用skip()方法来跳过指定数量的数据。

基本语法如下所示：

db.COLLECTION_NAME.limit(NUMBER).skip(NUMBER)

如果你想返回指定条数的记录，可以在find方法后调用limit来返回结果(TopN)，默认值20，例如：

db.comment.find().limit(3)

skip方法同样接受一个数字参数作为跳过的记录条数。（前N个不要），默认值是0.

db.comment.find().skip(3)

分页查询：

需求：每页2个，从第二页开始：跳过前两条数据，按着值显示3和4条数据

//第一页
db.comment.find().skip(0).limit(2)
//第二页
db.comment.find().skip(2).limit(2)
//第三页
db.comment.find().skip(4).limit(2)

3.5.3排序查询

sort()方法对数据进行排序，sort()方法可以通过参数指定排序的字段，并使用1和-1来指定排序的方法，其中1为升序排列，而-1是用于降序排列。

语法如下所示：

db.COLLECTION_NAME.find().sort({KEY: 1})
或
db.集合名称.find().sort(排序方式)

例如：

对userid降序排列，并对访问量进行升序排列

db.comment.find().sort({userid: -1, likenum: 1})

提示：

skip()，limit(),sort()三个放在一起执行的时候，执行的顺序是先sort()，然后skip()，最后是显示的limit(),和命令编写顺序无关。

3.6 文档的更多查询

3.6.1 正则的复杂条件查询

MongoDB的模糊查询是通过正则表达式的方法实现的。格式为：

db.collection.find({field: /正则表达式/})
或
db.集合.find({字段: /正则表达式/})

提示：正则表达式是js的语法，直接量的写法。

例如，我要查询评论内容包含”开水“的所有文档，代码如下：

db.comment.find({content: /开水/})

如果要查询评论的内容中以”专家“开头的，代码如下：

db.comment.find({content: /^专家/})

3.6.2比较查询

<,<=,>,>=这个操作符也是很常用的，格式如下：

db.集合名称.find({field: {$gt:value}}) //大于： field> value
db.集合名称.find({field: {$lt:value}}) //小于： field< value
db.集合名称.find({field: {$gte:value}}) //大于等于： field>= value
db.集合名称.find({field: {$lte:value}}) //小于等于： field<= value
db.集合名称.find({field: {$ne:value}}) //不等于： field!= value
db.集合名称.find({field: {$eq:value}}) //等于： field == value

示例：查询评论点赞数量大于700的记录

db.comment.find({likenum: {$gt: NumberInt(700)}})

3.6.3包含查询

包含使用$in操作符

示例：查询评论的集合中userid字段包含1003或1004的文档

db.comment.find({userid: {$in: ["1003", "1004"]}})

不包含使用$nin操作符

示例： 查询评论的集合中userid字段不包含1003或1004的文档

db.comment.find({userid: {$nin: ["1003", "1004"]}})

3.6.4条件连接查询

我们如果需要查询同时满足两个以上条件，需要使用$and操作符将条件进行关联。（相当于SQL的and）

格式为：

$and:[{}, {},{},...]

示例：查询评论集合中likenum大于等于700并且小于2000的文档

db.comment.find({
   $and:[{
    likenum: {
       $gte: NumberInt(700)
    }
   },{
     likenum: {
       $lt: NumberInt(2000)
    }
   }] 
})

如果两个以上条件之间是或者的关系，我们使用操作符进行关联，与前面$and的使用方式相同。

格式为：

$or:[{}, {},{},...]

示例：查询评论集合中userid为1003,或者点赞数小于1000的文档集合

db.comment.find({
   $or:[{
    userid: "1003"
   },{
     likenum: {
       $lt: NumberInt(1000)
    }
   }] 
})

3.7常用命令小结

选择切换数据库： use articledb

插入数据： db.comment.insert({bson数据})

查询所有数据： db.comment.find()

条件查询数据： db.comment.find({条件})

查询符合条件的第一条记录：db.comment.findOne({条件})

查询符合条件的前几条记录： db.comment.find({条件}).limit(条数)

查询符合条件的跳过的记录：db.comment.find({条件}).skip(条数)

修改数据： db.comment.update({条件},{修改后的数据})或者db.comment.update({条件},{$set: {要修改部分的字段:数据})

修改数据并自增某字段值：db.comment.update({条件},{$inc: {自增的字段:步进值}})

删除数据： db.comment.remove({条件})

统计查询： db.comment.count({条件})

模糊查询：db.comment.find({字段明:/正则表达式/})

条件比较运算： db.comment.find({字段名:{$gt: 值}})

包含查询： db.comment.find({字段名:{KaTeX parse error: Expected 'EOF', got '}' at position 11: in:[值1,值2]}̲})或db.comment.f…nin:[值1,值2]}})

条件连接查询：db.comment.find({KaTeX parse error: Expected 'EOF', got '}' at position 20: … [{条件1}, {条件2}]}̲)或条件连接查询：db.com…or: [{条件1}, {条件2}]})

四、索引

4.1概述

索引支持在MongoDB中高效地执行查询，如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档，这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费十几秒甚至几分钟，这对网站的性能是非常致命的，

如果查询存在适当的索引，MongoDB可以使用该索引限制必须查看的文档数。

索引是特俗的数据结构，它以易于遍历的形式存储集合数据集的一小部分，索引存储特定字段或一组字段的值，按字段值排序，索引项的排序支持有效的相等匹配合基于范围的查询操作。此外，MongoDB还可以使用索引中的排序返回排序结果。

了解MongoDB索引使用B树结构（确切的说是B-Tree，MySql是B+Tree）

4.2索引的类型

4.2.1单字段索引

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引，

对于单个字段索引合排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引。

MongoDB快速上手_第23张图片

4.2.2复合索引

MongoDB还支持多个字段的用户定义索引，即复合索引。

复合索引中列出的字段顺序具有重要意义，例如，如果复合索引由{userId:1, score: -1}组成，则索引首先按userId正序排序，然后在每个userId的值内，再按score倒序排序。

MongoDB快速上手_第24张图片

4.2.3 其他索引

地理空间索引、文本索引、哈希索引。

地理空间索引

为了支持地理空间索引坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引合返回结果时使用球面几何的二维球面索引。

文本索引

文本索引MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“thie”、“a”、“or”）,而将集合中的词作为词干，只存储根词。

文本索引一般由两种情况：

1.和数字没什么区别也是比较大小，就是做字典序比较。

正向索引

正向索引 (forward index) 以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档
这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护：

2.全文索引，本质和搜索引擎的原理一样，分词以后做倒排序索引。

例如有3条记录，分别是

1.中国人民大学

2.中国科技大学

3.南方科技大学

分词假设只能分出“中国”、“人民”、“科技”、“大学”，“南方”五个词。

那么生成倒序索引如下：中国：1,2
人民：1
科技：2,3
大学：1,2,3
南方：3
用这个索引就可以根据你输入的“科技”找到第2，3条记录包含这个词
对于like %的模糊查询，如果是给定前缀，如中国%，那么可以利用第一种索引，通过前缀可以缩小查询范围。如果前缀是未知的，如%大学，那么就只能全表扫描逐个做字符串匹配了。
正则查询同理，如果正则中有常量前缀，那么可以利用上字符串的索引，否则不能。

倒排索引
当用户在搜索引擎搜索框中输入关键词的时候，搜索引擎就会把和关键词有关的页面展现给用户，而这个过程就叫做倒排索引。

哈希索引

为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支持相等匹配， Hash 索引不支持顺序和范围查询。 哈希索引不支持排序,因为哈希表是无序的。 哈希索引不支持范围查找。 哈希索引不支持模糊查询及多列索引的最左前缀匹配。

4.3索引的管理操作

4.3.1索引的查看

说明：

返回一个集合中的所有索引的数组

语法:

db.collection.getIndexes()

提示: 该语法命令运行要求是MongoDB 3.0+

【示例】

查看common集合中所有的索引情况

 db.common.getIndexes()

[ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_" } ]

结果显示的是默认_id索引。

v:代表的MongoDB索引引擎版本，MongoDB底层的数据，不用管；

key:就是在哪个字段上加了索引， 1代表的是升序，-1代表的是降序；

name:索引的名称，默认 字段名称+ “_” +排序方式 ;

ns:命名空间（ 数据库.集合），代表某个数据库下的集合的索引数组。

4.3.2索引的创建

说明：

在结合上创建索引

语法：

db.collection.createIndex(keys, options)

参数：

MongoDB快速上手_第25张图片

options（更多选项）列表：

MongoDB快速上手_第26张图片

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ve9sypGp-1692682451103)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821160956231.png)]

提示：

注意在3.0.0版本前创建索引方法为

db.collection.ensureIndex(keys, options)

之后的版本使用了

db.collection.createIndex(keys, options)

方法，db.collection.ensureIndex(keys, options)还能用，但只是db.collection.createIndex(keys, options)的别名。

【示例】

新增common集合索引

db.common.createIndex({userId: 1})

MongoDB快速上手_第27张图片

MongoDB快速上手_第28张图片

此时就有两个索引记录。

复合索引创建

db.common.createIndex({userId: 1, ckname: -1})

MongoDB快速上手_第29张图片

MongoDB快速上手_第30张图片

4.3.3索引的移除

说明：可以移除指定的索引，或者移除所有索引

一、指定索引的移除

语法：

db.collection.dropIndex(index)

参数：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PvKaiHxF-1692682451104)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821162410503.png)]

【示例】

删除common集合中userId字段上的升序索引

db.common.dropIndex({userId: 1})

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cOb1OG5V-1692682451104)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821162644236.png)]

MongoDB快速上手_第31张图片

通过名称删除

 db.common.dropIndex("userId_1_ckname_-1")

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uLV37igH-1692682451104)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821162900956.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oGVXP2OI-1692682451105)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230821162916398.png)]

二、所有索引的移除

语法：

db.collection.dropIndexes()

【示例】

MongoDB快速上手_第32张图片

db.common.dropIndexes()

MongoDB快速上手_第33张图片

_id不要期望会被干掉，它是永远不会被干掉的。

4.4索引的使用

4.4.1执行计划

分析查询性能通常使用执行计划（解析计划）来查看查询的情况，如查询耗费的时间，是否基于索引查询等。

那么，通常，我们想知道，建立的索引是否有效，效果如何，都需要通过执行计划查看。

语法：

db.collection.find(query, options).explain(options)

【示例】

查看根据userid查询数据的情况：

db.comment.find({userid: "1003"}).explain()

MongoDB快速上手_第34张图片

stage: “COLLSCAN”，COLL代表的是当前集合，集合全局扫描。

下面对userid建立索引

db.comment.createIndex({userid: 1})

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lwVFQjXh-1692682451105)(C:\Users\2022055351\AppData\Roaming\Typora\typora-user-images\image-20230822132249138.png)]

再次查看执行计划

MongoDB快速上手_第35张图片

stage: “FETCH”，代表的是抓取， 下方的stage:“IXSCAN” 是索引扫描，整体就是索引扫描然后再根据索引结果进行抓取

4.4.2涵盖的查询

当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或者将文档带入内存。这些航海的查询可以非常有效（同Mysql中的回表问题）。

MongoDB快速上手_第36张图片

[示例]

db.comment.find({userid: "1003"}, {userid:1, _id:0})

MongoDB快速上手_第37张图片

MongoDB集群和安全

课程目标

  • MongoDB的副本集： 操作、主要概念、故障转移、选举规则
  • MongoDB的分片集群：概念、优点、操作、分片策略、故障转移
  • MongoDB的安全认证

一、副本集-Replica Sets

1.1简介

MongoDB中的副本集（Replica Set）是一组维护相同数据集的mongodb服务。副本集可提供冗余和高可用性，是所有生产部署的基础。

也可以说，副本集类似于有自动故障恢复功能的主从集群，通俗的讲就是用多台机器进行同一数据的异步同步， 从而使多台机器拥有同一数据的多个副本，并且当主库宕机时不需要用户干预的情况下自动切换其他被跟服务器做主库。而且还可以利用副本服务器只读服务器，实现读写分离，提高负载。

1，冗余和数据可用性

复制提供冗余并提高数据可用性。通过在不同数据库服务器上提供多个数据副本，复制可提供一定级别的容错功能，以防止丢失单个数据库服务器。

在某种情况下，复制可以提供增加的读取性能，因为客户端可以将读取操作发送到不同的服务上，在不同数据中心维护数据副本可以增加分布式应用程序的数据位置和可用性。您还可以为专用的目的维护其他副本，例如灾难恢复，报告或备份。

2.MongoDB中的复制

副本集是一组维护相同数据集的mongodb实例。副本集包含多个数据承载节点和可选的一个仲裁节点。在承载数据的节点中，有且只有一个成员被视为主节点，而其他节点被视为次要（从）节点。

主节点接收所有写操作。副本集只能有一个主要能确认具有{w: “most”}写入关注的写入;虽然在某些情况下，另一个mongodb实例可能暂时人为自己也是主要的。主要记录其操作日志中的数据集的所有更改，即oplog。

MongoDB快速上手_第38张图片辅助（副本）节点复制节点的oplog并操作用于其数据集，以使辅助节点的数据集反应主节点的数据集。如果主要人员不在，则符合条件的将矩形选举以选出新的主要人员。

3.主从复制和副本集区别

主从集群和副本集最大的区别就是副本集没有固定的"主节点";整个集群会选出一个”主节点“，当其挂掉后，又在剩下的从节点中选中其他节点作为”主节点“,副本集总有一个活跃点（主，primary）和一个或多个备份节点（从， secondary）。

1.2副本集的三个角色

副本集有两种类型三种角色

两种类型

  • 主节点（Primary）类型： 数据操作的主要连接点，可读写。
  • 次要（辅助、从）连接点（Secondary）类型：数据冗余备份节点，可以读或选举。

三种角色：

主要成员（primary）：主要接收所有写操作。就是主节点。

副本成员（Replicate）：从节点通过复制操作以维护相同的数据集，即备份数据，不可写操作，但可以读操作（但需要配置）。是默认的一种从节点类型。

仲裁者（Arbiter）:不可保留任何数据的副本，只具有投票选举作用。当然也可以将仲裁服务器为副本集的一部分，即副本成员同时也可以是仲裁者。也是一种从节点类型。
MongoDB快速上手_第39张图片## 1.3副本集架构目标

一主一副一仲裁
MongoDB快速上手_第40张图片

1.4副本集的创建

1.4.1第一步：创建主节点

mkdir -p /mongodb/relica_sets/myrs_27017/log & \
mkdir -p /mongodb/relica_sets/myrs_27017/data/db

新建或修改配置文件

vim /mongodb/relica_sets/myrs_27017/mongod.conf

linux下的mongod.conf配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27017/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27017/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27017/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: localhost, 192.168.0.2
  #绑定的端口
  port: 27017
replication:
  #副本集的名称
  replSetName: myrs

windows下的mongod.conf配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: D:\SOFTWARE\mongodb_group\mongodb_27017\log\mongod.log
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: D:\SOFTWARE\mongodb_group\mongodb_27017\data\db
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: D:\SOFTWARE\mongodb_group\mongodb_27017\log\mongod.pid
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定的IP
  bindIp: localhost
  #bindIp
  #绑定的端口
  port: 27017
replication:
  #副本集的名称
  replSetName: myrs

1.4.2第二步：创建副本节点

建立存放数据和日志的目录

mkdir -p /opt/mongodb/mongodb-27018/log & \
mkdir -p /opt/mongodb/mongodb-27018/data/db & \
mkdir -p /opt/mongodb/mongodb-27018/conf

新建或修改配置文件

vim /opt/mongodb/mongodb-27018/conf/mongod.yml

linux下的mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27018/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27018/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27018/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: localhost, 192.168.0.2
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myrs

1.4.3第三步：创建仲裁节点

建立存放数据和日志的目录

mkdir -p /opt/mongodb/mongodb-27019/log & \
mkdir -p /opt/mongodb/mongodb-27019/data/db & \
mkdir -p /opt/mongodb/mongodb-27019/conf

新建或修改配置文件

vim /opt/mongodb/mongodb-27019/conf/mongod.yml

linux下的mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27019/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27019/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27019/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: localhost, 192.168.0.2
  #绑定的端口
  port: 27019
replication:
  #副本集的名称
  replSetName: myrs

1.4.4第四步：启动节点

创建启动脚本

cd /opt/mongodb
touch start.sh
chmod u+x start.sh

start.sh内容如下：

#!/bin/bash
nohup /opt/mongodb/mongodb-27017/bin/mongod -f /opt/mongodb/mongodb-27017/conf/mongod.yml &
nohup /opt/mongodb/mongodb-27018/bin/mongod -f /opt/mongodb/mongodb-27018/conf/mongod.yml &
nohup /opt/mongodb/mongodb-27019/bin/mongod -f /opt/mongodb/mongodb-27019/conf/mongod.yml &
exit 1

启动脚本

./start.sh

在这里插入图片描述
在这里插入图片描述

1.4.5第五步：初始化配置副本集和主节点

使用客户端命令连接节点，但这里尽量连接主节点（27017节点）：

/opt/mongodb/mongodb-27017/bin/mongo --host=局域网ip --port=27017

结果，连接上之后,很多命令无法使用，比如showdbs等，必须初始化副本集才行，准备初始化新的副本集。

语法：

rs.initiate(configuratuin)

选项：
MongoDB快速上手_第41张图片

configuratuin是可选项，这里我们不使用configuratuin。

[示例]

使用默认的配置来初始化副本集：

rs.initiate()

MongoDB快速上手_第42张图片
1.提示“ok”的值为1，说明创建成功。

2.命令行提示符发生变化，变成了一个从节点角色，此时默认不能读写。稍等片刻，回车，变成主节点。

1.4.6第六步：查看副本集的配置内容

说明：

返回包含当前副本集配置的文档。

语法：

rs.config(configuration)

提示：

rs.config()是该方法的别名。

configuration：可选，如果没有配置，则使用默认主节点配置。

[示例]

rs.config()

1.4.7第七步：查看副本集状态

检查副本集状态。

说明：

返回包含状态信息的文档。此输出使用从副本集的其他成员发送的心跳包中获得的数据反映副本集的当前状态。

语法：

rs.status()

MongoDB快速上手_第43张图片
[示例]

在27017上查看副本集状态：

rs.status()

1.4.8第八步：添加副本集从节点

在主节点添加从节点，将其他成员加入到副本集。

语法：

rs.add(host, arbiterOnly)

选项：

MongoDB快速上手_第44张图片
arbiterOnly默认为false。

主机成员的配置文档：
MongoDB快速上手_第45张图片
[示例]

将27018的副本节点添加到副本集中：

rs.add("局域网ip:27018")

说明：

“ok”： 1，说明添加成功。

1.4.9第九步：添加仲裁从节点

添加一个仲裁节点到副本集

语法：

rs.addArb("ip:port")

将27019的仲裁节点添加到副本集中：

rs.addArb("局域网ip:27018")

查看副本集状态：

rs.status()

说明:
“ok”: 1,说明添加成功。

查看副本集状态:

rs.status()

MongoDB快速上手_第46张图片
MongoDB快速上手_第47张图片MongoDB快速上手_第48张图片

1.5副本集的数据读写操作

目标： 测试三个不同角色的节点的数据读写情况。

登录主节点27017，写入和读取数据：

/opt/mongodb/mongodb-27017/bin/mongo --host=局域网ip --port=27017

在这里插入图片描述
登录主节点27018，写入和读取数据：

/opt/mongodb/mongodb-27018/bin/mongo --host=局域网ip --port=27018

MongoDB快速上手_第49张图片
发现，不能读取集合的数据，当前从节点只是一个备份，不是奴隶节点，无法读取数据，写当然更不能了。

因为默认情况下，从节点是没有读写权限的，可以增加读的权限，但需要进行设置。

设置读操作权限：

说明：

设置为奴隶节点，允许在从成员上运行读的操作

语法：

rs.slaveOk()
或
rs.slaveOk(true)
有的时候需要使用
rs.secondaryOk()

提示：

该命令是db.getMongo().setSlaveOk()的简化命令。

[示例]

在27018上设置作为奴隶节点权限，具备读权限：

rs.slaveOk()

此时，在执行查询命令，运行成功！

但仍然不允许插入。

show dbs

现在实现了读写分离，让主节点插入数据。

MongoDB快速上手_第50张图片
让从节点读取数据。
在这里插入图片描述
如果要取消努力节点的读权限：

rs.slavrOk(false)

仲裁节点，不存在任何业务数据，可以登录查看

rs.slaveOk()
show dbs或show databases

MongoDB快速上手_第51张图片

1.6主节点的选举原则

MongoDB的副本集中，会自动进行主节点的选举，主节点选举的触发条件

1.主节点故障

2.主节点网络不可达（默认心跳信息为10秒）

3.人工干预（rs.stepDown(600)）

一旦触发选举，就要根据一定规则来选主节点。

选举规则是根据票数来决定谁获胜：

票数最高，且获得了“大多数”成员的投票支持的节点获胜。

"大多数"的定义为： 假设复制集内投票成员数量为N,则大多数为N/2+1。例如：3个投票成员，则大多数的值是2.当复制集内存活成员数量不足大多数时，整个复制集将无法选举出Primary，复制集将无法提供写服务，处于只读状态。

若票数相同，且都获得了“大多数”成员的投票支持的，数据新的节点获胜。

数据的新旧时通过操作日志oplog来对比的。

在获得票数的时候，优先级参(priority)数影响重大。

可以通过设置优先级（priority）来设置额外票数。优先级即权重，取值为0-1000吗，相当于可额外增加0-1000的票数，优先级的值越大，就越可能获得多数成员的投票数（votes）。指定较高的值可使成员根由资格成为主要成员，更低的值可使成员更不符合条件。

默认情况下，优先级的值时1

rs.config()或rs.conf()

如果发生意外情况：副本集无法正常进行选举可以进行配置文件修改，随便找一个节点进行连接

/opt/mongodb/mongodb-27017/bin/mongo --host=局域网ip --port=27017

进行配置文件修改

config=rs.coonfg()
config.members[0].priority=5
config.members[1].priority=4
config.members[2].priority=3
rs.reconfig(config,{force: true})

成功后等待几分钟将会自动重新选举。

1.7副本节点故障

1.7.1副本节点故障测试

关闭27018副本节点：

发现，主节点和仲裁节点对27018的心跳失败。因为主节点还在，因此，没有触发投票选举。

如果此时，在主节点写入数据。

db.comment.insert({
				"_id": "1",
				"articleid": "100001",
				"content": "我们不应该吧清晨浪费在手机上，健康很重要，一杯温水幸福你我她。",
				"userid": "1001",
				"nickname": "相忘于江湖 ",
				"createdatetime": new Date("2019-08-05T22:08:15.522Z"),
				"likenum": NumberInt(1000),
				"state": "1"
			})

再启动从节点，会发现，主节点写入的数据，会自动同步给从节点。

1.7.2主节点故障测试

关闭27017节点

发现，从节点和仲裁节点对27017的心跳失败，当失败超过10秒，此时因为没有主节点了，会自动发起投票。

而副本节点只有27018，因此，候选人只有一个就是27018，开始投票。

27019向27018投了一票，27018本身自带一票，因此共两票，超过“大多数”。

27019时仲裁节点，没有选举权，27018不向其投票，其票数时0,

最终结果，27018成为主节点。具备读写功能。

从而实现了容错和高可用。

1.7.3仲裁节点和主节点故障

先关掉仲裁节点27019，

关闭现在的主节点27018

登录27017后，发现27017仍然是从节点，副本节点没有主节点了，导致此时，副本集是只读状态，无法写入。为什么不选举了？因为27017的票数没有获得“大多数”，即没有大于等于2，它只有默认的一票（优先级是1）如果要触发选举，祟拜你加入一个成员即可。

如果加入27019仲裁节点，则主节点一定是27017，因为没得选了，仲裁节点不参与选举，但参与投票（不演示）

如果加入27018节点，会发起选举，因为27017和27018都是1票，则按照谁数据新，谁当主节点。

1.7.4仲裁节点和从节点故障

先关掉仲裁节点27019，

关闭现在的副本节点27018

10秒后，27017主节点自动降级为副本节点。（服务降级）

副本集不可写数据了，已经故障了。

1.8Compass连接副本集

如果使用云服务需要修改配置中的主节点ip

config=rs.config()
config.members[0].host="ip:port"
rs.reconfig(config, {force: true})

这也是为什么节点在生产环境绑定ip的时候为什么不要使用127.0.0.1和localhost的原因，因为各个节点有个能在很多一擦汗给你请款会成为主节点，会导致无法通过公网被范围跟到。

compass连接：
MongoDB快速上手_第52张图片
虽然我们连接的是从节点，但是仍然可以写，从节点会将写操作转发给主节点进行操作。整个流程和zookeeper非常相似。

1.9SpringDataMongoDB连接副本集

副本集语法：

mongodb://host1,host2,host3/?connect=replicaSet&slaveOk=true&replicaSet=副本集名称

其中：

slaveOk=true:开启副本节点读的功能，可实现读写分离。

connect=relicaSet：自动到副本集中选择读写的主机。如果slaveOK是打开的，则实现了读写分离

[示例]

连接replicaSet三台服务器（端口27017、27018、27019），直接连接第一个服务器，无论是replicaset一部分或者主服务器或者从服务器，写入作用在主服务器并且分布查询到从服务器。

修改配置文件application.yml

spring:
  data:
    mongodb:
	 uri: mongodb://host1,host2,host3/articledbconnect=
	 replicaSet&slaveOk=true&replicaSet=myrs

注意：

主机必须副本集中所有的主机，包括主节点、副本几点、仲裁节点。

二、分片集群-Sharded Cluster

2.1分片概念

分片（Sharding）是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

换句话说：分片（sharding）是指将数据库拆分，将其分散存在不同的机器撒上的过程。有时也用分区（partitioning）来表示这个概念。将数据分散到不同的机器上，步需要功能强大的大型计算机就可以存储更多的数据，处理更多的负载。

具有大型数据集或高吞吐量应用程序的数据库系统可以会挑战单个服务器的容量。例如，高查询率耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I/O容量。

有这两种解决系统增长的方法：垂直扩展和水平扩展。

垂直拓展意味着增加单个服务器的容量，列入使用更强大的CPU，添加更多的RAM或者增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外，基于云的提供商基于可用的硬件配置具有硬性上限。结果，垂直缩放有实际的最大值。

水平拓展意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处于整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比打死你个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。

MongoDB支持通过分片进行水平扩展。

2.2分片集群包含的组件

MongoDB分片集群包含以下组件：

  • 分片（存储）：每个分片包含分片数据的子集。每个分片都可以部署为副本集。
  • mongos(路由)：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。
  • config servers(“调度”的配置)：配置服务器存储群集的元数据和配置设置。从MongoDB3.4开始，必须将配置服务器部署为副本集(CSRS)。

下图描述了分片集群中组件的交互：
MongoDB快速上手_第53张图片MongoDB在集合几倍对数据进行分片，将集合数据分布在集群中的分片上。

27017 if mongod is a shard member;

27019 if mongod is a shard member;

2.3分片集群架构目标

两个分片节点副本集（3+3）+一个配置节点副本集（3）+两个路由节点（2），共11个服务节点。

MongoDB快速上手_第54张图片

2.4分片（存储）节点副本集的创建

所有的配置文件都直接放到sharded_cluster的相应的子目录下面，默认配置文件名称：mongod.conf

2.4.1第一套副本集

准备存放数据库和日志的目录

mkdir -p /opt/mongodb/mongodb-27017/log & \
mkdir -p /opt/mongodb/mongodb-27017/data/db & \
mkdir -p /opt/mongodb/mongodb-27017/conf

mkdir -p /opt/mongodb/mongodb-27018/log & \
mkdir -p /opt/mongodb/mongodb-27018/data/db & \
mkdir -p /opt/mongodb/mongodb-27018/conf

mkdir -p /opt/mongodb/mongodb-27019/log & \
mkdir -p /opt/mongodb/mongodb-27019/data/db & \
mkdir -p /opt/mongodb/mongodb-27019/conf

新建配置文件

vim /opt/mongodb/mongodb-27017/conf/mongod.yml
vim /opt/mongodb/mongodb-27018/conf/mongod.yml
vim /opt/mongodb/mongodb-27019/conf/mongod.yml

/opt/mongodb/mongodb-27017/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27017/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27017/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27017/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27017
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

/opt/mongodb/mongodb-27018/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27018/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27018/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27018/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

/opt/mongodb/mongodb-27019/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27019/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27019/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27019/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27019
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

MongoDB快速上手_第55张图片
注意：设置sharding.clusterRole需要mongod示例运行复制。需将实例部署为副本集成员，请使用replSetName设置并指定副本集的名称。

编写第一套副本集启动脚本start01.sh

#!/bin/bash
nohup /opt/mongodb/mongodb-27017/bin/mongod -f /opt/mongodb/mongodb-27017/conf/mongod.yml &
nohup /opt/mongodb/mongodb-27018/bin/mongod -f /opt/mongodb/mongodb-27018/conf/mongod.yml &
nohup /opt/mongodb/mongodb-27019/bin/mongod -f /opt/mongodb/mongodb-27019/conf/mongod.yml &
exit 1

启动第一套副本集（一主一副一仲裁）

./start01.sh

查看副本集启动状态

ps -aux| grep mongod

2.4.2第二套副本集

准备存放数据库和日志的目录

mkdir -p /opt/mongodb/mongodb-27117/log & \
mkdir -p /opt/mongodb/mongodb-27117/data/db & \
mkdir -p /opt/mongodb/mongodb-27117/conf

mkdir -p /opt/mongodb/mongodb-27118/log & \
mkdir -p /opt/mongodb/mongodb-27118/data/db & \
mkdir -p /opt/mongodb/mongodb-27118/conf

mkdir -p /opt/mongodb/mongodb-27119/log & \
mkdir -p /opt/mongodb/mongodb-27119/data/db & \
mkdir -p /opt/mongodb/mongodb-27119/conf

新建配置文件

vim /opt/mongodb/mongodb-27117/conf/mongod.yml
vim /opt/mongodb/mongodb-27118/conf/mongod.yml
vim /opt/mongodb/mongodb-27119/conf/mongod.yml

/opt/mongodb/mongodb-27117/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27117/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27117/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27117/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27117
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

/opt/mongodb/mongodb-27118/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27118/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27118/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27118/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27118
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

/opt/mongodb/mongodb-27119/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/mongodb-27119/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/mongodb-27119/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/mongodb-27119/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27119
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

编写第二套副本集启动脚本start02.sh

#!/bin/bash
nohup /opt/mongodb/mongodb-27117/bin/mongod -f /opt/mongodb/mongodb-27117/conf/mongod.yml &
nohup /opt/mongodb/mongodb-27118/bin/mongod -f /opt/mongodb/mongodb-27118/conf/mongod.yml &
nohup /opt/mongodb/mongodb-27119/bin/mongod -f /opt/mongodb/mongodb-27119/conf/mongod.yml &
exit 1

启动第二套副本集（一主一副一仲裁）

./start02.sh

查看副本集启动状态

ps -aux| grep mongod

MongoDB快速上手_第56张图片

2.5配置节点副本集的创建

第一步：准备存放数据和日志的目录：

mkdir -p /opt/mongodb/config-27217/log & \
mkdir -p /opt/mongodb/config-27217/data/db & \
mkdir -p /opt/mongodb/config-27217/conf

mkdir -p /opt/mongodb/config-27218/log & \
mkdir -p /opt/mongodb/config-27218/data/db & \
mkdir -p /opt/mongodb/config-27218/conf

mkdir -p /opt/mongodb/config-27219/log & \
mkdir -p /opt/mongodb/config-27219/data/db & \
mkdir -p /opt/mongodb/config-27219/conf

新建配置文件

vim /opt/mongodb/config-27217/conf/mongod.yml
vim /opt/mongodb/config-27218/conf/mongod.yml
vim /opt/mongodb/config-27219/conf/mongod.yml

/opt/mongodb/config-27217/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/config-27217/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/config-27217/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/config-27217/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27217
replication:
  #副本集的名称
  replSetName: myconfig
sharding:
  #分片角色
  clusterRole: configsvr

/opt/mongodb/config-27218/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/config-27218/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/config-27218/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/config-27218/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27218
replication:
  #副本集的名称
  replSetName: myconfig
sharding:
  #分片角色
  clusterRole: configsvr

/opt/mongodb/config-27219/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/config-27219/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true

storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongodb
  dbPath: "/opt/mongodb/config-27219/data/db"
  journal:
    #启用或者禁用持久性日志以确保数据文件保持有效和可恢复到宕机前
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/config-27219/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27219
replication:
  #副本集的名称
  replSetName: myconfig
sharding:
  #分片角色
  clusterRole: configsvr

编写配置副本集启动脚本start02.sh

#!/bin/bash
nohup /opt/mongodb/config-27217/bin/mongod -f /opt/mongodb/config-27217/conf/mongod.yml &
nohup /opt/mongodb/config-27218/bin/mongod -f /opt/mongodb/config-27218/conf/mongod.yml &
nohup /opt/mongodb/config-27219/bin/mongod -f /opt/mongodb/config-27219/conf/mongod.yml &
exit 1

启动配置套副本集（一主二副）

./config.sh

查看副本集启动状态

ps -aux| grep mongod

2.6路由节点的创建和操作

2.6.1第一个路由节点的拆功能键和连接

第一步：准备存放数据和日志的目录（路由只分发不会存储数据），所以不用创建data目录只创建log和conf目录即可。

mkdir -p /opt/mongodb/route-27317/log & \
mkdir -p /opt/mongodb/route-27317/conf

/opt/mongodb/route-27317/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/route-27317/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/route-27317/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27317
sharding:
  #指定配置节点副本集
  configDB: myconfig/192.168.0.2:27217,192.168.0.2:27218,192.168.0.2:27219

启动路由节点

nohup /opt/mongodb/route-27317/bin/mongos -f /opt/mongodb/route-27317/conf/mongod.yml &

提示：启动如果失败，可以查看log目录下的日志，查看失败原因。

客户端登录mongos

/opt/mongodb/route-27317/bin/mongo --host=192.168.0.2 --port=27317

此时，写不进去数据，如果写数据会报错：

因为缺少分片

2.6.2在路由节点上进行分片配置操作

使用命令添加分片：

1.添加分片：

语法：

sh.addShard("ip:port")

将第一套分片副本集添加进来：

sh.addShard("myshardrs01/192.168.0.2:27017,192.168.0.2:27018,192.168.0.2:27019")

MongoDB快速上手_第57张图片
查看分片状态情况MongoDB快速上手_第58张图片
只有两个是因为仲裁节点没有数据，不被加入。

继续将第二套分片副本集添加进来：

sh.addShard("myshardrs01/192.168.0.2:27117,192.168.0.2:27118,192.168.0.2:27119")

MongoDB快速上手_第59张图片
查看分片状态情况
MongoDB快速上手_第60张图片
提示：如果添加分片失败，需要先手动移除分片，检查分片的i休尼希的正确性，再次添加分片。

移除分片参考（了解）

user admin
db.runCommand({removeShard: "replSetName"})

注意：如果只剩一个shard,是无法删除的，移除时会自动移除分片数据，需要一个时间过程。

完成后，再次执行删除分片命令才能真正删除。

2.开启分片功能：

语法：

sh.enableSharding("库名")
sh.shardCollection("库名.集合名", {key: 1})

再mongos上的articledb数据库配置sharding:

sh.sh.enableSharding("articledb")

MongoDB快速上手_第61张图片
3.集合分片

对集合分片，你必须使用sh.shardCollection()方法指定集合和分片键。

语法：

sh.shardCollection(namespace, options, unique)

MongoDB快速上手_第62张图片
对集合进行分片时，你需要选择一个分片键（shard key），shard key是每条记录都必须包含的，且建立了索引的单个字段或复合字段，MongoDB按照片键将数据划分到不同的数据块中，并将数据块均衡地分不到所有分片中，为了按照片键划分数据块，MongoDB使用基于哈希的分片方式（随机平均分配）或者基于范围的分片方式（数值大小分配）。

用什么字段当片键都可以，如： nickname作为片键，但一定是必填字段。

分片规则一：哈希策略

对于基于哈希的分片，MongoDB计算一个字段的哈希值，并用这个哈希值来创建数据块。

再使用基于哈希分片的系统中，拥有“相近”片键的文档很可能不会存储在同一个数据块中，因此数据的分离性更好一些。

使用nickname作为片键，根据其值的哈希值进行数据分片。

sh.shardCollection("articledb.comment", {nickname: "hashed"})

MongoDB快速上手_第63张图片

查看分片状态：

sh.status()

MongoDB快速上手_第64张图片

分片规则二：范围策略

对于基于范围的分片，MongoDB按照片键的范围把数据分成不同部分，假设有一个数字的片键：想想一个从负无穷刀片正无穷的直线，每一个片键的值都在直线上画一个点，MongoDB把这条直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了片键在一定范围内的数据。

在使用片键做范围划分的系统中，拥有“相近”片键的文档很可能存储在同一个数据块中，因此也会存储在同一个分片中。如使用作者年龄字段作为片键，按照点赞数的值进行分片：

sh.shardCollection("articledb.author", {age: 1})

MongoDB快速上手_第65张图片
注意的是：

1.一个集合只能指定一个片键，否则报错。

2.一旦对一个集合分片，分片键和分片值就不可改变。如：不能给集合选择不同的分片键、不能更新分片键的值。

3.根据age索引进行分配是数据。

查看分片状态：

sh.status()

MongoDB快速上手_第66张图片
基于范围的分片方式与基于哈希的分片方式性能对比：

基于范围的分片方式提供了更高效的范围查询，给定一个片键的范围，分发路由可以很简单地确定哪个数据块存储了请求需要的数据，并将请求转发到相应的分片中。

不过，基于范围的分片会导致数据在不同分片上的不均衡，有时候带来的消极作用会大于查询性能的积极作用。比如：

如果片键所在的字段是线性增长的，一定时间内的所有请求都会落到某个固定的数据块中，最终导致分布在同一个分片中，在这种情况下，一小部分分片承载了集群大部分的数据，系统并不能很好地进行扩展。

与此相比，基于哈希的分片方式以范围查询性能的损失为代价，保证了集群中数据的均衡，哈希值的随机性使数据随机分布在每个数据块中，因此也随机分布在不同分片中，但是也正由于随机性，一个范围查询很难确定应该请求哪些分片，通常为了返回需要的结果，需要请求所有分片。

如无特俗情况，一般推荐使用Hash Sharding.

而使用_id作为片键是一个不错的选择，因为它是必有的，你可以使用数据文档__d的哈希作为片键。

这个方案能够是的读和写都能够平均分布，并且它能够保证每个文档都有不同的片键所以数据块能够很精细。

似乎还是不够完美，因为这样的话对于多个文档的查询必将命中所有的分片。虽说如此，这也是一种比较好的方案了。

理想化的shard key 可以让documents均匀地集群中分布：MongoDB快速上手_第67张图片
显示集群的详细信息：

db.printShardingStatus()
或
sh.status()

查看均衡器是否工作（需要重新均衡时系统才会自动启动，不用管它）:

sh.isBalancerRunning()

2.6.3分片后插入数据测试

测试一（哈希规则）：登录mongos后，向comment循环插入1000条数据做测试：

use artiicledb
for(var i=0;i<1000;i++){db.comment.insert({_id:i+"", nickname:"BoBo" +i})}
db.comment.count()

提示：js的语法，因为mongo的shell是一个javaScript的shell。

注意：从路由上插入的数据，必须包含片键，否则无法插入。

分别登录两个片的主节点，统计文档数量

第一个分片副本集：

/opt/mongodb/mongodb-27017/bin/mongo --host=192.168.0.2 --port=27017

use articledb
db.comment.count()

第二个分片副本集：

/opt/mongodb/mongodb-27117/bin/mongo --host=192.168.0.2 --port=27117

use articledb
db.comment.count()

这种分配方式非常易于水平扩展，一旦数据存储需要更大空间，可以直接在增加分片即可，同时提升了性能。

使用db.comment,status()查看单个集合的完整情况，mongos执行该命令可以查看该集合数据的分片情况。使用sh.status()查看本库内所有集合的分片信息。

测试二（范围规则）：登录mongos后，向author循环插入10000条数据做测试

use articledb
for(var i=0;i<10000;i++){db.author.insert({name:"BoBo" +i, age:NumberInt(i%120)})}

插入成功后，仍然要分别查看两个分片副本集的数据情况。

分片效果：

提示：

如果查看状态风险没有分片，则可能是由于以下原因造成的：

1.系统繁忙，正在分片中

2.数据块（chunk）没有填满。默认的数据文件尺寸（chunksize）是64M，填满后才会考虑向其他片的数据块填充数据，因此，为了测试，可以将其该校，这里改为1M，操作如下；

use config
db.settings.save({_id: "chunksize", value: 1})

测试完改回来

use config
db.settings.save({_id: "chunksize", value: 64})

注意：要先改小，再设置分片。为了测试，可以先删除集合，再重新建立集合的分片策略，再插入数据测试即可。

MongoDB将数据存储在称为数据文件的文件中。每个数据文件的大小默认为64MB，可以通过配置进行更改。当一个数据文件达到其最大大小后，MongoDB会自动创建一个新的数据文件来存储更多的数据。这种自动扩展的机制使得MongoDB能够处理大容量的数据。

数据文件由多个数据块组成，每个数据块默认为4KB。MongoDB会将文档存储在数据块中，其中一个数据块可以存储多个文档。当一个数据块已满时，MongoDB会分配一个新的数据块来存储更多的文档。

2.6.4 再增加一个路由节点

第一步：准备存放数据和日志的目录（路由只分发不会存储数据），所以不用创建data目录只创建log和conf目录即可。

mkdir -p /opt/mongodb/route-27318/log & \
mkdir -p /opt/mongodb/route-27318/conf

/opt/mongodb/route-27318/conf/mongod.yml配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/opt/mongodb/route-27318/log/mongod.log"
  #当mongos或者mongod实例重新启动时，mongos或者mongod会将新条目附加到现有日志文件的末尾
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式
  #fork: true
  #指定用于保存mongos或mongod进程的额进城ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/opt/mongodb/route-27318/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实力绑定IP,如果是云服务需要绑定局域网ip（而不是127.0.0.1，127.0.0.1是回路用于本地测试，公网找不到，或   #者设置0.0.0.0，这样公网ip就可以转到本机,或者将bindIpAll: true）
  bindIp: 192.168.0.2
  #绑定的端口
  port: 27318
sharding:
  #指定配置节点副本集
  configDB: myconfig/192.168.0.2:27217,192.168.0.2:27218,192.168.0.2:27219

编写启动路由脚本route.sh

#!/bin/bash
nohup /opt/mongodb/route-27317/bin/mongos -f /opt/mongodb/route-27317/conf/mongod.yml &
nohup /opt/mongodb/route-27318/bin/mongos -f /opt/mongodb/route-27318/conf/mongod.yml &
exit 1

启动脚本

./route.sh

提示：启动如果失败，可以查看log目录下的日志，查看失败原因。

2.7Compass连接分片集群

compass连接：
直接连接任意一个路由即可

spring:
  data:
    mongodb:
       #连接路由字符串
       url: mongodb://192.168.0.2:27317,192.168.0.2:27318/articledb

通过日志发现，写入数据的时候会随机选择一个路由写入。

三、安全认证

3.1MongoDB的用户和角色权限简介

默认情况下，MongoDB实例启动运行时是没有启用用户访问权限控制的，也就是说，在实例本机服务器上都可以随意连接到实例进行各种操作，MongoDB不会对连接客户端进行用户校验，这是非常危险的。
mongodb官网说，为了能保障mongodb的安全可以做以下步骤：
1.使用新的端口，默认的27017端口如果一旦知道了ip就能连接上，不太安全。
2.设置mongodb的网络环境，最好将mongodb部署到公司服务器内网，这样外网是访问不到的。公司内部访问使用等。
3.开去安全认证。认证要同时设置服务器之间的内部认证方式。同时要设置客户端连接到集群的站好密码认证方式。
为了强制开启用户访问控制（用户验证），则需要在MongoDB实例启动时使用选项–auth或在指定启动配置文件中添加选项auth=true.

在开始之前需要了解一下概念
1.启用访问控制
MongoDB使用的是基于角色的访问控制（Role-Based- Access Control, RBAC）来管理用户对实例的访问。通过对用户授予一个或者多个角色来控制用户访问数据库资源的权限和数据库操作的权限，在对用户分配角色之前，用户无法访问实例。
在实例启动时添加选项–auth或指定启动配置文件中添加选项auth=true。
2.角色
在MongoDB中通过角色对用户授予相应数据库资源的操作权限，每个角色当中的权限可以通过显示指定，也可以通过继承其他角色的权限，或者两个都存在的权限。
3.权限：
权限由指定的数据库资源（resource）以及允许在指定资源上进行的操作（action）组成。
资源（resource）包括：数据库、集合、部分集合和集群；
操作包括：对资源进行的增、删、改、查（CRUD）操作。
在角色定义时可以包含一个或多个已存在的角色，新创建的角色会继承包含的角色所有的权限。在同一个数据库中，新创建角色可以继承其他角色的权限，在admin数据库中创建角色可以继承在其他任意数据库中角色的权限。
关于角色权限的查看，可以通过如下命令查看（了解）：

//查询所有角色权限（仅用户自定义角色）
db.runCommand({rolesInfo: 1})
//查询所有角色权限（包含内置角色）
db.runCommand({rolesInfo: 1, showBuiltinRoles: true})
//查询当前数据库中的某个角色的权限
db.runCommand({rolesInfo: ""})
//查看其他数据库中指定的角色权限
db.runCommand({rolesInfo: {role: "", db: ""}})
//查询多个角色权限
db.runCommand({rolesInfo: [ {role: "", db: ""}, {role: "", db: ""},...] })

常用的内置角色：

  • 数据库用户角色： read、readWrite
  • 所有数据库用户角色：readAnyDatabase、readWriteAnyDatabase、userAdminAnyDatabase、dbAdminAnyDatabase
  • 数据库管理角色： dbAdmin、dbOwner、userAdmin
  • 集群管理角色: clusterAdmin、clusterManager、clusterMonitor、hostManager
  • 备份恢复角色： backup、restore
  • 超级用户角色： root
  • 内部角色： system

3.2单实例环境

目标： 对单实例的MongoDB服务开启安全认证，这里的单实例指的是未开启副本集或者分片的MongoDB实例。

3.2.1关闭已开启的服务（可选）

增加mongod的单实例的安全认证功能，可以在服务搭建的时候直接添加，也可以在之前搭建好的服务上添加。
本文使用之前搭建好的服务，因此，先停止之前的服务。
停止服务的方式由两种：款素关闭和标准关闭，下面一次说明：
1.快速关闭方法（快速，简单，数据坑会出错）
目标：通过系统的kill命令直接杀死进程：
杀完要检查一下，避免有的没有杀掉。

#通过进程编号关闭节点
kill -2 进程号

[补充]
如果一旦是因为数据损坏，则需要进行如下操作（了解）：
1.删除lock文件

rm -fr /opt/mongodb/mongodb-27017/data/db/*.lock

2.修复数据

/opt/mongodb/mongodb-27017/bin/mongod --repair --dbPath=/opt/mongodb/mongodb-27017/data/db

你可能感兴趣的:(mongodb,数据库)

  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • 入门MySQL——查询语法练习 K_un
    前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • ubuntu安装wordpress lissettecarlr
    1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 【RabbitMQ 项目】服务端：数据管理模块之绑定管理 月夜星辉雪 rabbitmq分布式
    文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 3.增删改查--连接查询 问女何所忆
    关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
  • docker from指令的含义_多个FROM-含义 weixin_39722188 dockerfrom指令的含义
    小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
  • Redis:缓存击穿 我的程序快快跑啊 缓存redisjava
    缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
  • mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15） 知识分享小能手 大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
    1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
  • ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your †徐先森® Oracle数据库Web相关错误集
    createtablestudents(idintunsignedprimarykeyauto_increment,namevarchar(50)notnull,ageintunsigned,highdecimal(3,2),genderenum('男','女','中性','保密','妖')default'保密',cls_idintunsigned);在对数据库插入如上带有中文带有默认值的字段的时
  • Redis 有哪些危险命令？如何防范？ 花小疯 redis缓存数据库危险命令大数据
    Redis有哪些危险命令？Redis的危险命令主要有以下几个：1.keys客户端可查询出所有存在的键。2.flushdb删除Redis中当前所在数据库中的所有记录，并且此命令从不会执行失败。3.flushall删除Redis中所有数据库中的所有记录，不止是当前所在数据库，并且此命令从不会执行失败。4.config客户端可修改Redis配置。怎么禁用和重命名危险命令？看下redis.conf默认配置
  • 【Golang】 Golang 的 GORM 库中的 Rows 函数 不爱洗脚的小滕 golang开发语言后端
    文章目录前言一、Rows函数解释二、代码实现三、总结前言在使用Go语言进行数据库操作时，GORM（GoObject-RelationalMapping）库是一个常用的工具。它提供了一种简洁和强大的方式来处理数据库操作。本文将介绍GORM库中的Rows函数，这是一个用于执行原生SQL查询并返回结果的函数。一、Rows函数解释在GORM库中，Rows函数用于执行原生SQL查询并返回*sql.Rows结
  • 接口测试如何设计测试用例 李蕴Ronnie
    接口测试用例设计方式针对每个必填参数，都设计一条参数为空的测试用例必填参数不存在传的参数值在数据库中不存在添加数据接口，传入已有的数据重复添加编辑数据接口，各个字段分别编辑，合并编辑参数数据类型限制，针对每个参数设计一条参数值类型不符合的逆向用例参数自身取值范围，针对所有参数，设计一条每个参数值在取值范围内最大值的正向测试用例是否满足前提条件（token、headers），几个前提条件几条用例针对
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 非关系型数据库 天秤-white nosql
    一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
  • 六、全局锁和表锁：给表加个字段怎么有这么多阻碍 nieniemin
    数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。根据加锁的范围，MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。6.1全局锁全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法，命令是Flushtableswithreadlock(FTWRL)。当你需要让整个库处于
  • Spring中@Value注解，需要注意的地方 无量 springbean@Valuexml
    Spring 3以后,支持@Value注解的方式获取properties文件中的配置值，简化了读取配置文件的复杂操作 1、在applicationContext.xml文件(或引用文件中)中配置properties文件 <bean id="appProperty" class="org.springframework.beans.fac
  • mongoDB 分片 开窍的石头 mongodb
        mongoDB的分片。要mongos查询数据时候 先查询configsvr看数据在那台shard上，configsvr上边放的是metar信息，指的是那条数据在那个片上。由此可以看出mongo在做分片的时候咱们至少要有一个configsvr,和两个以上的shard（片）信息。     第一步启动两台以上的mongo服务 &nb
  • OVER(PARTITION BY)函数用法 0624chenhong oracle
    这篇写得很好，引自 http://www.cnblogs.com/lanzi/archive/2010/10/26/1861338.html OVER(PARTITION BY)函数用法 2010年10月26日 OVER(PARTITION BY)函数介绍 开窗函数        &nb
  • Android开发中，ADB server didn't ACK 解决方法 一炮送你回车库 Android开发
    首先通知：凡是安装360、豌豆荚、腾讯管家的全部卸载，然后再尝试。   一直没搞明白这个问题咋出现的，但今天看到一个方法，搞定了！原来是豌豆荚占用了 5037 端口导致。 参见原文章：一个豌豆荚引发的血案——关于ADB server didn't ACK的问题 简单来讲，首先将Windows任务进程中的豌豆荚干掉，如果还是不行，再继续按下列步骤排查。 &nb
  • canvas中的像素绘制问题 换个号韩国红果果 JavaScriptcanvas
    pixl的绘制，1.如果绘制点正处于相邻像素交叉线，绘制x像素的线宽，则从交叉线分别向前向后绘制x/2个像素，如果x/2是整数，则刚好填满x个像素，如果是小数，则先把整数格填满，再去绘制剩下的小数部分，绘制时，是将小数部分的颜色用来除以一个像素的宽度，颜色会变淡。所以要用整数坐标来画的话（即绘制点正处于相邻像素交叉线时），线宽必须是2的整数倍。否则会出现不饱满的像素。 2.如果绘制点为一个像素的
  • 编码乱码问题 灵静志远 javajvmjsp编码
    1、JVM中单个字符占用的字节长度跟编码方式有关，而默认编码方式又跟平台是一一对应的或说平台决定了默认字符编码方式；2、对于单个字符：ISO-8859-1单字节编码，GBK双字节编码，UTF-8三字节编码；因此中文平台(中文平台默认字符集编码GBK)下一个中文字符占2个字节，而英文平台(英文平台默认字符集编码Cp1252(类似于ISO-8859-1))。 3、getBytes()、getByte
  • java 求几个月后的日期 darkranger calendargetinstance
    Date plandate = planDate.toDate(); SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd"); Calendar cal = Calendar.getInstance(); cal.setTime(plandate); // 取得三个月后时间 cal.add(Calendar.M
  • 数据库设计的三大范式（通俗易懂） aijuans 数据库复习
    关系数据库中的关系必须满足一定的要求。满足不同程度要求的为不同范式。数据库的设计范式是数据库设计所需要满足的规范。只有理解数据库的设计范式，才能设计出高效率、优雅的数据库，否则可能会设计出错误的数据库. 目前，主要有六种范式：第一范式、第二范式、第三范式、BC范式、第四范式和第五范式。满足最低要求的叫第一范式，简称1NF。在第一范式基础上进一步满足一些要求的为第二范式，简称2NF。其余依此类推。
  • 想学工作流怎么入手 atongyeye jbpm
    工作流在工作中变得越来越重要，很多朋友想学工作流却不知如何入手。 很多朋友习惯性的这看一点，那了解一点，既不系统，也容易半途而废。好比学武功，最好的办法是有一本武功秘籍。研究明白，则犹如打通任督二脉。 系统学习工作流，很重要的一本书《JBPM工作流开发指南》。 本人苦苦学习两个月，基本上可以解决大部分流程问题。整理一下学习思路，有兴趣的朋友可以参考下。 1  首先要
  • Context和SQLiteOpenHelper创建数据库 百合不是茶 androidContext创建数据库
           一直以为安卓数据库的创建就是使用SQLiteOpenHelper创建,但是最近在android的一本书上看到了Context也可以创建数据库,下面我们一起分析这两种方式创建数据库的方式和区别,重点在SQLiteOpenHelper     一:SQLiteOpenHelper创建数据库:   1,SQLi
  • 浅谈group by和distinct bijian1013 oracle数据库group bydistinct
            group by和distinct只了去重意义一样，但是group by应用范围更广泛些，如分组汇总或者从聚合函数里筛选数据等。         譬如：统计每id数并且只显示数大于3 select id ,count(id) from ta
  • vi opertion 征客丶 macoprationvi
    进入 command mode （命令行模式） 按 esc 键 再按 shift + 冒号 注：以下命令中 带 $ 【在命令行模式下进行】，不带 $ 【在非命令行模式下进行】 一、文件操作 1.1、强制退出不保存 $ q! 1.2、保存 $ w 1.3、保存并退出 $ wq 1.4、刷新或重新加载已打开的文件 $ e 二、光标移动 2.1、跳到指定行 数字
  • 【Spark十四】深入Spark RDD第三部分RDD基本API bit1129 spark
      对于K/V类型的RDD,如下操作是什么含义？   val rdd = sc.parallelize(List(("A",3),("C",6),("A",1),("B",5)) rdd.reduceByKey(_+_).collect  reduceByKey在这里的操作，是把
  • java类加载机制 BlueSkator java虚拟机
    java类加载机制 1.java类加载器的树状结构 引导类加载器 ^ | 扩展类加载器 ^ | 系统类加载器 java使用代理模式来完成类加载，java的类加载器也有类似于继承的关系，引导类是最顶层的加载器，它是所有类的根加载器，它负责加载java核心库。当一个类加载器接到装载类到虚拟机的请求时，通常会代理给父类加载器，若已经是根加载器了，就自己完成加载。 虚拟机区分一个Cla
  • 动态添加文本框 BreakingBad 文本框
      <script>     var num=1; function AddInput() {      var str="";     str+="<input 
  • 读《研磨设计模式》-代码笔记-单例模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ public class Singleton { } /* * 懒汉模式。注意，getInstance如果在多线程环境中调用，需要加上synchronized，否则存在线程不安全问题 */ class LazySingleton
  • iOS应用打包发布常见问题 chenhbc iosiOS发布iOS上传iOS打包
    这个月公司安排我一个人做iOS客户端开发，由于急着用，我先发布一个版本，由于第一次发布iOS应用，期间出了不少问题，记录于此。   1、使用Application Loader 发布时报错：Communication error.please use diagnostic mode to check connectivity.you need to have outbound acc
  • 工作流复杂拓扑结构处理新思路 comsci 设计模式工作算法企业应用OO
    我们走的设计路线和国外的产品不太一样，不一样在哪里呢？  国外的流程的设计思路是通过事先定义一整套规则(类似XPDL)来约束和控制流程图的复杂度(我对国外的产品了解不够多，仅仅是在有限的了解程度上面提出这样的看法)，从而避免在流程引擎中处理这些复杂的图的问题，而我们却没有通过事先定义这样的复杂的规则来约束和降低用户自定义流程图的灵活性，这样一来，在引擎和流程流转控制这一个层面就会遇到很
  • oracle 11g新特性Flashback data archive daizj oracle
    1. 什么是flashback data archive Flashback data archive是oracle 11g中引入的一个新特性。Flashback archive是一个新的数据库对象，用于存储一个或多表的历史数据。Flashback archive是一个逻辑对象，概念上类似于表空间。实际上flashback archive可以看作是存储一个或多个表的所有事务变化的逻辑空间。
  • 多叉树:2-3-4树 dieslrae 树
        平衡树多叉树,每个节点最多有4个子节点和3个数据项,2,3,4的含义是指一个节点可能含有的子节点的个数,效率比红黑树稍差.一般不允许出现重复关键字值.2-3-4树有以下特征:     1、有一个数据项的节点总是有2个子节点(称为2-节点)     2、有两个数据项的节点总是有3个子节点(称为3-节
  • C语言学习七动态分配 malloc的使用 dcj3sjt126com clanguagemalloc
    /* 2013年3月15日15:16:24 malloc 就memory(内存) allocate(分配)的缩写 本程序没有实际含义，只是理解使用 */ # include <stdio.h> # include <malloc.h> int main(void) { int i = 5; //分配了4个字节 静态分配 int * p
  • Objective-C编码规范[译] dcj3sjt126com 代码规范
      原文链接 : The official raywenderlich.com Objective-C style guide 原文作者 : raywenderlich.com Team 译文出自 : raywenderlich.com Objective-C编码规范 译者 : Sam Lau
  • 0.性能优化-目录 frank1234 性能优化
    从今天开始笔者陆续发表一些性能测试相关的文章，主要是对自己前段时间学习的总结，由于水平有限，性能测试领域很深，本人理解的也比较浅，欢迎各位大咖批评指正。 主要内容包括： 一、性能测试指标 吞吐量、TPS、响应时间、负载、可扩展性、PV、思考时间 http://frank1234.iteye.com/blog/2180305 二、性能测试策略 生产环境相同 基准测试 预热等 htt
  • Java父类取得子类传递的泛型参数Class类型 happyqing java泛型父类子类Class
      import java.lang.reflect.ParameterizedType; import java.lang.reflect.Type; import org.junit.Test; abstract class BaseDao<T> { public void getType() { //Class<E> clazz =
  • 跟我学SpringMVC目录汇总贴、PDF下载、源码下载 jinnianshilongnian springMVC
      ----广告-------------------------------------------------------------- 网站核心商详页开发 掌握Java技术，掌握并发/异步工具使用，熟悉spring、ibatis框架； 掌握数据库技术，表设计和索引优化，分库分表/读写分离； 了解缓存技术，熟练使用如Redis/Memcached等主流技术； 了解Ngin
  • the HTTP rewrite module requires the PCRE library 流浪鱼 rewrite
    ./configure: error: the HTTP rewrite module requires the PCRE library. 模块依赖性Nginx需要依赖下面3个包 1. gzip 模块需要 zlib 库 ( 下载: http://www.zlib.net/ ) 2. rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ ) 3. s
  • 第12章 Ajax（中） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Optimize query with Query Stripping in Web Intelligence blueoxygen BO
    http://wiki.sdn.sap.com/wiki/display/BOBJ/Optimize+query+with+Query+Stripping+in+Web+Intelligence and a very straightfoward video http://www.sdn.sap.com/irj/scn/events?rid=/library/uuid/40ec3a0c-936
  • Java开发者写SQL时常犯的10个错误 tomcat_oracle javasql
    1、不用PreparedStatements 　　有意思的是，在JDBC出现了许多年后的今天，这个错误依然出现在博客、论坛和邮件列表中，即便要记住和理解它是一件很简单的事。开发者不使用PreparedStatements的原因可能有如下几个： 　　他们对PreparedStatements不了解 　　他们认为使用PreparedStatements太慢了 　　他们认为写Prepar
  • 世纪互联与结盟有感 阿尔萨斯
    10月10日，世纪互联与（Foxcon）签约成立合资公司，有感。 全球电子制造业巨头（全球500强企业）与世纪互联共同看好IDC、云计算等业务在中国的增长空间，双方迅速果断出手，在资本层面上达成合作，此举体现了全球电子制造业巨头对世纪互联IDC业务的欣赏与信任，另一方面反映出世纪互联目前良好的运营状况与广阔的发展前景。 众所周知，精于电子产品制造（世界第一），对于世纪互联而言，能够与结盟
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他