学习MongoDB
@(存笔记)
[TOC]
常用命令
windows下设置开机自动启动
./mongod --auth --dbpath "J:\db\mongodb\data" --logpath "J:\db\mongodb\log\MongoDB.log" --reinstall --directoryperdb --serviceName "MongoDB"
db.system.users.remove({user:"java1"});
索引
- 如何建立索引
- 对一个
collections建立索引可以加快查询速度，但是会增加内存消耗。 - 建立的索引，本身就会按照升/降续
创建索引
# 不要使用client[db][collection] 的形式
key = ['name', -1] # 索引
key = [('name', -1), ('age', 1)]
client.db.collection.create_index( key, unique=True)
配置文件
- 官方文档
- 中文文档
- 指定配置文件
mongod --config /etc/mongodb.conf
模板文件
用户权限管理
参考文章
1. 创建管理员用户
首先更改mongo.conf文件，关掉密码验证，重启mongod服务。
security:
authorization: disabled # enabled/disabled #开启客户端认证
之后就可以在mongoshell中创建用户。
必须先创建管理员用户，然后才能使得权限验证生效。否则即使设置为需要验证权限，该设置也不会生效。
> use admin
> db.createUser(
{
user: "admin",
pwd: "mongodb:passok",
roles: [ { role: "root", db: "admin" } ]
}
)
Successfully added user: {
"user" : "admin",
"roles" : [
{
"role" : "root",
"db" : "admin"
}
]
}
创建好管理员用户admin之后，再更改mongo.conf文件，打开密码验证。重启mongod服务。
security:
authorization: enabled # enabled/disabled #开启客户端认证
此时再登陆就需要使用账号密码了。如果登陆失败，尝试更改加密方式。目前的加密方式有SCRAM-SHA-1和MONGODB-CR两种，默认是前者。
2.创建普通用户
创建好admin用户后，使用admin用户登陆，开始创建普通用户。MongoDB的用户是按照database来管理，并进行授权的。每个database有多个用户，不存在一个用户使用多个database，最多只是不同的database之间的同名用户而已。
> use myDB
> db.createUser(
{
user: "myUser",
pwd: "myPassword",
roles: [ { role: "readWrite", db: "myDB" } ]
}
)
这样就创建好了一个具有读写权限的用户myUser。
3.python使用pymongo验证登陆
使用pymongo登陆有两种用户验证方式。
直接构建url
import pymongo
url = 'mongodb://{username}:{password}@{host}:{port}/{dbn}?authMechanism=SCRAM-SHA-1'.format(**mongoConf)
client = pymongo.MongoClient(url)
这个client实例就已经通过了对数据库dbn的验证，可以访问。
逐个database验证登录
另外一种是先建立链接，然后逐个进行验证：
import pymongo
client = pymongo.MongoClient(host, port)
dbn_1, dbn_2 = client.dbn_1, client.dbn_2
dbn_1.authenticate(username, password)
dbn_2.authenticate(username, password)
配置文件
配置文件示例及说明
Docker使用注意
- 镜像中有一个初始化文件
/entrypoint.sh - 可以在此添加一些初始化的
shell命令 - 如设置容器的时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime - 使用
-v /path/to/entrypoint.sh:/entrypoint.sh，要为/path/to/entrypoint.sh设置可执行权限chmod a+x /path/to/entrypoint.sh -
/entrypoint.sh给出容器中的默认数据库存储路径为/data/db - 在配置文件
mongod.conf中直接采用这个路径最省事 - 宿主中映射
-v /mongodb/data:/data/db，/mongodb/data所有者会更改为mongodb
ObjectID
ObjectId 由4部分组成
[图片上传失败...(image-78fc2b-1510020011604)]
比如有这样一个ObjectId=>4e7020cb7cac81af7136236b
- Time
时间戳。objectid的前4位进行提取“4e7020cb”，然后按照十六进制转为十进制，变为“1315971275”，这个数字就是一个时间戳。 - Machine
机器。接下来的三个字节就是“7cac81”，这三个字节是所在主机的唯一标识符，一般是机器主机名的散列值，这样就确保了不同主机生成不同的机器hash值，确保在分布式中不造成冲突，这也就是在同一台机器生成的objectId中间的字符串都是一模一样的原因。 - PID
进程ID。上面的Machine是为了确保在不同机器产生的objectId不冲突，而pid就是为了在同一台机器不同的mongodb进程产生了objectId不冲突，接下来的“af71”两位就是产生objectId的进程标识符。 - INC
自增计数器。前面的九个字节是保证了一秒内不同机器不同进程生成objectId不冲突，这后面的三个字节“36236b”是一个自动增加的计数器，用来确保在同一秒内产生的objectId也不会发现冲突，允许256的3次方等于16777216条记录的唯一性。
总的来看，objectId的前4个字节时间戳，记录了文档创建的时间；接下来3个字节代表了所在主机的唯一标识符，确定了不同主机间产生不同的objectId；后2个字节的进程id，决定了在同一台机器下，不同mongodb进程产生不同的objectId；最后通过3个字节的自增计数器，确保同一秒内产生objectId的唯一性。
通过上面的分析，我们可以用这种方法
function objectIdWithTimestamp(timestamp)
{
//把时间字符串转换成标准的时间格式
if (typeof(timestamp) == 'string') {
timestamp = new Date(timestamp);
}
// 把时间转成16进制数
hexSeconds = Math.floor(timestamp/1000).toString(16);
// 通过16进制的秒数创建objectId
constructedObjectId = ObjectId(hexSeconds + "0000000000000000");
return constructedObjectId
}
db.mycollection.find({ _id: { $gt:objectIdWithTimestamp('1986/05/10') } });//只能查找出一个时间区间的记录哦
参考资料：可以通过日期查询MongoDB ObjectId吗
另外一种是先建立链接，然后逐个进行验证：
import pymongo
client = pymongo.MongoClient(host, port)
dbn_1, dbn_2 = client.dbn_1, client.dbn_2
dbn_1.authenticate(username, password)
dbn_2.authenticate(username, password)
配置文件
配置文件示例及说明
Docker使用注意
- 镜像中有一个初始化文件
/entrypoint.sh - 可以在此添加一些初始化的
shell命令 - 如设置容器的时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime - 使用
-v /path/to/entrypoint.sh:/entrypoint.sh，要为/path/to/entrypoint.sh设置可执行权限chmod a+x /path/to/entrypoint.sh -
/entrypoint.sh给出容器中的默认数据库存储路径为/data/db - 在配置文件
mongod.conf中直接采用这个路径最省事 - 宿主中映射
-v /mongodb/data:/data/db，/mongodb/data所有者会更改为mongodb
ObjectID
ObjectId 由4部分组成
[图片上传失败...(image-c39e6b-1510020011605)]
比如有这样一个ObjectId=>4e7020cb7cac81af7136236b
- Time
时间戳。objectid的前4位进行提取“4e7020cb”，然后按照十六进制转为十进制，变为“1315971275”，这个数字就是一个时间戳。 - Machine
机器。接下来的三个字节就是“7cac81”，这三个字节是所在主机的唯一标识符，一般是机器主机名的散列值，这样就确保了不同主机生成不同的机器hash值，确保在分布式中不造成冲突，这也就是在同一台机器生成的objectId中间的字符串都是一模一样的原因。 - PID
进程ID。上面的Machine是为了确保在不同机器产生的objectId不冲突，而pid就是为了在同一台机器不同的mongodb进程产生了objectId不冲突，接下来的“af71”两位就是产生objectId的进程标识符。 - INC
自增计数器。前面的九个字节是保证了一秒内不同机器不同进程生成objectId不冲突，这后面的三个字节“36236b”是一个自动增加的计数器，用来确保在同一秒内产生的objectId也不会发现冲突，允许256的3次方等于16777216条记录的唯一性。
总的来看，objectId的前4个字节时间戳，记录了文档创建的时间；接下来3个字节代表了所在主机的唯一标识符，确定了不同主机间产生不同的objectId；后2个字节的进程id，决定了在同一台机器下，不同mongodb进程产生不同的objectId；最后通过3个字节的自增计数器，确保同一秒内产生objectId的唯一性。
通过上面的分析，我们可以用这种方法
function objectIdWithTimestamp(timestamp)
{
//把时间字符串转换成标准的时间格式
if (typeof(timestamp) == 'string') {
timestamp = new Date(timestamp);
}
// 把时间转成16进制数
hexSeconds = Math.floor(timestamp/1000).toString(16);
// 通过16进制的秒数创建objectId
constructedObjectId = ObjectId(hexSeconds + "0000000000000000");
return constructedObjectId
}
db.mycollection.find({ _id: { $gt:objectIdWithTimestamp('1986/05/10') } });//只能查找出一个时间区间的记录哦
参考资料：可以通过日期查询MongoDB ObjectId吗
数据导入和导出
参考资料
mongodb 备份、还原、导入、导出简单操作
Mongodb数据导出工具mongoexport和导入工具mongoimport介绍
主从及其授权
- 配置文件中不使用
security.authorization字段，只使用security.keyfile字段 - 设置 keyFile 用于主从之间的通讯，与用户访问无关
- 从服务器需要先设置好root用户和授权用户，再以从服务器启动。
- 主从均以需要验证启动，并指定同一个 keyFile。
- keyFile生成命令
openssl rand -base64 741 > mongodb-keyfile
chmod 600 mongodb-keyfile
- 在docker 中，需要更改
entrypoint.sh，将这行
chown -R mongodb /data/configdb /data/db
改为
chown -R mongodb /data/configdb /data/db /etc/mongodb-keyfile