NoSQL介绍
NoSQL(非关系型数据库):Not Only SQL
关系型数据库:Oracle、Mysql
关系型数据库: dataBase->table->record->field
面向对象数据库:dataBase->collection->document->JSON
优势:
简单的扩展
快速的读写(是SQL的十倍)
低廉的成本(硬件要求低)
灵活的数据模型(结构灵活)
不足:
不提供对SQL的支持
支持的特性不够丰富
现有的产品不够成熟
MongoDB介绍
MongoDB是用C++语言编写的非关系型数据库
特点是高性能、易部署、易使用,存储数据十分方便,主要特性有:
面向集合存储,易于存储对象类型的数据
模式自由
支持动态查询
支持完全索引,包含哪些内部对象
支持赋值和故障恢复
使用高效的二进制数据存储,包括大型对象
文件存储格式BSON(一种JSON的扩展)
MongoDB自带简介但功能强大的JavaScript shell,这个工具对于管理MongoDB实例和操作数据作用非常大
Mongodb基本操作
1、mongo服务
1.1服务自启动设置:
*使用命令将mongodb作为服务进行安装:可以先保存到txt文本中再管理员的身份运行,然后到服务中启动
D:\mongodb\bin\mongod.exe --logpath D:\mongodb\mongo_log\mongodb.log --logappend --dbpath D:\mongodb\mongo_data --directoryperdb --serviceName MongoDB --install
*从系统服务中移除此服务:以管理身份运行cmd->sc delete mongodb
*还可以:D:\mongodb\bin\mongod.exe --logpath D:\mongodb\mongo_log\mongodb.log --logappend --dbpath D:\mongodb\mongo_data --directoryperdb --serviceName MongoDB --remove
1.2简单开启服务
注意:上面开启服务的方式和下面开启服务的方式数据库目录是不一样的,即数据不能转移
开启一个cmd:创建一个存放MongoDB数据文件的目录:mongod --dbpath D:\mongodb\mongo_data
2、基本操作:
数据库操作
连接到MongoDB服务器:mongo(命令默认连接到本地的名称为test的数据库)
mongo ip:port(连接到远程数据库)
创建数据库或切换到数据库:use 数据库名称
删除当前数据库:进入需要删除的数据库,执行命令db.dropDatabase()
查看所有数据库:show dbs
查看当前所在数据库:db
集合操作
查看当前数据库中所有的集合:show collections 或show tables
显示创建:db.createCollection(“集合名称")
隐式创建:db.集合名称.insert({})如:db.user2.insert({name:"jack",age:20})指创建集合并同时向集合中插入数据
文档操作
向集合添加文档:db.集合名称.insert({})如:db.user1.insert({name:”jack”,age:20})
删除集合中的文档:db.集合名称.remove({删除条件})
如:db.user1.remove({name:”jack”}),删除user1集合中name为jack的文档
删除集合中的所有文档:db.user1.remove()或者 db.user1.drop()
查询集合中的文档:db.集合名称.find({条件})
db.user1.find({name:"jack"})
"_id" : ObjectId("51aede8698aaf143ae594073"), "name" : "jack", "age" : 20 }
查询第一个文档:db.集合名称.findOne()
db.user1.findOne()
结果:
{
"_id" : ObjectId("51aede8698aaf143ae594073"),
"name" : "jack",
"age" : 20
}
返回除了age字段外的所有字段:{age:0}
db.user1.find({},{age:0});
"_id" : ObjectId("51aede8698aaf143ae594073"), "name" : "jack" }
返回name=jack,除了age字段外的所有字段
db.user1.find({name:"jack"},{age:0})
返回含有age字段的所有字段:{age:1}
db.user1.find({},{age:1})
"_id" : ObjectId("51aede8698aaf143ae594073"), "age" : 20 }
返回name=jack,并且含有age字段的所有字段:{age:1}
db.user1.find({{name:"jack"},},{age:1})
查询集合中的文档 ,使用条件表达式(<, <=, >, >=,!=)
大于:db.collection.find({field:{$gt:value}});
小于:db.collection.find({field:{$lt:value}});
大于等于:db.collection.find({field:{$gte:value}});
小于等于:db.collection.find({field:{$lte:value}});
不等于:db.collection.find({field:{$ne:value}});
查询集合中的文档 ,统计(count)、排序(sort)、分页(skip、limit)
db.user1.count();
db.user1.find().count();
db.user1.find({age:{$lt:5}}).count();
db.user1.find().sort({age:1}); 按年龄升序
db.user1.find().skip(2).limit(3); 跳过两条记录,查询出3条记录
db.user1.find().sort({age:-1}); 按年龄降序
db.user1.find().sort({age:-1}).skip(2).limit(3);
db.user1.find().sort({age:-1}).skip(2).limit(3).count(); 6
db.user1.find().sort({age:-1}).skip(2).limit(3).count(0); 6
db.user1.find().sort({age:-1}).skip(2).limit(3).count(1); 3实际显示出来的值
$all:查询数组中的包含关系,查询条件中只要有一个不包含就不返回
插入带有数据的数据:db.user2.insert({name:"user1",post:[1,2,3,4,5]});
> db.user2.find({post:{$all:[1]}})
{ "_id" : ObjectId("51aee72a98aaf143ae594079"), "name" : "user1", "post" : [ 1,
2, 3, 4, 5 ] }
> db.user2.find({post:{$all:[7]}}) 空
> db.user2.find({post:{$all:[]}}) 空
> db.user2.find({post:{$all:[1,2,6]}}) 空
$in:类似于关系型数据库中的IN
db.user1.find({age:{$in:[20,22]}})
$nin,与$in相反
db.user1.find({age:{$nin:[20,22]}})
$or:相当于关系型数据库中的OR
db.user1.find({$or:[{name:"jack"},{age:22}]})
$nor:表示根据条件过滤掉某些数据
db.user1.find({$nor:[{name:"jack"},{age:20}]})
$exists:查询集合中存在某个键的文档或不存在某个键的文档
$exists:1表示真,指存在
$exists:0表示假,指不存在
db.user1.find({name:{$exists:0}})
db.user1.find({name:{$exists:1}})
mongodb中的游标:遍历用
批量插入
for(var i=0;i<1000000;i++){
db.user.insert({name:"lxj"+i,age:i})
}
遍历
> var x = db.user1.find()
> x.hasNext()
true
> x.next()
{
"_id" : ObjectId("51aede8698aaf143ae594073"),
"name" : "jack",
"age" : 20
}
>
更新集合中的文档,语法如下:
db.collection.update(criteria,objNew,upsert,multi)
参数说明:
criteria:用于设置查询条件的对象
objNew:用于设置更新内容的对象
upsert:如果记录已经存在,更新它,否则新增一个记录,取值为0或1
multi:如果有多个符合条件的记录,是否全部更新,取值为0或1
注意:默认情况下,只会更新第一个符合条件的记录
一般情况下后两个参数分别为0,1 ,即:
db.collection.update(criteria,objNew,0,1)
例子:将名为"jack"的记录改为名为"nihao":db.user1.update({name:"jack"},{name:"nihao"})
$inc:将集合中name为nihao的age加1,其它键不变, $inc表示使某个键值加减指定的数值
db.user1.update({name:"lxj"},{$inc:{age:1}}) 只能改变第一条数据
db.user1.update({name:"lxj"},{$inc:{age:1}},0,1) 改变全部数据
db.user1.update({name:"lxj"},{$inc:{age:-1}},0,1) 改变全部数据,全部减1
$set 用来指定一个键的值,如果这个键不存在,则创建它。
db.user1.update({name:"lxj"},{$set:{address:"bj"}},0,1)
$unset 用来删除某个键{address:1}
db.user1.update({name:"lxj"},{$unset:{address:1}},0,1)
索引:指对某个字段添加索引,效率快很多
创建普通索引:db.collection.ensureIndex({key:1})
查看关于索引的相关信息:db.collection.stats()
例子:在name字段添加索引
> db.user1.ensureIndex({name:1})
> db.user1.stats()
通过system.indexes集合来查询索引,它是系统默认的索引存储表
> db.system.indexes.find()
{ "v" : 1, "key" : { "_id" : 1 }, "ns" : "mydb1.user1", "name" : "_id_" }
{ "v" : 1, "key" : { "name" : 1 }, "ns" : "mydb1.user1", "name" : "name_1" }
创建唯一索引:db.collection.ensureIndex({key:1},{unique:true})
查看查询使用索引的情况:db.collection.find({key:value}).explain()
> db.user1.find({name:"jack0"}).explain()//会罗列出查询时间等信息
删除索引:db.collection.dropIndex({key:1})
删除集合,也会将集合中的索引全部删除
explain():能列出查询的详细信息
创建固定集合:db.createCollection(“collectionName”,{capped:true,size:100000,max:100});
size指定集合大小,单位为KB,max指定文档的数量
当指定文档数量上限时,必须同时指定大小。
淘汰机制只有在容量还没有满时才会依据文档数量来工作。要是容量满了,淘汰机制会依据容量来工作。
备份(mongodump)和恢复(mongorestore)
MongoDB提供了备份和恢复的功能,分别是MongoDB下载目录下的mongodump.exe和mongorestore.exe文件
备份数据使用下面的命令:
>mongodump -h dbhost -d dbname -o dbdirectory
-h:MongDB所在服务器地址,例如:127.0.0.1,当然也可以指定端口号:127.0.0.1:27017
-d:需要备份的数据库实例,例如:test
-o:备份的数据存放位置,例如:c:\data\dump,当然该目录需要提前建立,
在备份完成后,系统自动在dump目录下建立一个test目录,这个目录里面存放该数据库实例的备份数据。
例子:先exit退出连接,再执行mongodump -h 127.0.0.1:27017 -d mydb1 -o D:\mongodb\beifen
恢复数据使用下面的命令:
>mongorestore -h dbhost -d dbname -directoryperdb dbdirectory
-h:MongoDB所在服务器地址
-d:需要恢复的数据库实例,例如:test,当然这个名称也可以和备份时候的不一样,比如test2
-directoryperdb:备份数据所在位置,例如:c:\data\dump\test
例子:还是先exit退出数据库,执行mongorestore -h 127.0.0.1:27017 -d mydb1 -directoryperdb D:\mongodb\beifen
导入(mongoimport)和导出(mongoexport)
导出数据可以使用命令:在系统用户级别下(不用进入数据库)
导出文件是文本数据,格式为JSON
mongoexport -h dbhost -d dbname -c collectionName -o output
参数说明:
-h 数据库地址
-d 指明使用的库
-c 指明要导出的集合
-o 指明要导出的文件名
例子:mongoexport -h 127.0.0.1 -d mydb1 -c user1 -o D:\mongodb\export\user1.c
导入数据可以使用命令:
mongoimport -h dbhost -d dbname -c collectionname output
参数说明:
-h 数据库地址
-d 指明使用的库
-c 指明要导入的集合
mongoimport -h 127.0.0.1:27017 -d mydb1 -c user1 D:\mongodb\export\user1.c
安全和认证
在admin数据库中创建管理员账号:
use admin;
db.addUser(“root”,”root”);
在test数据库中创建普通账号:
use test;
db.addUser(“zhangsan”,”123”);
db.addUser(“lisi”,”123”,true);
注意:用户zhangsan,密码为123,对test数据库拥有读写权限
用户lisi,密码为123,对test数据库拥有只读权限
重新启动数据库服务,并开启安全检查:
mongod --dbpath d:\mongo_data --auth
现在用的是:
从系统服务中移除此服务:以管理身份运行cmd->sc delete mongodb
重启电脑,再运行以管理身份运行下面代码
D:\mongodb\bin\mongod.exe --logpath D:\mongodb\mongo_log\mongodb.log --logappend --dbpath D:\mongodb\mongo_data --directoryperdb --serviceName MongoDB --install -auth
例子:
//对mydb1数据库添加用户
> db.addUser("mydb1","123")
{
"user" : "mydb1",
"readOnly" : false,
"pwd" : "fa8a871f42f10545e4a21c371afe6333",
"_id" : ObjectId("51afddcf670cdc370700cb39")
}
> db.addUser("lxj","123",true)
{
"user" : "lxj",
"readOnly" : true,
"pwd" : "701440ada08fee5f1fcb965fd50be334",
"_id" : ObjectId("51afddf6670cdc370700cb3a")
}
//可以看到lxj只有查询用户的权限,mydb1可以修改
> db.auth("lxj","123")
1
> db.user1.find()
> db.user1.insert({name:"jack",age:29})
not authorized for insert on mydb1.user1
> db.auth("mydb1","123")
1
> db.user1.insert({name:"jack",age:22})
主从复制
主从复制是MongoDB最常用的复制方式。主节点增加删除数据,从节点的数据会跟着更新,从节点只有查询的功能
可用于备份、故障恢复、读扩展等。
第一个命令窗口启动主节点:mongod --dbpath D:\mongodb\master --port 10000 --master
第二个命令窗口启动从节点:mongod --dbpath D:\mongodb\slave --port 10001 --slave --source 127.0.0.1:10000
第三个命令窗口连接主节点:mongo 127.0.0.1:10000
第三个命令窗口连接从节点:mongo 127.0.0.1:10001
副本集
副本集就是有自动故障恢复功能的主从集群。
主从集群和副本集最大的区别就是副本集没有固定的“主节点”;整个集群会选出一个“主节点”,当其挂掉后,
又在剩下的从节点中选中其他节点为“主节点”,副本集总有一个活跃点(primary)和一个或多个备份节点(secondary)。
以三个节点为例:
节点1:
HOST:localhost:10001
Log File:D:\mongodb\logs\node1\logs.txt
Data File:D:\mongodb\dbs\node1
节点2:
HOST:localhost:10002
Log File:D:\mongodb\logs\node2\logs.txt
Data File:D:\mongodb\dbs\node2
节点3:
HOST:localhost:10003
Log File:D:\mongodb\logs\node3\logs.txt
Data File:D:\mongodb\dbs\node3
------------------------------------------------------
启动节点1:
mongod --dbpath D:\mongodb\dbs\node1 --logpath D:\mongodb\logs\node1\logs.txt --logappend --port 10001 --replSet itcast/localhost:10002 --master
启动节点2:
mongod --dbpath D:\mongodb\dbs\node2 --logpath D:\mongodb\logs\node2\logs.txt --logappend --port 10002 --replSet itcast/localhost:10001
启动节点3:
mongod --dbpath D:\mongodb\dbs\node3 --logpath D:\mongodb\logs\node3\logs.txt --logappend --port 10003 --replSet itcast/localhost:10001,localhost:10002
----------------------------------------------------------
初始化节点(只能初始化一次):随便登录一个节点,以10001为例
mongo localhost:10001/admin
db.runCommand({
"replSetInitiate":{
"_id":"itcast",
"members":[
{
"_id":1,
"host":"localhost:10001",
"priority":3
},
{
"_id":2,
"host":"localhost:10002",
"priority":2
},
{
"_id":3,
"host":"localhost:10003",
"priority":1
}
]}});
-------------------------------------------
查询当前主库,登录10002
C:\Users\king>mongo localhost:10002
MongoDB shell version: 2.4.3
connecting to: localhost:10002/test
itcast:STARTUP2> db.$cmd.findOne({ismaster:1})
{
"setName" : "itcast",
"ismaster" : false,
"secondary" : false,
"hosts" : [
"localhost:10002",
"localhost:10003",
"localhost:10001"
],
"me" : "localhost:10002",//当前主库
"maxBsonObjectSize" : 16777216,
"maxMessageSizeBytes" : 48000000,
"localTime" : ISODate("2013-06-06T13:33:11.326Z"),
"ok" : 1
}
itcast:STARTUP2>
-------------------------------------
关闭10001服务Dos命令窗口, 登录10002查询当前主库
itcast:STARTUP2> db.$cmd.findOne({ismaster:1})
{
"setName" : "itcast",
"ismaster" : true,
"secondary" : false,
"hosts" : [
"localhost:10002",
"localhost:10003",
"localhost:10001"
],
"primary" : "localhost:10002",
"me" : "localhost:10002",
"maxBsonObjectSize" : 16777216,
"maxMessageSizeBytes" : 48000000,
"localTime" : ISODate("2013-06-06T13:38:51.784Z"),
"ok" : 1
}
itcast:PRIMARY>