mongodb

一、mongodb

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

操作步骤

1. MongoDB介绍

对于一个大型网站来说，面对数据库高并发读写、海量数据的高效率访问以及高可扩展性和高可用性等需求，传统的关系型数据库已经力不从心，且提升规模所需的成本令人望而却步，而灵活、易扩展、高可用以及高性能的NoSQL数据库在处理大数据的需求上优势明显。

MongoDB是开源、高性能、易扩展的文档数据库，一个介于关系数据库和非关系数据库之间的NoSQL数据库产品，其主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的关系型数据库（丰富的功能）架起一座桥梁，集两者的优势于一身。MongoDB支持的数据结构非常松散，是类似JSON的BSON格式，因此可以存储比较复杂的数据类型。其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

1.1 适用场景

网站数据：适合实时的插入、更新与查询，并具备网站实时数据存储所需的复制与高伸缩性；
缓存：适合作为基础设施的缓存层，在系统重启之后缓存层可以避免下层的数据源过载；
大尺寸，低价值的数据：关系型数据库存储这些数据时可能比较昂贵，很多人会选择以文件形式存储；
高伸缩性的场景：适合由数十或数百台服务器组成的数据库；
用于对象及JSON数据的存储：MongoDB的BSON数据格式非常适合文档化格式的存取。

1.2 不适用场景

高度事务性的系统：例如银行或会计系统，传统的关系型数据库更适用；
传统的商业智能应用：针对特定问题需要高度优化的查询方式，数据仓库可能是更合适的选择；
需要SQL的问题

2. 部署环境

要搭建高可用MongoDB架构，复制集（Replica Set）是必须的，它通过多套Mongo服务来保证其中一个服务挂掉后，可以自动切换到其他服务来实现故障转移，且这些服务之间是同步的。

但是高数据量和吞吐量的数据库应用会对单机的性能造成较大压力，大的查询量会将单机的CPU耗尽，大的数据量对单机的存储压力较大，最终会耗尽系统的内存而将压力转移到磁盘IO上。我们可以对设备进行纵向扩展如增加更多的CPU与存储资源，但是代价比较昂贵。这里可以通过MongoDB的分片集群（Sharding）在多台机器上分割数据，使得数据库系统能存储和处理更多的数据，以此来应对不断增加的负载和数据。

2.1 单机

单机环境参考复制集节点安装配置章节。

2.2 复制集

复制集是由一组拥有相同数据集的 mongod 实例组成的。其中一个节点为主节点（Primary），所有的写请求都在它上面完成。而其他节点都是从节点（Secondary），从节点接收从主节点传来的操作并应用，以此来保证与主节点的数据集一致。一个复制集只能有一个主节点，一旦主节点不可用了，复制集就会将一个从节点选举成为新的主节点。

最基础的复制集架构是由三个成员组成的，且成员个数应该是奇数，包括一个主节点（Primary），一个从节点（Secondary），还有一个投票节点（Arbiter）。投票节点的作用仅仅是在选举过程中参与投票，该节点中并不包含数据集，故所需资源很少，无需一个专用物理机。

2.3 分片集群

分片集群包括分发路由mongos、配置服务器config server以及分片shard，集群架构如下：

mongos，集群请求的入口，分发读写请求到分片服务器，前端应用透明访问。

config server，存储所有数据库元信息（路由、分片）的配置，mongos从配置服务器加载配置信息。生产环境中，为确保冗余与安全，一般使用3台配置服务器，且必须部署在不同的机器上。

shard，分片是存储了集群一部分数据的 mongod 或者 replica set，所有分片存储组成了集群的全部数据。在生产环境中，为保证高可用的分片架构，至少要保证2个分片，每个分片都应该是一个复制集。复制集为每个分片的数据提供了冗余和高可靠性。

3. 复制集搭建

3.1 节点安装配置

注：在主节点、从节点以及投票节点分别执行以下全部配置！

3.1.1 系统基础配置

关闭SELinux
 # vi /etc/selinux/config
……
SELINUX=disabled
……

关闭防火墙
 # service iptables stop
 # chkconfig iptables off
 
重启机器
 # reboot

3.1.2 配置时间同步

安装ntpdate
 # yum install -y ntpdate

时间同步
 # ntpdate pool.ntp.org

设置计划任务
 # crontab -e
0 23 * * * ntpdate pool.ntp.org >> /var/log/ntpdate.log

3.1.3 安装软件包

安装OpenSSL
 # yum install -y openssl-devel openssl

下载并解压缩安装包，也可以外部下载后拷贝到服务器root目录下
 # wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.0.6.tgz
 # tar -zxvf mongodb-linux-x86_64-rhel62-3.0.6.tgz

将mongodb移至/usr/local/mongodb目录下
 # mv mongodb-linux-x86_64-rhel62-3.0.6 /usr/local/mongodb

创建数据与日志目录
 # mkdir /usr/local/mongodb/data
 # mkdir /usr/local/mongodb/log

3.1.4 配置服务

设置开机自启动，local增加启动信息
 # vim /etc/rc.d/rc.local

/usr/local/mongodb/bin/mongod --fork --auth --dbpath /usr/local/mongodb/data --logpath /usr/local/mongodb/log/mongodb.log --replSet set0

启动服务

 # /usr/local/mongodb/bin/mongod --fork --auth --dbpath /usr/local/mongodb/data --logpath /usr/local/mongodb/log/mongodb.log --replSet set0

3.2 配置复制集

在主节点配置复制集：
进入mongodb进行配置
 # ./bin/mongo
config={_id:'set0',members:[{_id:0,host:'192.168.202.80',priority:2},{_id:1,host:'192.168.202.95', priority:1},{_id:2,host:'192.168.202.96',arbiterOnly:true}]}  #输入配置信息(priority最大的为master服务器，投票节点需配置arbiterOnly:true)

使配置生效
 # rs.initiate(config)

3.3 安装验证

查看状态，health表示当前服务的状态，等于1就是正常状态：
 # rs.status()

二、概念

1、MongoDB介绍

MongoDB作为非关系型数据库的典型，广泛应用于分布式文件存储，成为NoSQL数据库中比较热门的一种。
其复制集和分片的功能，可以作为WEB应用提高可扩展性的高性能数据存储解决方案之一。
在介绍MongoDB之前，首先介绍一下NoSQL,NoSQL泛指非关系型数据库，NoSQL通常用于超大规模数据的存储。（例如谷歌或FaceBook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。
MongoDB作为NoSQL的典型代表，因其提供了一个面向文档存储以及操作起来比较容易等特点逐渐被大部分人所关注。

1.1、MongoDB主要特点

1.1.1、优点

面向文档存储，不需要严格的结构。
高性能、易部署、易使用，存储数据非常方便。
非结构化，基于文档。
具有强大的主流开发语言支持，如c#,java,PHP,Python等。
扩展方便，分片与复制集能够方便地实现冗余容灾与负载均衡。

1.1.2、缺点

吃内存，通常会做内存限制。
不支持事务操作，对于事务要求严格的系统不建议使用。

1.2、MongoDB相关概念：

1.2.1、数据库(database)

一个MongoDB中可以建立多个数据库。
MongoDB的默认数据库为test，该数据库存储在data目录中。
MongoDB的单个实例可以容纳多个独立的数据库，每一个都有自己的集合和权限，不同的数据库也放置在不同的文件中。
show dbs命令可以显示所有数据库的列表，若开启用户认证，则该操作需要先获取相应的权限。
db命令可显示当前所连接的数据库。
use dbname命令可实现切换数据库,同时也可用于新增数据库，dbname为数据库名。

1.2.2、集合(collections)

集合就是 MongoDB 的文档组，类似于 RDBMS （关系数据库管理系统：Relational Database Management
System)中的表格。
集合存在于数据库中，集合没有固定的结构，这意味着你在对集合可以插入不同格式和类型的数据，但通常情况下我们插入集合的数据都会有一定的关联性。
show collections命令可显示该数据库中所有的集合。

1.2.3、文档(document)

文档是一个键值(key-value)对(即BSON)。类似于RDBMS表中的数据，MongoDB 的文档不需要设置相同的字段，并且相同的字段不需要相同的数据类型，这与关系型数据库有很大的区别，也是 MongoDB 非常突出的特点。
RDBMS 与mongodb对应的术语关系：

1.3、MongoDB基本操作

使用公司平台提供的一键安装包安装完成后，默认端口是27017。
安装完成后开启mongod服务：service mongod start
关闭mongod服务：service mongod stop mongod服务已加入开机启动中，
首次安装需要手动开启（service mongod start），重启服务器后会自动开启。
查看mongod进程是否已开启：ps -ef | grep mongod

开启mongod之后才能进入mongo 进入mongo： /usr/local/mongodb/bin/mongo
该方法默认进入本地端口为27017的mongod /usr/local/mongodb/bin/mongo --host
192.168.xxx.xxx --port xxxx 可指定连接的主机ip和端口

三、使用

安装部署完mongodb之后，需要对其进行使用，在使用过程中，对于常见操作做一个简单汇总整理。

操作步骤

MongDB是一个高性能，开源，无模式的文档型NosQL数据库。

1. 主要功能特性：

1.文件存储格式BSON（一种json的扩展）
2.模式自由
数据格式不受限了表的结构
3.支持动态查询
4.支持完全索引
5.支持复制（其主从复制）和故障恢复
6.使用高效的二进制数据存储，包括大型对象
7.自动处理碎片，以支持云计算层次的扩展。
8.支持Java、Ruby、Python、C++、PHP等多种语言
9.内部支持Javascript

2. Mongodb的优势

1.查询速度快
2.高并发。可以达到2万个并发。
3.高容量。支持10TB意思的数据量
MongoDB使用场景
1.网站数据
2.缓存
3.大尺寸、低价值的数据
4.高伸缩的场景
5.用于对象以及Json数据存储

3. Mongodb的限制

1.在32位操作系统上，不支持大于2.5G的数据
2.单个文件大小限制16M
3.高度事务的系统
4.传统商业智能应用

4. Mogodb和其他数据库的区别

成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。
输入help可以看到基本操作命令：

show dbs:显示数据库列表 
show collections：显示当前数据库中的集合（类似关系数据库中的表） 
show users：显示用户

use ：切换当前数据库，这和MS-SQL里面的意思一样 
db.help()：显示数据库操作命令，里面有很多的命令 
db.foo.help()：显示集合操作命令，同样有很多的命令，foo指的是当前数据库下，一个叫foo的集合，并非真正意义上的命令 
db.foo.find()：对于当前数据库中的foo集合进行数据查找（由于没有条件，会列出所有数据） 
db.foo.find( { a : 1 } )：对于当前数据库中的foo集合进行查找，条件是数据中有一个属性叫a，且a的值为1

MongoDB没有创建数据库的命令，但有类似的命令。

如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。

5. 数据库常用命令

1、Help查看命令提示
help
db.help();
db.yourColl.help();
db.youColl.find().help();
rs.help();

2、切换/创建数据库
use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库

3、查询所有数据库
show dbs;

4、删除当前使用数据库
db.dropDatabase();

5、从指定主机上克隆数据库
db.cloneDatabase(“127.0.0.1”); 将指定机器上的数据库的数据克隆到当前数据库

6、从指定的机器上复制指定数据库数据到某个数据库
db.copyDatabase("mydb", "temp", "127.0.0.1");将本机的mydb的数据复制到temp数据库中

7、修复当前数据库
db.repairDatabase();

8、查看当前使用的数据库
db.getName();
db; db和getName方法是一样的效果，都可以查询当前使用的数据库

9、显示当前db状态
db.stats();

10、当前db版本
db.version();

11、查看当前db的链接机器地址
db.getMongo();

6. Collection聚集集合

1、创建一个聚集集合（table）
db.createCollection(“collName”, {size: 20, capped: 5, max: 100});

2、得到指定名称的聚集集合（table）
db.getCollection("account");

3、得到当前db的所有聚集集合
db.getCollectionNames();

4、显示当前db所有聚集索引的状态
db.printCollectionStats();

7. 用户相关

1、添加一个用户
db.addUser("name");
db.addUser("userName", "pwd123", true); 添加用户、设置密码、是否只读

2、数据库认证、安全模式
db.auth("userName", "123123");

3、显示当前所有用户
show users;

4、删除用户
db.removeUser("userName");

8. 其他

1、查询之前的错误信息
 db.getPrevError();
2、清除错误记录
 db.resetError();

9. 查看聚集集合基本信息

1、查看帮助 db.yourColl.help();
2、查询当前集合的数据条数 db.yourColl.count();
3、查看数据空间大小 db.userInfo.dataSize();
4、得到当前聚集集合所在的db db.userInfo.getDB();
5、得到当前聚集的状态 db.userInfo.stats();
6、得到聚集集合总大小 db.userInfo.totalSize();
7、聚集集合储存空间大小 db.userInfo.storageSize();
8、Shard版本信息 db.userInfo.getShardVersion()
9、聚集集合重命名 db.userInfo.renameCollection("users"); 将userInfo重命名为users
10、删除当前聚集集合 db.userInfo.drop();

10. 聚集集合查询

1、查询所有记录
db.userInfo.find();
相当于：select* from userInfo;
默认每页显示20条记录，当显示不下的情况下，可以用it迭代命令查询下一页数据。注意：键入it命令不能带“；”
但是你可以设置每页显示数据的大小，用DBQuery.shellBatchSize= 50;这样每页就显示50条记录了。
 
2、查询去掉后的当前聚集集合中的某列的重复数据
db.userInfo.distinct("name");
会过滤掉name中的相同数据
相当于：select distict name from userInfo;
 
3、查询age = 22的记录
db.userInfo.find({"age": 22});
相当于： select * from userInfo where age = 22;
 
4、查询age > 22的记录
db.userInfo.find({age: {$gt: 22}});
相当于：select * from userInfo where age >22;
 
5、查询age < 22的记录
db.userInfo.find({age: {$lt: 22}});
相当于：select * from userInfo where age <22;
 
6、查询age >= 25的记录
db.userInfo.find({age: {$gte: 25}});
相当于：select * from userInfo where age >= 25;
 
7、查询age <= 25的记录
db.userInfo.find({age: {$lte: 25}});
 
8、查询age >= 23 并且 age <= 26
db.userInfo.find({age: {$gte: 23, $lte: 26}});
 
9、查询name中包含 mongo的数据
db.userInfo.find({name: /mongo/});
//相当于%%
select * from userInfo where name like ‘%mongo%’;
 
10、查询name中以mongo开头的
db.userInfo.find({name: /^mongo/});
select * from userInfo where name like ‘mongo%’;
 
11、查询指定列name、age数据
db.userInfo.find({}, {name: 1, age: 1});
相当于：select name, age from userInfo;
当然name也可以用true或false,当用ture的情况下河name:1效果一样，如果用false就是排除name，显示name以外的列信息。
 
12、查询指定列name、age数据, age > 25
db.userInfo.find({age: {$gt: 25}}, {name: 1, age: 1});
相当于：select name, age from userInfo where age >25;
 
13、按照年龄排序
升序：db.userInfo.find().sort({age: 1});
降序：db.userInfo.find().sort({age: -1});
 
14、查询name = zhangsan, age = 22的数据
db.userInfo.find({name: 'zhangsan', age: 22});
相当于：select * from userInfo where name = ‘zhangsan’ and age = ‘22’;
 
15、查询前5条数据
db.userInfo.find().limit(5);
相当于：selecttop 5 * from userInfo;
 
16、查询10条以后的数据
db.userInfo.find().skip(10);
相当于：select * from userInfo where id not in (
selecttop 10 * from userInfo
);
 
17、查询在5-10之间的数据
db.userInfo.find().limit(10).skip(5);
可用于分页，limit是pageSize，skip是第几页*pageSize
 
18、or与 查询
db.userInfo.find({$or: [{age: 22}, {age: 25}]});
相当于：select * from userInfo where age = 22 or age = 25;
 
19、查询第一条数据
db.userInfo.findOne();
相当于：selecttop 1 * from userInfo;
db.userInfo.find().limit(1);
 
20、查询某个结果集的记录条数
db.userInfo.find({age: {$gte: 25}}).count();
相当于：select count(*) from userInfo where age >= 20;
 
21、按照某列进行排序
db.userInfo.find({sex: {$exists: true}}).count();
相当于：select count(sex) from userInfo;

11. 索引

1、创建索引
db.userInfo.ensureIndex({name: 1});
db.userInfo.ensureIndex({name: 1, ts: -1});
 
2、查询当前聚集集合所有索引
db.userInfo.getIndexes();
 
3、查看总索引记录大小
db.userInfo.totalIndexSize();
 
4、读取当前集合的所有index信息
db.users.reIndex();
 
5、删除指定索引
db.users.dropIndex("name_1");
 
6、删除所有索引索引
db.users.dropIndexes();

12. 修改、添加、删除集合数据

1、添加
db.users.save({name: ‘zhangsan’, age: 25, sex: true});
添加的数据的数据列，没有固定，根据添加的数据为准
 
2、修改
db.users.update({age: 25}, {$set: {name: 'changeName'}}, false, true);
相当于：update users set name = ‘changeName’ where age = 25;
 
db.users.update({name: 'Lisi'}, {$inc: {age: 50}}, false, true);
相当于：update users set age = age + 50 where name = ‘Lisi’;
 
db.users.update({name: 'Lisi'}, {$inc: {age: 50}, $set: {name: 'hoho'}}, false, true);
相当于：update users set age = age + 50, name = ‘hoho’ where name = ‘Lisi’;
 
3、删除
db.users.remove({age: 132});
 
4、查询修改删除
db.users.findAndModify({
 query: {age: {$gte: 25}}, 
 sort: {age: -1}, 
 update: {$set: {name: 'a2'}, $inc: {age: 2}},
 remove: true
});
 
db.runCommand({ findandmodify : "users", 
 query: {age: {$gte: 25}}, 
 sort: {age: -1}, 
 update: {$set: {name: 'a2'}, $inc: {age: 2}},
 remove: true
});
update 或 remove 其中一个是必须的参数; 其他参数可选。

13. 语句块操作

1、简单Hello World
print("Hello World!");
这种写法调用了print函数，和直接写入"Hello World!"的效果是一样的；
 
2、将一个对象转换成json
tojson(new Object());
tojson(new Object('a'));
 
3、循环添加数据
> for (var i = 0; i < 30; i++) {
... db.users.save({name: "u_" + i, age: 22 + i, sex: i % 2});
... };
这样就循环添加了30条数据，同样也可以省略括号的写法
> for (var i = 0; i < 30; i++) db.users.save({name: "u_" + i, age: 22 + i, sex: i % 2});
也是可以的，当你用db.users.find()查询的时候，显示多条数据而无法一页显示的情况下，可以用it查看下一页的信息；
 
4、find 游标查询
>var cursor = db.users.find();
> while (cursor.hasNext()) { 
 printjson(cursor.next()); 
}
这样就查询所有的users信息，同样可以这样写
var cursor = db.users.find();
while (cursor.hasNext()) { printjson(cursor.next); }
同样可以省略{}号
 
5、forEach迭代循环
db.users.find().forEach(printjson);
forEach中必须传递一个函数来处理每条迭代的数据信息
 
6、将find游标当数组处理
var cursor = db.users.find();
cursor[4];
取得下标索引为4的那条数据
既然可以当做数组处理，那么就可以获得它的长度：cursor.length();或者cursor.count();
那样我们也可以用循环显示数据
for (var i = 0, len = c.length(); i < len; i++) printjson(c[i]);
 
7、将find游标转换成数组
> var arr = db.users.find().toArray();
> printjson(arr[2]);
用toArray方法将其转换为数组
 
8、定制我们自己的查询结果
只显示age <= 28的并且只显示age这列数据
db.users.find({age: {$lte: 28}}, {age: 1}).forEach(printjson);
db.users.find({age: {$lte: 28}}, {age: true}).forEach(printjson);
排除age的列
db.users.find({age: {$lte: 28}}, {age: false}).forEach(printjson);
 
9、forEach传递函数显示信息
db.things.find({x:4}).forEach(function(x) {print(tojson(x));});