mongodb实践总结（一）-linux下使用及管理

1、mongodb下载安装、配置

 

   mongodb支持多操作系统，部分操作系统支持32位和64位，可以到官网下载自己需要的版本。

官网地址http://www.mongodb.org/downloads ，由于mongodb使用内存映射文件，数据大小的具体限制因系统而异。32位理论上最大限制为2.5G，2G属于安全限制，所以在生产环境下官方建议不要使用32位。

   在linux系统下下载和安装mongodb非常简单，到官网下载压缩文件，使用tar解压到指定的文件夹就行了。

 

2、mongodb启动及关闭

 

  2、1 启动mongodb

 

    在mongodb解压后的目录下的bin目录下执行 mongod --dbpath /data 

     mongodb监听的端口是27017，可以通过ps -ef|grep mongod 查看mongodb是否启动。

 

 

   mongod的主要参数有：

 

    基本配置

 

   --------------------------------------------------------------------------------

 

   --quiet # 安静输出

   --port arg # 指定服务端口号，默认端口27017

   --bind_ip arg # 绑定服务IP，若绑定127.0.0.1，则只能本机访问，不指定默认本地所有IP

   --logpath arg # 指定MongoDB日志文件，注意是指定文件不是目录

   --logappend # 使用追加的方式写日志

   --pidfilepath arg # PID File 的完整路径，如果没有设置，则没有PID文件

   --keyFile arg # 集群的私钥的完整路径，只对于Replica Set 架构有效

   --unixSocketPrefix arg # UNIX域套接字替代目录,(默认为 /tmp)

   --fork # 以守护进程的方式运行MongoDB，创建服务器进程

   --auth # 启用验证

   --cpu # 定期显示CPU的CPU利用率和iowait

   --dbpath arg # 指定数据库路径

   --diaglog arg # diaglog选项 0=off 1=W 2=R 3=both 7=W+some reads

   --directoryperdb # 设置每个数据库将被保存在一个单独的目录

   --journal # 启用日志选项，MongoDB的数据操作将会写入到journal文件夹的文件里

   --journalOptions arg # 启用日志诊断选项

   --ipv6 # 启用IPv6选项

   --jsonp # 允许JSONP形式通过HTTP访问（有安全影响）

   --maxConns arg # 最大同时连接数 默认2000

   --noauth # 不启用验证

   --nohttpinterface # 关闭http接口，默认关闭27018端口访问

   --noprealloc # 禁用数据文件预分配(往往影响性能)

   --noscripting # 禁用脚本引擎

   --notablescan # 不允许表扫描

   --nounixsocket # 禁用Unix套接字监听

   --nssize arg (=16) # 设置信数据库.ns文件大小(MB)

   --objcheck # 在收到客户数据,检查的有效性，

   --profile arg # 档案参数 0=off 1=slow, 2=all

   --quota # 限制每个数据库的文件数，设置默认为8

   --quotaFiles arg # number of files allower per db, requires --quota

   --rest # 开启简单的rest API

   --repair # 修复所有数据库run repair on all dbs

   --repairpath arg # 修复库生成的文件的目录,默认为目录名称dbpath

   --slowms arg (=100) # value of slow for profile and console log

   --smallfiles # 使用较小的默认文件

   --syncdelay arg (=60) # 数据写入磁盘的时间秒数(0=never,不推荐)

   --sysinfo # 打印一些诊断系统信息

   --upgrade # 如果需要升级数据库  * Replicaton 参数

 

   --------------------------------------------------------------------------------

 

   --fastsync # 从一个dbpath里启用从库复制服务，该dbpath的数据库是主库的快照，可用于快速启用同步

   --autoresync # 如果从库与主库同步数据差得多，自动重新同步，

   --oplogSize arg # 设置oplog的大小(MB)  * 主/从参数

 

   --------------------------------------------------------------------------------

 

   --master # 主库模式

   --slave # 从库模式

   --source arg # 从库 端口号

   --only arg # 指定单一的数据库复制

   --slavedelay arg # 设置从库同步主库的延迟时间  * Replica set(副本集)选项：

 

   --------------------------------------------------------------------------------

 

   --replSet arg # 设置副本集名称  * Sharding(分片)选项

 

   --------------------------------------------------------------------------------

   --configsvr # 声明这是一个集群的config服务,默认端口27019，默认目录/data/configdb

   --shardsvr # 声明这是一个集群的分片,默认端口27018

   --noMoveParanoia # 关闭偏执为moveChunk数据保存

 

  2、2  linux后台启动mongodb

 

        方法1：(推荐)

              --fork 选项将会通知 mongod 在后台运行

             /path/to/MongoDB_Dir/bin/mongod --logpath /path/to/file.log --logappend --fork

        方法2：

           将输出重定向到 file.log 文件

           & 将该进程置于后台运行

           /path/to/MongoDB_Dir/bin/mongod >> /path/to/file.log &

 

 2、3  停止mongodb

 

      可以使用kill -2 mongodpid，不能使用kill -9强制停止mongodb，这样会导致mongodb内存中的数据无法刷入硬盘而导致数据丢失。

      为了管理的方便，可以在mongodb启动是加入参数--pidfilepath /mongo_pid，指定pid存储的文件位置。在停止mongodb时，使用脚本：

 

 

#!/bin/bash

pid=`cat /mongo_pid`

kill -2 $pid

 

 

 

3、mongodb CRUD操作：

 

   在mongodb解压后的目录下的bin目录下执行mongo，可以进入mongodb客户端（与mysql使用相似），当然如果为了方便，可以把bin目录加入系统变量，这样可以在任何目录执行mongodb相关的命令。

   mongodb的数据库和集合（传统数据库的表）不需要在使用前事先建好。比如：

      use foo --切换数据库为foo，如果foo数据库不存在，则mongodb会创建一个数据库foo。

      db.blog.insert({"title":"test"}) --blog集合插入一个文档，如果blog不存在则创建一个集合blog。

 

   mongodb常用的命令请查阅mongo官方网站，很详细。

 

4、replica set使用注意要点:

 

首先介绍一下在replica set里分为三种节点类型：

1、primary  负责client的读写。

2、secondary作为热备节点，应用Primary的oplog读取的操作日志,和primary保持一致，不提供读写操作！

 secondary有两种类型: 

 1)normal secondary   随时和Primay保持同步,  

 2)delayed secondary  延时指定时间和primary保持同步,防止误操作. 

3、arbiter.它不负责任何读写,只作为一个仲裁者，负责primary down的时候剩余节点的选举操作.

   在Replica Set 如果主库down了，要进行故障切换，集群的选举策略：

当primary当了之后，剩下的节点会选择一个primary节点，仲裁节 点也会参与投票，避免僵局出现(如果没有仲裁节点，对于两节点的replica set 从节点down，主节点会变为secondary，导致整个replica set 不可用)选择依据为：优先级最高的且数据新鲜度最新的！

   primary 节点使用心跳来跟踪集群中有多少节点对其可见。如果达不到1/2，活跃节点会自动降级为secondary。这样就能够防止上面说的僵局状态或者当网络切割后primary已经与集群隔离的时候！

 

         我在测试时加入一个arbiter节点时，mongodb误把它当作primary节点，导致其他节点同步新增加的这个节点的数据，使之前的数据全部被回滚，后来没有重现出这个问题，应该是mongodb的bug，我使用的版本是mongodb-linux-x86_64-2.0.7。

 

5、mongostat mongodb数据库监控工具

 

 

 

mongostat是mongdb自带的状态检测工具，在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态，并输出。如果你发现数据库突然变慢或者有其他问题的话，你第一手的操作就考虑采用mongostat来查看mongo的状态。

它的输出有以下几列：

•  
  • inserts/s 每秒插入次数
  • query/s 每秒查询次数
  • update/s 每秒更新次数
  • delete/s 每秒删除次数
  • getmore/s 每秒执行getmore次数
  • command/s 每秒的命令数，比以上插入、查找、更新、删除的综合还多，还统计了别的命令
  • flushs/s 每秒执行fsync将数据写入硬盘的次数。
  • mapped/s 所有的被mmap的数据量，单位是MB，
  • vsize 虚拟内存使用量，单位MB
  • res 物理内存使用量，单位MB
  • faults/s 每秒访问失败数（只有Linux有），数据被交换出物理内存，放到swap。不要超过100，否则就是机器内存太小，造成频繁swap写入。此时要升级内存或者扩展
  • locked % 被锁的时间百分比，尽量控制在50%以下吧
  • idx miss % 索引不命中所占百分比。如果太高的话就要考虑索引是不是少了
  • q t|r|w 当Mongodb接收到太多的命令而数据库被锁住无法执行完成，它会将命令加入队列。这一栏显示了总共、读、写3个队列的长度，都为0的话表示mongo毫无压力。高并发时，一般队列值会升高。
  • conn 当前连接数
  • time 时间戳
  • 
    

 

6、mongodb的性能及适应场景

 

        我在测试时，在内存没有耗尽时，最快时每秒的写入可以达到2万条，内存耗尽时，数据的写入性能急剧下降，有时候还出现短暂的暂停，但是总体性能还是不错的。

        由于mongodb不支持事务，所有mongodb适合一些对数据一致性要求不高，需要实时写入的项目。