目录
一、背景描述及其方案设计
(一)业务背景描述
(二)模拟运维设计方案
二、Mongodb介绍
(一)nosql介绍
(二)产品特点
1、存储性
2、 效率性
3、结构
三、安装和配置
(一)安装方式介绍
(二)二进制可执行安装
1、上传安装包到服务器目录
2、 解压到安装目录 并移动
3、创建数据存储目录和日志目录
4、启动mongod服务
(三)命令行客户端操作
四、数据结构类型操作 CURD
(一)添加数据
1、mongodb里存储数据的格式文档形式,以bson格式的文档形式。
2、 语法:db.集合名称.insert(bson格式数据)
3、普通数据添加
4、多维数据对象添加
5、数组信息添加
(二)查询数据
1、语法:
2、笼统方式查询
3、条件限制查询
4、范围条件查询
5、多个条件查询
6、多维字段查询
7、数组条件查询
(1)查询满足其中之一即可显示
(2)满足查询条件所有的才可显示
8、限制查询字段
9、$or查询
10、count 语法
11、limit语法 skip语法
(三)修改数据
1、语法:
2、有$set的修改
3、 没有$set的修改
(四)删除数据
1、删除记录
2、删除字段
五、安全设置
(一)限制登录
1、使用另外一台虚拟机,使用mongo命令行端进行测试
编辑 2、关闭mongodb
3、 添加启动的脚本,启动mongod
4、使用远程登录mongod服务
(二) 用户权限管理
1、需求
2、语法:
3、实现步骤:
①切换admin库,进行用户创建
②关闭mongod服务,重启添加权限参数并启动
编辑 ③测试使用
编辑 六、业务实例
(一)PHP扩展安装
1、上传php扩展包
2、解压编译安装
3、添加php.ini匹配
4、重启php-fpm查看phpinfo
(二)桌面管理使用
1、软件是绿色版本,直接解压,点击使用即可
2、填写相关参数
编辑
3、测试是否可以正常连接
4、点击连接
5、查看数据
(三)日志统计展示
1、很多网站需要统计某个页面或者某个功能访问量,如果访问量比较大,需要记录的组件具有很快的读写效率。可以使用功能性更多的mongodb来完成此业务。mongodb具有更多的数据灵活性。
2、网站访问日志记录的信息:
3、使用服务器
4、Tip:nginx负载均衡服务器解决后端服务获取不到真实用户IP的方式
①在负载均衡nginx服务器,填写真实用户IP的转发
②web服务器的nginx需要配置接收真实的用户IP,需要使用到模块--with-http_realip_module,在编译安装nginx时需要加入
③配置语法
编辑 ④操作实现步骤:
(1)删除原来的文件
(2)上传修改好的文件
(3)访问页面之后,可以查看到访问已经被记录
⽤户数量: 10000-12000(⽤户量猛增)
PV : 1000000-5000000(24小时访问次数总和)
QPS: 50-100*(每秒访问次数) 300
DAU: 2000~*000(每日活跃用户数)
根据业务需求:
用户访问日志是在web服务器access.log存储
统计每日访问量,峰值访问量
把每次访问存储到mongodb中,mongodb用来筛选日志
根据以上业务需求,采用mongodb数据库存储用户的访问日志,使用单台服务器
①访问日志存储
②在mongo中筛选查看信息
数据库排名:https://db-engines.com/en/ranking
关系数据库 RDBMS 设计表结构,通过SQL语句进行操作。连表关系
常见的关系型数据库:mysql oracle(商业) DB2(IBM) sqlserver(微软) access(微软) sqlite3(小型 嵌入到APP中) postgresql(加州伯克利大学)
nosql 泛指非关系数据库 存储格式key=>value
memcached redis 内存缓存数据库
mongodb 具有更多的功能,可以适用于大部分的mysql场景 document store 文档型数据库
比较适合存储大量的没有规则、无序的数据。
存储量大:单表实现存储PB级别的数据
1KB = 1024B
1MB = 1024KB
1GB = 1024MB
1TB = 1024GB
1PB = 1024TB
1EB (Exabyte 百亿亿字节 艾字节)=1024PB,
1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024EB,
1YB (Yottabyte 一亿亿亿字节 尧字节)= 1024ZB,
数据的效率,就是指存储和读写速度。
yum方式安装:Install MongoDB Community Edition on Red Hat or CentOS — MongoDB Manual
手动通用安装:Install MongoDB Community Edition on Linux — MongoDB Manual
shell > tar xvf mongodb-linux-x86_64-rhel62-3.6.5.tgz
shell > mv mongodb-linux-x86_64-rhel62-3.6.5 /usr/local/mongodb
shell > cd /usr/local/mongodb
shell > mkdir data
shell > mkdir logs
shell > cd /usr/local/mongodb/bin
shell > ./mongod --dbpath=/usr/local/mongodb/data --logpath=/usr/local/mongodb/logs/log.txt --fork
参数介绍:
dbpath 数据存储路径
logpath 日志存储路径
fork 后台启动
auth 权限开启
bind_ip 指定绑定网卡ip
在mongodb中,可有无需创建数据库和集合,使用的时候会自动创建
创建一个库devops
db.goods.insert({name:'huawei01',price:1000,weight:135,number:35})
db.goods.insert({name:'xiaomi5',price:1999,weight:156,number:45,area:{province:'beijing',city:'beijing'}})
db.goods.insert({name:'xiaomimax',price:2000,weight:180,number:100,area:{province:'henan',city:'zhengzhou'},color:['black','white','red']})
db.集合名称.find(查询条件)
db.集合名称.findOne(查询条件)
不进行条件限制,全部取出来。
findOne会取出符合结果的第一条信息,并且以格式化形式返回
条件格式,所见及所得
db.goods.find({name:'xiaomimax'})
db.goods.findOne({name:'xiaomimax'})
mysql < <= > >= !=
mongo $lt $lte $gt $gte $ne
db.goods.find({price:{'$lte':1999}})
db.goods.find({price:{'$lt':1999}})
类似mysql中的AND语法
db.goods.find({price:{'$lte':1999},number:{'$gte':40}})
通过多维字段的值进行查询
db.goods.find({'area.city':'zhengzhou'});
注意:多维字段需要用引号包含起来
db.goods.find({color:'black'})
db.集合名称.find({字段(数组):{‘$all’:[v1,v2]}})
db.goods.insert({name:'iphonex',price:8398,weight:100,number:200,area:{province:'jiangsu',city:'nanjing'},color:['gray','black','white','gold']})
db.goods.find({color:{'$all':['black','gold']}})
在实际使用环境,不需要查询并显示太多的字段。可以选择设定显示。
语法:db.集合名称.find({查询条件},{筛选条件})
显示为1,不显示为0 要是1都是1,要是0都是0 _id除外
db.goods.find({color:{'$all':['black','gold']}},{name:1,_id:0})
_id是mongodb数据库里的集合中,默认的主键id,具有索引内容,通过主键查询,会很快的查询速度。不要随意修改此值,使用默认即可。
满足其中之一的条件就可以显示,类似mysql的中的or条件语法
select * from goods where price > 5000 or number >= 100
db.goods.find({'$or':[{price:{'$gt':5000}},{number:{'$gte':100}}]})
返回结果的数量统计
链式操作
db.goods.count()
db.goods.find({price:{'$gt':5000}}).count()
db.goods.count({price:{'$gt':5000}})
类似于mysql中的limit(skip,length)语法
limit() 取几个
skip() 跳过几个
db.goods.find().limit(1);
db.goods.find().skip(1).limit(1);
mongodb语法和SQL语句的对比
db.集合名称.update({查询条件},{修改条件})
db.集合名称.updateOne() 修改匹配的第一条
db.集合名称.updateMany() 修改匹配所有条
db.goods.update({name:'iphonex'},{'$set':{price:8500}})
db.没有$set的修改goods.updateOne({name:'xiaomi5'},{'$set':{price:1500}})
没有$set关键字语法,把设置的字段进行修改,没有设置的就会被删除掉
db.goods.update({name:'iphonex'},{price:8550})
db.集合名称.remove({查询条件})
db.集合名称.deleteOne() 删除匹配的第一条
db.集合名称.deleteMany() 删除匹配的多条
db.goods.remove({price:8550})
db.goods.deleteMany({price:{'$lte':2000}})
可以删除某个字段的操作,使用的是update语法的$unset
db.goods.update({name:'huawei01'},{'$unset':{weight:0}})
值给一个就可以删除了
真实业务当中,一般不做物理删除,会使用一个标识,来确认是否已经被删除的数据
https://docs.mongodb.com/manual/tutorial/create-users/
mongodb安全事件:https://www.jianshu.com/p/48d17a69e190
远程登录方法
正常情况下不要kill -9 mongod,使用mongo命令客户端里的关机命令
shell > vim /etc/init.d/mongodb
bind绑定是外网通讯的网卡 --bind_ip_all表示绑定0.0.0.0这个任意地址
设置一个超级管理员账户,对于所有库具有读写权限
db.createUser({user:"root",pwd:"root",roles:["root"]})
关闭
在启动脚本中加入--auth参数
如果没有phpize这个命令,需要yum安装php-devel
shell > yum -y install php-devel #安装phpize
shell > tar xvf mongodb-1.5.3.tgz
shell > cd mongodb-1.5.3
shell > phpize
shell > ./configure && make && make install
shell > vim /usr/local/php/etc/php.ini
shell > service php-fpm restart
ip 用户访问的来源ip
url 用户访问的地址 功能模块页面地址
time 访问时间 记录用户访问的时间值
user_agent 用户访问的客户端信息
web1(server01)->mycat(server07)->master(server02)->slave(server06)->cache(server08)->mongodb(server10)
注意如果使用负载均衡,后端获取的IP为负载均衡代理的IP。
如果后端需要获取到真是的IP,负载均衡服务器,必须要配置参数,把真实IP进行传输
php中获取代理的真实IP的方式,但是一定要注意必须是代理服务器有传真实IP