NoSQL之Redis非关系数据库（redis概述，持久化，RDB持久化，AOF持久，内存碎片）

关系型数据库与菲关系型数据库

关系型数据库

• 一个结构化的数据库，创建在关系模型基础上
• 一般面向于记录
• 包括：Oracle、MySQL、Microsoft Access、DB2等

非关系型数据库

• 除了主流的关系型数据库外的数据库，都认为是非关系型
• 包括：Redis、MongDB、Hbase、CouhDB等

非关系型数据库产生背景

• High performance——对数据库高并发读写需求
• Huge Storage——对海量数据高效存储与访问需求
• High Scalability && High Availability——对数据库高可扩展与高可用性需求

Redis简介

• Redis基于内存运行并支持持久化
• 采用key-value（键值对）的存储形式
• 优点

1. 具有极高的数据读写速度
2. 支持丰富的数据类型
3. 支持数据的持久化
4. 原子性
5. 支持数据备份

Redis配置文件

• 配置参数（/etc/redis/6379.conf）

1. bind：监听的主机地址
2. port：端口
3. daemonize yes：启用守护进程
4. pidfile：指定PID文件
5. loglevel notice：日志级别
6. logfile：指定日志文件

Redis的安装

安装步骤

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MBxT06CM-1599624728883)(C:\Users\19437\AppData\Roaming\Typora\typora-user-images\image-20200909001139880.png)]

安装环境

Centos7.6、redis-5.0.7

安装依赖环境

[root@localhost ~]# yum -y install gcc gcc-c++

解压

[root@localhost ~]#tar zxvf redis-5.0.7.tar.gz -C /opt/

编译

[root@localhost ~]#tar zxvf redis-5.0.7.tar.gz -C /opt/
[root@localhost ~]# cd /opt/redis-5.0.7/
[root@localhost redis-5.0.7]# make
[root@localhost redis-5.0.7]# make PREFIX=/usr/local/redis install

将redis建立软连接让系统所能识别

[root@localhost redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin/

配置数据位置

[root@localhost ]# cd /opt/redis-5.0.7/utils/
[root@localhost utils]# ./install_server.sh 
一直回车

ps：

Selected config: Port : 6379 Config file : /etc/redis/6379.conf //配置文件路径 Log file : /var/log/redis_6379.log //日志文件路径 Data dir : /var/lib/redis/6379 //数据文件路径 Executable : /usr/local/bin/redis-server //可执行文件路径 Cli Executable : /usr/local/bin/redis-cli //客户端命令工具

查看服务是否开启

[root@localhost utils]# netstat -lutp | grep redis
tcp        0      0 localhost:6379          0.0.0.0:*               LISTEN      15570/redis-server  

命令对redis服务进行管理

/etc/init.d/redis_6379 stop   //停止
/etc/init.d/redis_6379 start   //启动
/etc/init.d/redis_6379 reboot   //重启
/etc/init.d/redis_6379 status   //状态

Redis数据库常用命令

redis-cli命令

连接本地数据库

[root@localhost utils]# redis-cli 
127.0.0.1:6379> 

连接远程数据库

配置文件添加ip

[root@localhost utils]# vim /etc/redis/6379.conf 
70  bind 127.0.0.1  192.168.136.30

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-24dhQiAD-1599624728887)(C:\Users\19437\AppData\Roaming\Typora\typora-user-images\image-20200909000810634.png)]

[root@localhost utils]# redis-cli -h 192.168.136.30 -p 6379
192.168.136.30:6379> 

获取命令帮助

1. help@:获取中的命令列表
2. help：获取某个命令的帮助

127.0.0.1:6379> help @list
  BLPOP key [key ...] timeout
  summary: Remove and get the first element in a list, or block until one is available
  since: 2.0.0

  BRPOP key [key ...] timeout
  summary: Remove and get the last element in a list, or block until one is available
  since: 2.0.0

方法二

127.0.0.1:6379> help set
  SET key value [expiration EX seconds|PX milliseconds] [NX|XX]
  summary: Set the string value of a key
  since: 1.0.0
  group: string

• set：存放数据
• get：获取数据

127.0.0.1:6379> set student zhangsan
OK
127.0.0.1:6379> get studen
"zhangsan"

• key相关命令

1. keys：获取符合规则的键值列表
2. exists：判断键值是否存在
3. del：删除当前数据库的指定key
4. type：获取key对应的value值类型
5. rename（覆盖）/renamenx（不覆盖）：对已有的key进行重命名
6. dbsize：查看当前数据库中key的数目

• redis-benchmark测试工具

1. -h：指定服务器主机名
2. -p：指定服务器端口
3. -c：指定并发连接数
4. -n：指定请求数
5. -d：以字节的形式指定SET/GET值的数据大小
6. -q：强制退出Redis，仅显示query/sec值

• 向IP地址为192.168.10.161，端口为6379的Redis服务器发送100个并发连接与100000个请求测试性能

[root@localhost utils]#  redis-benchmark -h 192.168.136.30 -p 6379 -c 100 -n 100000

• 测试存取大小为100字节的数据包的性能

[root@localhost utils]# redis-benchmark -h 192.168.136.30 -p 6379 -q -d 100

• Redis多数据库操作

dis支持多数据库，默认支持16个数据库，0-15个命名

2、多数据库相互独立，互不干扰

3、多数据库常用命令

多数据库间切换

多数据库间移动数据

清除数据库内数据

• 设置hash结构

127.0.0.1:6379> hset table name tom age 20 score 99
(integer) 3
127.0.0.1:6379> hset table2 name jerry age 25 score 80
(integer) 3
127.0.0.1:6379> hget table age
"20"
127.0.0.1:6379> hget table name
"tom"
127.0.0.1:6379> hgetall table2
1) "name"
2) "jerry"
3) "age"
4) "25"
5) "score"
6) "80"

Redis持久化

Redis概述

• Redis是运行在内存中，内存中的数据断点丢失
• 为了能够重用Redis数据，或者防止系统故障，需要将Redis中的数据写入到磁盘空间中，即持久化

持久化分类

• RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本
• AOF方式：将执行的命令写到文件的末尾，以日志的方式来记录数据的变化

RDB持久化

• Redis的默认持久化方式为RDB
• 默认文件名dump.rdb
• 触发条件：

1. 在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
2. 执行save或者是bgsave（异步）命令
3. 执行flushall命令，清空数据库所有数据
4. 执行shutdown命令，保证服务器正常关闭且不丢失任何数据

• 优缺点

1. 适合大规模的数据恢复
2. 如果业务对数据完整性和一致性要求不高，RDB是很好的选择
3. 数据的完整性和一致性不高
4. 备份时占用内存

通过RDB文件回复数据

将dump。rdb文件拷贝到redis的安装目录的lib目录下，重启redis服务即可

• 配置文件选项

vim /etc/redis/6379.conf
save 900 1
save 300 10
save 60 10000
dbfilename dump.rdb
dir /var/lib/redis/6379
rdbcompression yes

PS:含义
900秒之内至少一次写操作，300秒之内至少发生10次写操作、60秒之内发生至少10000次写操作，只要满足其一都会触发快照操作，注释所有的save项都表示关闭RDB
RDB文件名称
RDB文件路径
是否进行压缩

AOF持久化

• Redis默认不开启
• 弥补RDB的不足（数据的不一致性）
• 采用日志的形式来记录每个写操作，并追加到文件中
• Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据恢复的恢复工作
• 根据AOF文件恢复数据

1. 将appendonly.aof文件拷贝到Redis的安装目录的bin目录下，重启Redis服务即可
2. 配置文件选项

vim /etc/redis/6379.conf

appendonly yes    ## 开启AOF持久化
appendfilename "appendonly.aof"   ## AOF文件名称
# appendfsync always
appendfsync everysec
# appendfsync no
aof-load-truncated yes

PS：
appendfsync always  ## always：同步持久化，每次发生数据变化会立刻写入磁盘
appendfsync everysec   ## 默认推荐，每秒异步记录一次（默认值）
appendfsync no   ## 不同步。交给操作系统决定如何同步

3.AOF的重写机制

• AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
• 当AOF文件的大小超过锁设定的阈值，Redis就会对AOF文件的内容压缩

4.AOF重写的原理

• Redis会fork出一条新进程，读取内存中的数据（并没有读取旧文件），并重新写到临时文件中，最后替换旧的aof文件

5.AOF的重写配置

vim /etc/redis/6379.conf

# 在日志进行BGREWRITEAOF时，如果设置为yes表示新写操作不进行同步fsync，只是暂存在缓冲区里，避免造成磁盘IO操作冲突，等重写完成后在写入。Redis中默认为no
no-appendfsync-on-rewrite no

# 当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作
auto-aof-rewrite-percentage 100

# 当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Redis时由于文件尺寸较小导致的BGREWRITEAOF
auto-aof-rewrite-min-size 64mb
12345678910

• 查看Redis内存使用

redis-cli -h 192.168.136.88 -p 6379

内存碎片率

• 操作系统分配的内存值used_memory_rss除以Redis使用的内存值used_memory计算得出
• 内存碎片是由操作系统低效的分配/回收物理内存导致的

1. 不连续的物理内存分配

• 跟踪内存碎片率对理解Redis实例的资源性能是非常重要的

1. 内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
2. 内存碎片率超过1.5，说明Redis消耗了实际需要物理内存的150％，其中50％是内存碎片率
3. 内存碎片率低于1的，说明Redis内存分配超出了物理内存，操作系统正在进行内存交换

• 内存使用率

1. redis示例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换
2. 避免内存交换
3. 针对缓存数据大小选择
4. 尽可能的使用Hash数据结构
5. 设置key的过期时间

• 回收key

1. 保证合理分配redis有限的内存资源
2. 当达到设置额最大阈值时，需选择一种key的回收策略

①默认情况下回收策略是禁止删除

②redis.com配置文件中修改maxmemory-policy属性值

③volatile-lry：使用LRU算法从已设置过期时间的数据集合中淘汰数据

④volatile-ttl：从已设置过期时间的数据集合中挑选即将过期的数据淘汰

⑤volatite-random：从已设置过期时间的数据集合中随机挑选数据淘汰

⑥allkeys-lru：使用LRU算法从所有数据集合中淘汰数据

⑦allkeys-random：从数据集合中任意选择数据淘汰

与swap空间交换
\2. 避免内存交换
\3. 针对缓存数据大小选择
\4. 尽可能的使用Hash数据结构
\5. 设置key的过期时间

• 回收key

1. 保证合理分配redis有限的内存资源
2. 当达到设置额最大阈值时，需选择一种key的回收策略

①默认情况下回收策略是禁止删除

②redis.com配置文件中修改maxmemory-policy属性值

③volatile-lry：使用LRU算法从已设置过期时间的数据集合中淘汰数据

④volatile-ttl：从已设置过期时间的数据集合中挑选即将过期的数据淘汰

⑤volatite-random：从已设置过期时间的数据集合中随机挑选数据淘汰

⑥allkeys-lru：使用LRU算法从所有数据集合中淘汰数据

⑦allkeys-random：从数据集合中任意选择数据淘汰

dom：从数据集合中任意选择数据淘汰

与swap空间交换
\2. 避免内存交换
\3. 针对缓存数据大小选择
\4. 尽可能的使用Hash数据结构
\5. 设置key的过期时间

• 回收key

1. 保证合理分配redis有限的内存资源
2. 当达到设置额最大阈值时，需选择一种key的回收策略

①默认情况下回收策略是禁止删除

②redis.com配置文件中修改maxmemory-policy属性值

③volatile-lry：使用LRU算法从已设置过期时间的数据集合中淘汰数据

④volatile-ttl：从已设置过期时间的数据集合中挑选即将过期的数据淘汰

⑤volatite-random：从已设置过期时间的数据集合中随机挑选数据淘汰

⑥allkeys-lru：使用LRU算法从所有数据集合中淘汰数据

⑦allkeys-random：从数据集合中任意选择数据淘汰

⑧no-enviction：禁止淘汰数据