NoSQL之Redis配置与优化

一、关系数据库和非关系数据库

1.1 关系型数据库

• 一个结构化的数据库，创建在关系模型基础上
• 一般面向于记录
• 包括
  • Oracle、MySQL、SQL Server、Microsoft Access、DB2等

1.2 非关系型数据库

• 除了主流的关系型数据库外的数据库，都认为是非关系型
• 包括
  • Redis、MongBD、Hbase、CouhDB等

1.3 非关系型数据库产生背景

• High performance——对数据库高并发读需求
• Huge Storage——对海量数据高效存储与访问需求
• High Scalability && High Availability——对数据库高可扩展性与高可用性需求

二、Redis安装部署

2.1 Redis简介

• Redis基于内存运行并支持持久化
• 采用**key-value（键值对）**的存储形式
• 优点
  • 具有极高的数据读写速度
  • 支持丰富的数据类型
  • 支持数据的持久化
  • 原子性
  • 支持数据备份

2.2 Redis安装部署

• 操作步骤
  

• 编译安装Redis

tar zxvf redis-5.0.7.tar.gz -C /opt/
cd /opt/redis-5.0.7 
make
make PREFIX=/usr/local/redis install
ln -s /usr/local/redis/bin/* /usr/local/bin/

• 设置Redis相关配置文件

cd /opt/redis-5.0.7/utils/
./install_server.sh
... '一直回车'
    '输入ok'

Selected config:
Port : 6379
Config file : /etc/redis/6379.conf //配置文件路径
Log file : /var/log/redis_6379.log //日志文件路径
Data dir : /var/lib/redis/6379 //数据文件路径
Executable : /usr/local/bin/redis-server //可执行文件路径
Cli Executable : /usr/local/bin/redis-cli //客户端命令工具

[root@localhost utils]# netstat -lnupt | grep redis
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      100865/redis-server 

• Redis进程控制

'停止'
/etc/init.d/redis_6379 stop
'启动'
/etc/init.d/redis_6379 start
'重启'
/etc/init.d/redis_6379 restart
'状态'
/etc/init.d/redis_6379 status

2.3 Redis配置文件

• 配置参数（/etc/redis/6379.conf）
  • bind：监听的主机地址
  • port：端口
  • daemonize yes：启用守护进程
  • pidfile：指定PID文件
  • loglevel notice：日志级别
  • logfile：指定日志文件

三、Redis数据库常用命令

redis-cli命令行工具

• 连接本地数据库

[root@localhost utils]# redis-cli
127.0.0.1:6379> 

• 连接远程数据库

vim /etc/redis/6379.conf   '进入主配置文件'
bind 127.0.0.1 14.0.0.77    '添加监听主机地址14.0.0.77'

[root@localhost utils]# /etc/init.d/redis_6379 restart   '重启服务'

[root@localhost utils]# redis-cli -h 14.0.0.77 -p 6379
14.0.0.77:6379> 

• 获取命令帮助

  • help @：获取中的命令列表
  • help ：获取某个命令的帮助
  • help ：获取可能帮助的主题列表

• redis-cli命令行工具

[root@localhost ~]# redis-cli -h 14.0.0.77 -p 6379
14.0.0.77:6379> help @list

  BLPOP key [key ...] timeout
  summary: Remove and get the first element in a list, or block until one is available
  since: 2.0.0
...

14.0.0.77:6379> help set
  SET key value [expiration EX seconds|PX milliseconds] [NX|XX]
  summary: Set the string value of a key
  since: 1.0.0
  group: string

• redis-cli命令行工具
  • set：存放数据
  • get：获取数据

[root@localhost ~]# redis-cli -h 14.0.0.77 -p 6379
14.0.0.77:6379> set color blue
OK
14.0.0.77:6379> keys *
1) "color"
14.0.0.77:6379> get color
"blue"

• key相关命令
  • keys：获取符合规则的键值列表
  • exists：判断键值是否存在
  • del：删除当前数据库的指定key
  • type：获取key对应的value值类型
  • rename（覆盖）/renamex（不覆盖）：对已有的key进行重命名
  • dbsize：查看当前数据库中key的数目

14.0.0.77:6379> keys *
1) "num"
2) "person"

14.0.0.77:6379> exists person
(integer) 1

14.0.0.77:6379> del person
(integer) 1

14.0.0.77:6379> type num
string

14.0.0.77:6379> rename num new
OK
14.0.0.77:6379> keys *
1) "new"

14.0.0.77:6379> dbsize
(integer) 1

• redis-benchmark测试工具

  • -h：指定服务器主机名

  • -p：指定服务器端口

  • -c：指定并发连接数

  • -n：指定请求数

  • -d：以字节的形式指定SET/GET指定数据大小

  • -q：强制退出Redis，仅显示query/sec值

  • 向IP地址为14.0.0.77、端口为6379的Redis服务器发送100个并发连接与100000个请求测试性能

[root@localhost ~]# redis-benchmark -h 14.0.0.77 -p 6379 -c 100 -n 100000

• 测试存取大小为100字节的数据包的性能

[root@localhost ~]# redis-benchmark -h 14.0.0.77 -p 6379 -q -d 100

• 测试本机上Redis服务在执行set与lpush操作时的性能

redis-benchmark -t set,lpush -n 100000 -q

Redis多数据库操作

• Redis支持多数据库，默认支持16个数据库，0-15命名
• 多数据库相互独立，互不干扰
• 多数据库常用命令
  • 多数据库间切换
  • 多数据库间移动数据
  • 清除数据库内数据

[root@localhost ~]# redis-cli -h 14.0.0.77 -p 6379
14.0.0.77:6379> keys *
1) "myset:__rand_int__"
2) "counter:__rand_int__"
3) "new"
4) "mylist"
5) "key:__rand_int__"

14.0.0.77:6379> select 10
OK
14.0.0.77:6379[10]> keys *
(empty list or set)
14.0.0.77:6379[10]> set name zhangsan
OK
14.0.0.77:6379[10]> keys *
1) "name"
14.0.0.77:6379[10]> get name
"zhangsan"

14.0.0.77:6379[10]> move name 3        '将name迁移到数据库3'
(integer) 1
14.0.0.77:6379[10]> keys *
(empty list or set)

14.0.0.77:6379[10]> select 3
OK
14.0.0.77:6379[3]> keys *
1) "name"
14.0.0.77:6379[3]> get name
"zhangsan"

设置hash结构

14.0.0.77:6379[3]> hset person name zhangsan
(integer) 1
14.0.0.77:6379[3]> hset person age 24
(integer) 1
14.0.0.77:6379[3]> hset person score 100
(integer) 1
14.0.0.77:6379[3]> keys *
1) "person"
2) "name"
14.0.0.77:6379[3]> hget person name
"zhangsan"
14.0.0.77:6379[3]> hget person age
"24"
14.0.0.77:6379[3]> hget person score
"100"

四、Redis持久化

4.1持久化概述

• Redis是运行在内存中，内存中的数据断电丢失
• 为了能够重用Redis数据，或者防止系统故障，需要将Redis中的数据写入到磁盘空间中，即持久化
• 持久化分类
  • RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本
  • AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化

4.2 RDB持久化

• Redis的默认持久化方式（路径：/var/lib/redis/6379）

• 默认文件名dump.rdb

• 触发条件

  • 在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
  • 执行save或者是bgsave（异步）命令
  • 执行flushall命令，清空数据库所有数据（慎用！）
  • 执行shutdown命令，保证服务器正常关闭且不丢失任何数据

• 优缺点

  • 适合大数据的数据恢复
  • 如果业务对数据完整性和一致性要求不高，RDB是很好的选择
  • 数据的完整性和一致性不高
  • 备份时占用内存

• 通过RDB文件恢复数据

  • 将dump.rdb文件拷贝到redis的安装目录bin目录下，重启redis服务即可

• 配置文件选项

vim /etc/redis/6379.conf
save 900 1     '900秒之内至少一次写操作'
save 300 10    '300秒之内至少发生10次写操作'
save 60 10000    '60秒之内发生至少10000次写操作' '只要满足其一就会触发快照操作，注释所有的save项表示关闭RDB'
dbfilename dump.rdb    'RDB文件名称'
dir /var/lib/redis/6379    'RDB文件路径'
rdbcompression yes    '是否进行压缩'

4.3 AOF持久化

• Redis默认不开启

• 弥补RDB的不足（数据的不一致性）

• 采用日志的形式来记录每个操作，并追加到文件中

• Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

• 根据AOF文件恢复数据

  • 将appendonly.aof文件拷贝到Redis的安装目录bin目录下，重启Redis服务即可

• 配置文件选项

vim /etc/redis/6379.conf
appendonly yes            '开启AOF持久化'
appendfilename "appendonly.aof"     'AOF文件名称'
# appendfsync always      'always：同步持久化，每次发生数据变化会立刻写入磁盘'
appendfsync everysec      'everysec：默认推荐，每秒异步记录一次（默认值）'
# appendfsync no          'no：不同步，交给操作系统决定如何同步'
aof-load-truncated yes    '忽略最后一条可能存在的指令'

只需要将appendonly设置为yes
appendonly.aof文件自动生成

• AOF的重写机制

  • AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
  • 当AOF文件的大小超过所设定的阈值时，Redis就会对AOF文件的内容压缩

• AOF重写的原理

  • Redis会fork出一条新进程，读取内存中的数据（并没有读取旧文件），并重新写到一个临时文件中，最后替换酒店aof文件

• AOF的重写配置

vim /etc/redis/6379.conf 
'#在日志进行BGREWRITEAOF时，如果设置为yes表示新写操作不进行同步fsync，只是暂时缓存在缓冲区里，避免造成磁盘IO操作冲突，等重写完成后再写入。Redis中默认为no'
no-appendfsync-on-rewrite no
'#当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作'
auto-aof-rewrite-percentage 100
'#当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Redis时由于文件尺寸较小导致频繁的BGWRITEAOF'
auto-aof-rewrite-min-size 64mb

五、Redis性能管理

5.1 查看Redis内存使用

[root@localhost ~]# redis-cli -h 14.0.0.77 -p 6379
14.0.0.77:6379> info memory
# Memory
used_memory:11767568
used_memory_human:11.22M     '内存使用总量'
used_memory_rss:16564224
used_memory_rss_human:15.80M
used_memory_peak:24876192
used_memory_peak_human:23.72M
used_memory_peak_perc:47.30%
used_memory_overhead:841470
used_memory_startup:791400
used_memory_dataset:10926098
used_memory_dataset_perc:99.54%
allocator_allocated:12202040
allocator_active:12582912
allocator_resident:17756160
total_system_memory:1907965952
total_system_memory_human:1.78G
used_memory_lua:37888
used_memory_lua_human:37.00K
used_memory_scripts:0
used_memory_scripts_human:0B
number_of_cached_scripts:0
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
allocator_frag_ratio:1.03
allocator_frag_bytes:380872
allocator_rss_ratio:1.41         '内存碎片率'
allocator_rss_bytes:5173248
rss_overhead_ratio:0.93
rss_overhead_bytes:-1191936
mem_fragmentation_ratio:1.41
mem_fragmentation_bytes:4837680
mem_not_counted_for_evict:0
mem_replication_backlog:0
mem_clients_slaves:0
mem_clients_normal:49694
mem_aof_buffer:0
mem_allocator:jemalloc-5.1.0
active_defrag_running:0
lazyfree_pending_objects:0

内存碎片率：1为最佳

5.2 内存碎片率

• 操作系统分配的内存值used_menory_rss除以Redis使用的内存值used_memory计算得出
• 内存碎片是由操作系统低效的分配/回收物理内存导致的
  • 不连续的物理内存分配
• 根据内存碎片率对理解Redis示例的资源性能是非常重要的
  • 内存碎片率大于1是合理的，这个值表示内存碎片率比较低
  • 内存碎片率超过1.5，说明Redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
  • 内存碎片率低于1 的，说明Redis内存分配超出的物理内存，操作系统正在进行内存交换

5.3 内存使用率

• redis示例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换
• 避免内存交换
  • 针对缓存数据大小选择
  • 尽可能的使用Hash数据结构
  • 设置key的过期时间

5.4 回收key

保证合理分配redis有限的内存资源

当达到设置的最大阀值时，需选择一种key的回收策略

• 默认情况下回收策略是禁止删除
• redis.conf配置文件中修改maxmemory-policy属性值

  • volatile-lru：使用LRU算法从已设置过期时间 （推荐）

  • volatile-ttl：从已设置过期时间的数据集合中挑选即将过期的数据淘汰 （推荐）

  • volatile-random：从已设置过期时间的数据集合中随机挑选数据淘汰

  • allkeys-lru：使用LRU算法从所有数据中淘汰数据

  • allkeys-random：从数据集合中任意选择数据淘汰

  • no-enviction：禁止淘汰数据