redis——安装部署Redis及Redis服务优化
redis
- 一、关系数据库与非关系型数据库
-
- 关系型数据库
- 非关系型数据库
- 非关系型数据库产生背景
- 二、Redis简介
- 三、部署Redis
-
- 3.1 安装环境组件编译器，编译安装redis
- 3.2 执行redis配置文件脚本，并进行配置
- 3.3 优化redis配置
- 四、Redis操作
-
- 4.1 Redis压测
- 4.2 redis数据库基础操作命令
- 4.3 移动键值对到其他的库中（一共16个库）
- 五、Redis服务优化
-
- 5.1 Redis持久化
-
- 5.1.1 RDB持久化
- 5.1.2 AOF持久化
- 5.2 AOF重写机制
- 5.3 Redis性能管理
- 5.4 什么是内存碎片率？
- 5.5 什么是内存使用率？
- 5.6 回收key
一、关系数据库与非关系型数据库
关系型数据库
- 一个结构化的数据库，创建在关系模型基础上
- 一般面向于记录
- 包括Oracle、 MySQL、 SQL Server. Microsoft Access、 DB2等
非关系型数据库
- 除了主流的关系型数据库外的数据库，都认为是非关系型
包括Redis、 MongBD、Hbase、 CouhDB等
非关系型数据库产生背景
High performance——对数据库高并发读写需求
Huge Storage——对海量数据高效存储与访问需求
High Scalability && High Availability——对数据库高可扩展性与高可用性需求
二、Redis简介
- Redis基于内存运行并支持持久化
- 采用key-value (键值对)的存储形式
- Redis与memcache一样，都是非关系型数据库
- Redis和memcache一样都是内存/缓存数据库，以K-V（key-value—）键值对形式存在，变量名-值，数据也是保存在内存中，但会定期将数据写入磁盘中
- Redis和memcache一样都是存储高热数据库
- Redis优点：
- 支持内存缓存，有极高的数据读写速度
- 支持持久化保存，可以存储对象
- 数据类型更多
- 支持集群、分布式
- 支持队列
- 支持数据备份
- 原子性
三、部署Redis
3.1 安装环境组件编译器，编译安装redis
[root@redis ~]# yum -y install gcc gcc-c++ make
[root@redis ~]# mount.cifs //192.168.200.60/ccc /mnt
Password for root@//192.168.23.1/ccc:
[root@redis ~]# cd /mnt/redis/
[root@redis redis]# tar zxvf redis-5.0.7.tar.gz -C /opt '//redis源码包可以直接到官网下载'
[root@redis redis]# cd /opt/redis-5.0.7/
[root@redis redis-5.0.7]# make '//直接进行make'
[root@redis redis-5.0.7]# make PREFIX=/usr/local/redis/ install '//指定redis目录并安装'
[root@redis redis-5.0.7]# cd /usr/local/redis/
[root@redis redis]# ls
bin
[root@redis redis]# cd bin/
[root@redis bin]# ls
redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-sentinel redis-server '//redis-cli是连接终端'
3.2 执行redis配置文件脚本，并进行配置
[root@redis bin]# cd /opt/redis-5.0.7/utils/ '//回到redis源码包解压目录'
[root@redis utils]# ./install_server.sh '//执行脚本进行配置'
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] '//选择redis默认接口，直接回车'
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] '//选择redis默认配置文件名称，直接回车'
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] '//选择默认redis日志文件名称，直接回车'
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] '//选择默认接口的默认数据文件，直接回车'
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server '//选择redis可执行文件路径，需要手动输入此路径：/usr/local/redis/bin/redis-server'
Selected config: '//选择的配置清单展示'
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort. '//直接回车完成配置'
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
redis配置文件
bind：监听的主机地址
port：端口
daemonize yes：启用守护进程
pidfile：指定PID文件
loglevel notice：日志级别
logfile：指定日志文件
3.3 优化redis配置
[root@redis utils]# ln -s /usr/local/redis/bin/* /usr/local/bin '//将redis命令创建软连接，便于系统识别'
[root@redis utils]# netstat -ntap |grep 6379
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 26085/redis-server
[root@redis utils]# /etc/init.d/redis_6379 stop '//先关闭redis服务'
Stopping ...
Redis stopped
[root@redis utils]# /etc/init.d/redis_6379 start '//开启redis服务'
Starting Redis server...
[root@redis utils]# netstat -ntap |grep 6379 '//再次检查redis开启情况'
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 36566/redis-server
tcp 0 0 127.0.0.1:6379 127.0.0.1:60648 TIME_WAIT -
设置监听端口，启动服务
[root@redis utils]# vim /etc/redis/6379.conf '//修改配置文件'
bind 127.0.0.1 192.168.200.90 '//添加监听端口'
[root@redis utils]# /etc/init.d/redis_6379 restart '//重启redis服务'
Stopping ...
Redis stopped
Starting Redis server...
[root@redis utils]# redis-cli -h 192.168.200.90 -p 6379 '//成功登陆'
192.168.200.90:6379> exit '//退出'
[root@redis utils]#
四、Redis操作
4.1 Redis压测
redis-benchmark测试工具
-h：指定服务器主机名
-p：指定服务器端口
-c：指定并发连接数
-n：指定请求数
-d：以字节的形式指定SET/GET值的数据大
向IP地址为192.168.200.90、端口为6379的Redis服务器发送100个并发连接与100000个请求测试性能
[root@redis utils]# redis-benchmark -h 192.168.200.90 -p 6379 -c 100 -n 100000 '//压测ip地址192.168.200.90，端口为6379，并发量100，请求量100000个'
...省略内容
'//截取部分典型的结果展示'
====== SET ====== '//写入速度'
100000 requests completed in 1.32 seconds '//耗费1.32秒'
100 parallel clients
3 bytes payload
keep alive: 1
====== GET ====== '//读取速度'
100000 requests completed in 1.02 seconds '//耗费1.02秒'
100 parallel clients
3 bytes payload
keep alive: 1
...省略内容
'//压测结果想要标准，需要多压测几次，取平均值即可'
[root@redis utils]# redis-benchmark -h 192.168.200.90 -p 6379 -q -d 100 '//压测IP地址为192.168.200.90，端口为6379，-q：强制退出redis，-d：指定字节数量'
'//以字节形式指定set/get值的数据大小，同样仅展示部分结果'
...省略内容
SET: 53248.14 requests per second
GET: 46253.47 requests per second
...省略内容
测试存取大小为100字节的数据包的性能
[root@localhost redis]# /usr/local/redis/bin/redis-benchmark -h 192.168.200.90 -p 6379 -q -d 100
PING_INLINE: 120481.93 requests per second
PING_BULK: 120627.27 requests per second
SET: 118063.76 requests per second
GET: 118483.41 requests per second
INCR: 118623.96 requests per second
LPUSH: 115473.45 requests per second
RPUSH: 116822.43 requests per second
LPOP: 116009.28 requests per second
RPOP: 116686.12 requests per second
SADD: 119904.08 requests per second
HSET: 120481.93 requests per second
SPOP: 118623.96 requests per second
LPUSH (needed to benchmark LRANGE): 119474.31 requests per second
LRANGE_100 (first 100 elements): 52938.06 requests per second
LRANGE_300 (first 300 elements): 21810.25 requests per second
LRANGE_500 (first 450 elements): 12210.01 requests per second
LRANGE_600 (first 600 elements): 8411.14 requests per second
MSET (10 keys): 101626.02 requests per second
4.2 redis数据库基础操作命令
返回值1 为操作成功，返回值为0操作失败
redis-cli命令行工具
[root@localhost utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379>
连接远程数据库
[root@localhost utils]# redis-cli -h 192.168.10.161 -p 6379
192.168.10.161:6379>
redis-cli命令行工具
[root@localhost utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> help @list
BLPOP key [key ...] timeout
summary: Remove and get the first element in a list, or block until one is available
since: 2.0.0
……
127.0.0.1:6379> help set
SET key value [EX seconds] [PX milliseconds] [NX|XX]
summary: Set the string value of a key
since: 1.0.0
group: string
set：存放数据
get：获取数据
[root@localhost ~]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> set teacher zhanglong
OK
127.0.0.1:6379> get teacher
"zhanglong"
keys：获取符合规则的键值列表
127.0.0.1:6379> set cname tt
OK
127.0.0.1:6379> keys *
1) "cname"
exists：判断键值是否存在
127.0.0.1:6379[3]> set bbb aa
OK
127.0.0.1:6379[3]> exists bbb
(integer) 1
127.0.0.1:6379[3]>
del：删除当前数据库的指定key
127.0.0.1:6379> set cname aa
OK
127.0.0.1:6379> keys *
1) "cname"
127.0.0.1:6379> exists cname
(integer) 1
127.0.0.1:6379> del cname
(integer) 1
127.0.0.1:6379> keys *
(empty list or set)
type：获取key对应的value值类型
127.0.0.1:6379[3]> set ttyy aa
OK
127.0.0.1:6379[3]> type ttyy
string
rename(覆盖）/ renamenx（不覆盖）：对已有的key进行重命名
127.0.0.1:6379[3]> rename ttyy zznn
OK
127.0.0.1:6379[3]> keys *
1) "zznn"
127.0.0.1:6379[3]>
dbsize：查看当前数据库中key的数目
127.0.0.1:6379[3]> keys *
1) "zznn"
127.0.0.1:6379[3]> dbsize
(integer) 1
127.0.0.1:6379[3]>
其他常用redis命令
flushdb '//清空库'
192.168.79.133:6379> move uuu 11 '//将uuu键值对移动到第12个库'
(integer) 1
综合
'//Redis的5种数据结构：string、list、hash、set和zset'
'//可以使用help string/list/hash/set/zset来查询命令帮助，命令可以使用tab键补全'
例如：
[root@redis utils]# redis-cli -h 192.168.79.133 -p 6379
192.168.200.90:6379> help set '//查看set命令帮助'
SET key value [expiration EX seconds|PX milliseconds] [NX|XX] '//set命令的格式'
summary: Set the string value of a key
since: 1.0.0
group: string
192.168.200.90:6379> set username abc '//创建键（username）值（abc）'
OK
192.168.200.90:6379> set user abc '//创建键（user）值（abc）'
OK
192.168.200.90:6379> KEYS * '//查看所有键'
1) "username"
2) "user"
192.168.200.90:6379> keys u??? '//查看u开头且占4个字节的key'
1) "user"
192.168.200.90:6379> get user '//查看user键的值'
"abc"
192.168.200.90:6379> EXISTS user '//查看user是否存在'
(integer) 1
192.168.200.90:6379> del user '//删除user键'
(integer) 1
192.168.200.90:6379> keys *
1) "username" '//删除成功'
192.168.200.90:6379> rename username uuu '//将username键重命名为uuu'
OK
192.168.200.90:6379>keys *
1) "uuu" '//重命名成功'
192.168.200.90:6379> exit
4.3 移动键值对到其他的库中（一共16个库）
库序号从0-15
[root@redis utils]# redis-cli -h 192.168.200.90 -p 6379 '//连接数据库'
192.168.200.90:6379> keys * '//默认进入第一个库0'
1) "key:__rand_int__"
2) "myset:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "uuu"
192.168.200.90:6379> select 11 '//进入第12个库'
OK
192.168.200.90:6379[11]> keys * '//查看所有键'
(empty list or set)
192.168.200.90:6379[11]> select 0 '//返回第一个库'
OK
192.168.200.90:6379> move uuu 11 '//将uuu键值对移动到第12个库'
(integer) 1
192.168.200.90:6379> select 11 '//进入第12个库'
OK
192.168.200.90:6379[11]> keys * '//查看所有键'
1) "uuu"
192.168.200.90:6379[11]> get uuu '//查看键值'
"ab"
192.168.200.90:6379[11]> flushdb '//清空库'
OK
192.168.200.90:6379[11]> keys *
(empty list or set)
192.168.200.90:6379[11]> exit '//退出'
五、Redis服务优化
5.1 Redis持久化
- 概述
Redis是运行在内存中，内存中的数据断电丢失
为了能后重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化 - 持久化分类
RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本
AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化
5.1.1 RDB持久化
概述
是Redis默认的持久化方式
默认文件名为dump.rdb
[root@redis utils]# cd /var/lib/redis/6379/
[root@redis 6379]# ls
dump.rdb
- 触发条件
- 在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
- 执行save或者是bgsave（异步）命令
- 执行flushall命令，清空数据库所有数据
- 执行shutdown命令，保证服务器正常关闭且不丢失任何数据
- 优缺点
- 适合大规模的数据恢复
- 如果业务对数据完整性和一致性要求不高，RDB是很好的选择
- 数据的完整性和一致性不高
- 备份时占用内存
- 通过RDB文件恢复数据
- 将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可
- 配置RDB持久化
[root@redis 6379]# vim /etc/redis/6379.conf '//修改配置文件'
'//搜索save，找到如下'
save 900 1 '//900秒之内至少一次写操作'
save 300 10 '//300秒内至少10次写操作'
save 60 10000 '//60秒内至少10000次写操作'
'//只要满足其一都会触发快照操作，注释所有的save项表示关闭RDB'
dbfilename dump.rdb '//RDB文件名称'
dir /var/lib/redis/6379 '//RDB文件路径'
rdbcompression yes '//开启了压缩功能'
5.1.2 AOF持久化
- 概述
- Redis默认不开启
- 弥补RDB的不足（数据的不一致性）
- 采用日志的形式来记录每个写操作，并追加到文件中
- Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
- 根据AOF文件恢复数据
- 将appendonly.aof文件拷贝到redis安装目录的bin目录下，重启redis服务即可
5.2 AOF重写机制
- 概述
- AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
- 当AOF文件的大小超过所设定的阀值时，Redis就会对AOF文件的内容压缩
- 原理
- Redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件
- 配置AOF重写
[root@redis 6379]# vim /etc/redis/6379.conf
no-appendfsync-on-rewrite no '//在日志进行BGREWRITEAOF时， 如果设置为yes表示新写操作不进行同步fsync,只暂存在缓冲区里，避免造成磁盘I0操作冲突，等重写完成后在写入。redis中默认为no'
auto-aof-rewrite-percentage 100 '//当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作'
auto-aof-rewrite-min-size 64mb '//当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF.当AOF文件到达64M的时候，发生BGREWRITEAOF操作'
5.3 Redis性能管理
'//查看Redis内存使用'
[root@redis 6379]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> INFO memory
...省略内容
5.4 什么是内存碎片率？
- 操系统分配的内存值used_ memory _rss除以redis使用的内存值
- used_memory计算得出
- 内存碎片是由操作系统低效的分配/回收物理内存导致的
- 不连续的物理内存分配
- 跟踪内存碎片率对理解redis实例的资源性能是非常重要的
- 内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
- 内存碎片率超过1.5,说明redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
- 内存碎片率低于1的，说明Redis内存分配超出了物理内存,操作系统正在进行内存交换
5.5 什么是内存使用率？
- redis实例的内存使用率超过可用最大内存，操作系统将开始进行
- 内存与swap空间交换
- 避免内存交换
- 针对缓存数据大小选择
- 尽可能的使用Hash数据结构
- 设置key的过期时间
5.6 回收key
- 保证合理分配redis有限的内存资源
- 当内存使用达到设置的最大阀值时，需要选择一种key的回收策略
- 默认情况下回收策略是禁止删除
- redis.conf配置文件中修改maxmemory-policy属性值
- volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
- volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰（建议使用）
- volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
- allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
- allkeys-random:从数据集合中任意选择数据淘汰
- no-enviction:禁止淘汰数据