redis数据库

一：nosql介绍

NoSQL：一类新出现的数据库(not only sql)，它的特点：

1. 不支持SQL语法
2. 存储结构跟传统关系型数据库中的那种关系表完全不同，nosql中存储的数据都是KV形式
3. NoSQL的世界中没有一种通用的语言，每种nosql数据库都有自己的api和语法，以及擅长的业务场景
4. NoSQL中的产品种类相当多：
   Mongodb
   Redis
   Hbase hadoop
   Cassandra hadoop

NoSQL和SQL数据库的比较：

1. 适用场景不同：sql数据库适合用于关系特别复杂的数据查询场景，nosql反之
2. “事务”特性的支持：sql对事务的支持非常完善，而nosql基本不支持事务
3. 两者在不断地取长补短，呈现融合趋势

二：redis介绍

Redis官方网站：

官网：https://redis.io/
中文官网：http://redis.cn/

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。
Redis是 NoSQL技术阵营中的一员，它通过多种键值数据类型来适应不同场景下的存储需求，借助一些高层级的接口使用其可以胜任，如缓存、队列系统的不同角色

2.1 Redis特性

Redis 与其他 key - value 缓存产品有以下三个特点：

1. Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
2. Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
3. Redis支持数据的备份，即master-slave模式的数据备份。

2.2 Redis 优势

1. 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
2. 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
3. 原子 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。
4. 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

2.3 redis应用场景

1. 用来做缓存(ehcache/memcached)——redis的所有数据是放在内存中的（内存数据库）
2. 可以在某些特定应用场景下替代传统数据库——比如社交类的应用
3. 在一些大型系统中，巧妙地实现一些特定的功能：session共享、购物车
4. 只要你有丰富的想象力，redis可以用在可以给你无限的惊喜…….

三：redis安装配置

3.1 redis安装

环境：ubuntu16.04

wget http://download.redis.io/releases/redis-3.2.8.tar.gz	# 稳定版本3.2
tar -zxvf redis-3.2.8.tar.gz
cd redis-3.2.8/
mkdir /application/
make
make PREFIX=/application/redis-3.2.8 install
mkdir /application/redis-3.2.8/conf
cp redis.conf /application/redis-3.2.8/conf/
cd /application/
ln -s redis-3.2.8 redis

安装完成后查看redis的核心文件有：

root@ubuntu:/application/redis# ll bin
total 16292
-rwxr-xr-x 1 root root 2683048 Feb 26 14:25 redis-benchmark*
-rwxr-xr-x 1 root root   28856 Feb 26 14:25 redis-check-aof*
-rwxr-xr-x 1 root root 5548408 Feb 26 14:25 redis-check-rdb*
-rwxr-xr-x 1 root root 2859520 Feb 26 14:25 redis-cli*
lrwxrwxrwx 1 root root      12 Feb 26 14:25 redis-sentinel -> redis-server*
-rwxr-xr-x 1 root root 5548408 Feb 26 14:25 redis-server*

redis-server： redis服务器
redis-cli： redis命令行客户端
redis-benchmark： redis性能测试工具
redis-check-aof： AOF文件修复工具
redis-check-rdb： RDB文件检索工具

3.2 redis配置

设置环境变量：

echo 'export PATH=/application/redis/bin:$PATH' >>/etc/profile
source /etc/profile
root@ubuntu:/application# redis-server --version
Redis server v=3.2.8 sha=00000000:0 malloc=jemalloc-4.0.3 bits=64 build=dea7c07f75756992

完成后即可启动redis服务，但启动后会出现几条警告：

# WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
# Server started, Redis version 3.2.8
# WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
# WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.

如要消除这些警告可使用以下设置：

# 允许超量使用内存
sysctl vm.overcommit_memory=1
echo 'vm.overcommit_memory = 1' >>/etc/sysctl.conf
sysctl -p

echo 511 > /proc/sys/net/core/somaxconn
sed -i '/exit/i\echo 511 > /proc/sys/net/core/somaxconn' /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled
sed -i '/exit/i\echo never > /sys/kernel/mm/transparent_hugepage/enabled' /etc/rc.local

redis.conf配置文件核心配置项：

bind 127.0.0.1		# 绑定ip：如果需要远程访问，可将此⾏注释，或绑定⼀个真实ip
port 6379			# 端⼝，默认为6379
daemonize yes
# 是否以守护进程运⾏
# 如果以守护进程运⾏，则不会在命令⾏阻塞，类似于服务
# 如果以⾮守护进程运⾏，则当前终端被阻塞
# 设置为yes表示守护进程，设置为no表示⾮守护进程
# 推荐设置为yes
dbfilename dump.rdb		# 数据⽂件
dir /var/lib/redis		# 数据⽂件存储路径
logfile /var/log/redis/redis-server.log		# ⽇志⽂件
database 16				# 数据库，默认有16个
slaveof					# 主从复制，类似于双机备份

3.3 redis启动

1：命令行启动

redis-server /application/redis/conf/redis.conf &

2：supervisor接管redis

apt install -y supervisor

在/etc/supervisor/conf.d目录下新建redis-6379.conf配置文件（文件名自取）

root@ubuntu:/etc/supervisor/conf.d# cat redis-6379.conf
[program:redis]
directory = /application/redis/
command=/application/redis/bin/redis-server conf/redis.conf
user=root
autostart=true
autorestart=true
redirect_stderr=true
startsecs=0
stopsignal=KILL
stopasgroup=true
stdout_logfile_maxbytes=20MB
stdout_logfile_backups=20
stdout_logfile=/var/log/supervisor/%(program_name)s.log
stderr_logfile=/var/log/supervisor/%(program_name)s.log

然后执行supervisor命令：

root@ubuntu:/etc/supervisor/conf.d# supervisorctl update redis
# 第一次刚创建配置文件，所以使用update， 以后使用supervisorctl restart|start|stop redis管理

查看日志：

root@ubuntu:/etc/supervisor/conf.d# tail -f /var/log/supervisor/redis.log

3.4 使用客户端连接redis

root@ubuntu:~# redis-cli
127.0.0.1:6379> ping
PONG				# 连接成功，可以相互通信
127.0.0.1:6379> select 10		# 默认连接的是0号数据库，使用select选择几号数据库
OK
127.0.0.1:6379[10]>

四：redis数据类型

redis是key-value的数据结构，每条数据都是⼀个键值对，键的类型是字符串
注意：键不能重复
值的类型分为五种：

1. 字符串string
2. 哈希hash
3. 列表list
4. 集合set
5. 有序集合zset

4.1 string类型

字符串类型是Redis中最为基础的数据存储类型，它在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。
1：保存
如果设置的键不存在则为添加，如果设置的键已经存在则修改

set key value

设置键为name值为ginvip的数据

set name ginvip

设置键值及过期时间，以秒为单位

setex key seconds value

设置键为aa值为aa过期时间为3秒的数据

setex aa 3 aa

设置多个键值

mset key1 value1 key2 value2 ...

设置键为’a1’值为’python’、键为’a2’值为’java’、键为’a3’值为’c’

mset a1 python a2 java a3 c

追加值

append key value

向键为a1中追加值’ haha’

append 'a1' 'haha'

2：获取
获取：根据键获取值，如果不存在此键则返回nil

get key

例5：获取键’name’的值

get 'name'

根据多个键获取多个值

mget key1 key2 ...

例6：获取键a1、a2、a3’的值

mget a1 a2 a3

4.2 键命令

查找键，参数⽀持正则表达式：keys pattern
例1：查看所有键

127.0.0.1:6379[10]> keys *
1) "name"

例2：查看名称中包含a的键

keys 'a*'

判断键是否存在，如果存在返回1，不存在返回0

exists key1

例3：判断键a1是否存在

exists a1

查看键对应的value的类型

type key

例4：查看键a1的值类型，为redis⽀持的五种类型中的⼀种

type a1

删除键及对应的值

del key1 key2 ...

例5：删除键a2、a3

del a2 a3

设置过期时间，以秒为单位
如果没有指定过期时间则⼀直存在，直到使⽤DEL移除

expire key seconds

例6：设置键’a1’的过期时间为3秒

expire 'a1' 3

查看有效时间，以秒为单位

ttl key

例7：查看键’bb’的有效时间

ttl bb

4.3 hash类型

hash⽤于存储对象，对象的结构为属性、值，值的类型为string
1：增加、修改
设置单个属性

hset key field value

例1：设置键 user的属性name为itheima

hset user name itheima

设置多个属性

hmset key field1 value1 field2 value2 ...

例2：设置键u2的属性name为bruce、属性age为11

hmset u2 name bruce age 11

2：获取
获取指定键所有的属性

hkeys key

例3：获取键u2的所有属性

hkeys u2

获取⼀个属性的值

hget key field

例4：获取键u2属性’name’的值

hget u2 'name'

获取多个属性的值

hmget key field1 field2 ...

例5：获取键u2属性’name’、'age的值

hmget u2 name age

获取所有属性的值

hvals key

例6：获取键’u2’所有属性的值

hvals u2

3：删除
删除整个hash键及值，使⽤del命令；删除属性，属性对应的值会被⼀起删除

hdel key field1 field2 ...

例7：删除键’u2’的属性’age’

hdel u2 age

4.4 list类型

列表的元素类型为string；按照插⼊顺序排序
1：增加
在左侧插⼊数据

lpush key value1 value2 ...

例1：从键为’a1’的列表左侧加⼊数据a 、 b 、c

lpush a1 a b c

在右侧插⼊数据

rpush key value1 value2 ...

例2：从键为’a1’的列表右侧加⼊数据0 1

rpush a1 0 1

在指定元素的前或后插⼊新元素

linsert key before或after 现有元素 新元素

例3：在键为’a1’的列表中元素’b’前加⼊’3’

linsert a1 before b 3

2：获取
返回列表⾥指定范围内的元素
start、stop为元素的下标索引
索引从左侧开始，第⼀个元素为0
索引可以是负数，表示从尾部开始计数，如-1表示最后⼀个元素

lrange key start stop

例4：获取键为’a1’的列表所有元素

lrange a1 0 -1

设置指定索引位置的元素值
索引从左侧开始，第⼀个元素为0
索引可以是负数，表示尾部开始计数，如-1表示最后⼀个元素

lset key index value

例5：修改键为’a1’的列表中下标为1的元素值为’z’

lset a1 1 z

3：删除
删除指定元素
将列表中前count次出现的值为value的元素移除

count > 0: 从头往尾移除
count < 0: 从尾往头移除
count = 0: 移除所有
lrem key count value

例6.1：向列表’a2’中加⼊元素’a’、‘b’、‘a’、‘b’、‘a’、‘b’

lpush a2 a b a b a b

例6.2：从’a2’列表右侧开始删除2个’b’

lrem a2 -2 b

例6.3：查看列表’py12’的所有元素

lrange a2 0 -1

4.5 set类型

⽆序集合
元素为string类型
元素具有唯⼀性，不重复
说明：对于集合没有修改操作
1：增加
添加元素

sadd key member1 member2 ...

例1：向键’a3’的集合中添加元素’zhangsan’、‘lisi’、‘wangwu’

sadd a3 zhangsan sili wangwu

2：获取
返回所有的元素

smembers key

例2：获取键’a3’的集合中所有元素

smembers a3

3：删除
删除指定元素

srem key

例3：删除键’a3’的集合中元素’wangwu’

srem a3 wangwu

4.6 zset类型

sorted set，有序集合
元素为string类型
元素具有唯⼀性，不重复
每个元素都会关联⼀个double类型的score，表示权重，通过权重将元素从⼩到⼤排序
说明：没有修改操作
1：增加
添加

zadd key score1 member1 score2 member2 ...

例1：向键’a4’的集合中添加元素’lisi’、‘wangwu’、‘zhaoliu’、‘zhangsan’，权重分别为4、5、6、3

zadd a4 4 lisi 5 wangwu 6 zhaoliu 3 zhangsan

2：获取
返回指定范围内的元素
start、stop为元素的下标索引
索引从左侧开始，第⼀个元素为0
索引可以是负数，表示从尾部开始计数，如-1表示最后⼀个元素

zrange key start stop

例2：获取键’a4’的集合中所有元素

zrange a4 0 -1

返回score值在min和max之间的成员

zrangebyscore key min max

例3：获取键’a4’的集合中权限值在5和6之间的成员

zrangebyscore a4 5 6

返回成员member的score值

zscore key member

例4：获取键’a4’的集合中元素’zhangsan’的权重

zscore a4 zhangsan

3：删除
删除指定元素

zrem key member1 member2 ...

例5：删除集合’a4’中元素’zhangsan’

zrem a4 zhangsan

删除权重在指定范围的元素

zremrangebyscore key min max

例6：删除集合’a4’中权限在5、6之间的元素

zremrangebyscore a4 5 6

五：redis主从

⼀个master可以拥有多个slave，⼀个slave⼜可以拥有多个slave，如此下去，形成了强⼤的多级服务器集群架构
master用来写数据，slave用来读数据，经统计：网站的读写比率是10:1
通过主从配置可以实现读写分离
master和slave都是一个redis实例(redis服务)

5.1 环境准备

IP	hostname	system	role
172.17.2.234	unode01.ginvip.com	ubuntu16.04	master
172.17.2.235	unode02.ginvip.com	ubuntu16.04	slave

说明：redis主从配置可以是一台机器，也可以是多台

5.2 配置主redis

安装步骤同上，只是需要修改配置文件

bind 172.17.2.234		# 修改为本机IP

重启redis：

root@unode01:~# supervisorctl restart redis

5.3 配置从redis

配置文件修改如下项：

bind 172.17.2.235
slaveof 172.17.2.234 6379

启动redis：

supervisorctl start redis

查看日志：

root@unode02:/etc/supervisor/conf.d# tail -f /var/log/supervisor/redis.log
5592:S 26 Feb 17:35:38.891 * Connecting to MASTER 172.17.2.234:6379
5592:S 26 Feb 17:35:38.892 * MASTER <-> SLAVE sync started
5592:S 26 Feb 17:35:38.894 * Non blocking connect for SYNC fired the event.
5592:S 26 Feb 17:35:38.896 * Master replied to PING, replication can continue...
5592:S 26 Feb 17:35:38.899 * Partial resynchronization not possible (no cached master)
5592:S 26 Feb 17:35:38.901 * Full resync from master: 3595f8c7f18f7511f9c62865c20585736fa30a16:1
5592:S 26 Feb 17:35:38.966 * MASTER <-> SLAVE sync: receiving 127 bytes from master
5592:S 26 Feb 17:35:38.967 * MASTER <-> SLAVE sync: Flushing old data
5592:S 26 Feb 17:35:38.968 * MASTER <-> SLAVE sync: Loading DB in memory
5592:S 26 Feb 17:35:38.968 * MASTER <-> SLAVE sync: Finished with success

5.4 查看主从关系

root@unode01:~# redis-cli -h 172.17.2.234 info Replication
# Replication
role:master
connected_slaves:1
slave0:ip=172.17.2.235,port=6379,state=online,offset=155,lag=1
master_repl_offset:155
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:154

5.5 数据操作

172.17.2.234:6379> set name ginvip
OK
172.17.2.235:6379> get name
"ginvip"

六：redis常用操作总结

6.1 设置键值

将字符串值value关联到key。如果key已经持有其他值，set命令就覆写旧值，无视其类型。并且默认的过期时间是永久，即永远不会过期。键值对，一 一对应。

6.2 设置键值对的过期时间

6.3 hash，哈希操作

将哈希表key中的域field的值设为value。field 和value 相当于之前的键值对，key为一个大的范围，如果key不存在，一个新的哈希表被创建并进行 HSET操作。如果域 field已经存在于哈希表中，旧值将被覆盖。(可以理解为学校里的班级中的)

6.4 列表(list)操作 （可以存储重复值）

根据count 的值，删除列表中相应个数的value的元素，count的值可以是以下几种： count > 0：从表头开始向表尾搜索，移除与value相等的元素，数量为count。 count < 0：从表尾开始向表头搜索，移除与 value相等的元素，数量为count的绝对值。 count = 0：移除表中所有与value 相等的值。

6.5 set集合（集合没有重复值）的操作

6.6 事务操作

Redis事务可以一次执行多个命令，事务具有以下特征：
隔离操作：事务中的所有命令都会序列化、按顺序地执行，不会被其他命令打扰。
原子操作：事务中的命令要么全部被执行，要么全部都不执行。

6.7 发布/订阅操作

给某个频道发布消息：

publish channel message

订阅某个频道的消息：

subscribe channel

6.8 持久化

redis提供了两种数据备份方式，一种是RDB，另外一种是AOF，以下将详细介绍这两种备份策略

七：python与redis交互

7.1 python安装redis

# python版本为3.7.4
pip install redis

7.2 StrictRedis对象⽅法

from redis import *
sr = StrictRedis(host='localhost', port=6379, db=0, password='')		# 都是默认参数
# 简写
# sr=StrictRedis()

注意：Python3.7版本默认写入到redis数据库中的为字节类型数据，所以取到的值都是字节类型。
decode_responses： 以字符串的形式写入Redis，为False的话写入字节类型

sr = redis.StrictRedis(host='172.17.2.118', port=10009, db=0, password='BruceLee', charset='utf8'， decode_responses=True)
sr.set('mobile', '963258741')
print(sr.get('mobile'))

Redis对象方法也是一样：

sr = redis.Redis(host = '172.17.2.118', port = 10009, db = 0, password = 'BruceLee', charset='utf8', decode_responses=True)

7.3 字符串的操作

 # 添加一个值进去，并且设置过期时间为60秒，如果不设置，则永远不会过期
 sr.set('username','jack',ex=60)
 # 获取一个值
 sr.get('username')
 # 删除一个值
 sr.delete('username')
 # 给某个值自增1
 sr.set('count',1)
 sr.incr('count')  # 这时候read_count变为2
 # 给某个值减少1
 sr.decr('count') # 这时候read_count变为1

7.4 列表的操作

同字符串操作，所有方法的名称跟使用redis-cli操作是一样的：

# 给languages这个列表往左边添加一个python
sr.lpush('languages','python')

# 给languages这个列表往左边添加一些元素
sr.lpush('languages','php','c')

# 获取languages这个列表中的所有值
print (sr.lrange('languages',0,-1))

7.5 集合的操作

# 给集合team添加一个元素
sr.sadd('team','xiaotuo')
# 给集合team添加一些元素
sr.sadd('name','lee', 'van')

# 获取集合中的所有元素
print(sr.smembers('name'))

7.6 哈希(hash)的操作

# 给website这个哈希中添加baidu
sr.hset('website','baidu','baidu.com')

# 给website这个哈希中添加google
sr.hset('website','google','google.com')

# 获取website这个哈希中的所有值
print (sr.hgetall('website'))

7.7 事务(管道)操作

redis支持事务操作，也即一些操作只有统一完成，才能算完成。否则都执行失败，用python操作redis也是非常简单

# 定义一个管道实例
pip = sr.pipeline()
# 做第一步操作，给BankA自增长1
pip.incr('BankA')
# 做第二步操作，给BankB自减少1
pip.desc('BankB')
# 执行事务
pip.execute()

7.8 发布与订阅

# one.py
from redis import Redis
cache = Redis(host = '172.17.2.118', port = 10009, db = 0, password = 'BruceLee', charset='utf8', decode_responses=True)
ps = cache.pubsub()
ps.subscribe('email')
while True:
    for item in ps.listen():
        # print(item)
        if item['type'] == 'message':
            print(item['data'])

# two.py
from redis import Redis
cache = Redis(host = '172.17.2.118', port = 10009, db = 0, password = 'BruceLee', charset='utf8', decode_responses=True)
for x in range(5):
    cache.publish('email', 'no way')

7.9 django-redis

pip install django-redis

settings配置文件中配置redis连接信息：

# 使用redis作为cache backend使用配置
CACHES = {
    'default': {
        'BACKEND': 'django_redis.cache.RedisCache',
        'LOCATION': 'redis://172.17.2.118:10009/9',
        'OPTIONS': {
            'CLIENT_CLASS': 'django_redis.client.DefaultClient',
            "CONNECTION_POOL_KWARGS": {"max_connections": 10, "decode_responses": True},
            'PASSWORD': 'BruceLee',
        }
    }
}
# "CONNECTION_POOL_KWARGS": 连接池设置
# "max_connections": 最大连接数
# "decode_responses": 以字符串的形式写入Redis，为False的话写入字节类型
# "decode_responses": True参数，Django中在保存session时会报UnicodeDecodeError: 'utf-8' codec错误

连接redis数据：

conn = get_redis_connection('default')		# default参数为上面CACHES的键
conn.set(mobile, rand_num, ex = 5*60)

7.10 pipeline操作Redis数据库

Redis的 C - S 架构：

1. 基于客户端-服务端模型以及请求/响应协议的TCP服务。
2. 客户端向服务端发送一个查询请求，并监听Socket返回。
3. 通常是以阻塞模式，等待服务端响应。
4. 服务端处理命令，并将结果返回给客户端。

存在的问题：
如果Redis服务端需要同时处理多个请求，加上网络延迟，那么服务端利用率不高，效率降低。

解决的办法：管道pipeline

1. 可以一次性发送多条命令并在执行完后一次性将结果返回。
2. pipeline通过减少客户端与Redis的通信次数来实现降低往返延时时间。

实现的原理

1. 实现的原理是队列。
2. Client可以将三个命令放到一个tcp报文一起发送。
3. Server则可以将三条命令的处理结果放到一个tcp报文返回。
4. 队列是先进先出，这样就保证数据的顺序性。

# 创建Redis管道
pl = redis_conn.pipeline()
# 将Redis请求添加到队列
pl.setex('sms_%s' % mobile, constants.SMS_CODE_REDIS_EXPIRES, sms_code)
pl.setex('send_flag_%s' % mobile, constants.SEND_SMS_CODE_INTERVAL, 1)
# 执行请求
pl.execute()