1.学习视频: 黑马程序员Redis入门到实战教程,深度透析redis底层原理+redis分布式锁+企业解决方案+黑马点评实战项目
2. 本内容仅用于个人学习笔记,如有侵扰,联系删除
3. 本章学习目标:
- 初始Redis
- 认识NoSQL
- 认识Redis
- 安装Redis
- Redis桌面客户端
- Redis常见命令
- 通用命令
- 5种常见数据结构
- 不同数据结构的操作命令
- Redis的Java客户端
- Jedis客户端
- SpringDataRedis客户端
Redis
是一种键值型的NoSql
数据库,这里有两个关键字:
键值型
NoSql
其中键值型,是指Redis
中存储的数据都是以key
、value
对的形式存储,而value
的形式多种多样,可以是字符串、数值、甚至json
:
而NoSql则是相对于传统关系型数据库而言,有很大差异的一种数据库。
对于存储的数据,没有类似Mysql
那么严格的约束,比如唯一性,是否可以为null
等等,所以我们把这种松散结构的数据库,称之为NoSQL数据库。
NoSql可以翻译做Not Only Sql(不仅仅是SQL),或者是No Sql(非Sql的)数据库。是相对于传统关系型数据库而言,有很大差异的一种特殊的数据库,因此也称之为非关系型数据库。
传统关系型数据库是结构化数据,每一张表都有严格的约束信息:字段名、字段数据类型、字段约束等等信息,插入的数据必须遵守这些约束:
而NoSql则对数据库格式没有严格约束,往往形式松散,自由。
传统数据库的表与表之间往往存在关联,例如外键:
而非关系型数据库不存在关联关系,要维护关系要么靠代码中的业务逻辑,要么靠数据之间的耦合:
{
id: 1,
name: "张三",
orders: [
{
id: 1,
item: {
id: 10, title: "荣耀6", price: 4999
}
},
{
id: 2,
item: {
id: 20, title: "小米11", price: 3999
}
}
]
}
此处要维护“张三”的订单与商品“荣耀”和“小米11”的关系,不得不冗余的将这两个商品保存在张三的订单文档中,不够优雅。还是建议用业务来维护关联关系。
传统关系型数据库会基于Sql语句做查询,语法有统一标准;
传统关系型数据库能满足事务ACID的原则。
而非关系型数据库往往不支持事务,或者不能严格保证ACID的特性,只能实现基本的一致性。
除了上述四点以外,在存储方式、扩展性、查询性能上关系型与非关系型也都有着显著差异,总结如下:
Redis
诞生于2009年全称是Remote Dictionary Server
远程词典服务器,是一个基于内存的键值型NoSQL
数据库。
特征:
key-value
)型,value
支持多种不同数据结构,功能丰富作者:Antirez
Redis的官方网站地址:https://redis.io/
大多数企业都是基于Linux
服务器来部署项目,而且Redis
官方也没有提供Windows
版本的安装包。因此课程中我们会基于Linux
系统来安装Redis
.
此处选择的Linux
版本为CentOS 7
.
Redis是基于C语言编写的,因此首先需要安装Redis所需要的gcc依赖:
yum install -y gcc tcl
然后将课前资料提供的Redis安装包上传到虚拟机的任意目录:
例如,我放到了/usr/local/src
目录:
解压缩:
tar -xzf redis-6.2.6.tar.gz
cd redis-6.2.6
运行编译命令:
make && make install
如果没有出错,应该就安装成功了。
默认的安装路径是在 /usr/local/bin
目录下:
该目录已经默认配置到环境变量,因此可以在任意目录下运行这些命令。其中:
redis-cli
:是redis提供的命令行客户端redis-server
:是redis的服务端启动脚本redis-sentinel
:是redis的哨兵启动脚本redis的启动方式有很多种,例如:
安装完成后,在任意目录输入redis-server命令即可启动Redis:
redis-server
这种启动属于前台启动
,会阻塞整个会话窗口,窗口关闭或者按下CTRL + C
则Redis停止。不推荐使用。
如果要让Redis以后台
方式启动,则必须修改Redis配置文件,就在我们之前解压的redis安装包下(/usr/local/src/redis-6.2.6
),名字叫redis.conf:
我们先将这个配置文件备份一份:
cp redis.conf redis.conf.bck
然后修改redis.conf文件中的一些配置:
# 监听的地址,默认是127.0.0.1,会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问,生产环境不要设置为0.0.0.0
bind 0.0.0.0
# 守护进程,修改为yes后即可后台运行
daemonize yes
# 密码,设置后访问Redis必须输入密码
requirepass 123321
Redis的其它常见配置:
# 监听的端口
port 6379
# 工作目录,默认是当前目录,也就是运行redis-server时的命令,日志、持久化等文件会保存在这个目录
dir .
# 数据库数量,设置为1,代表只使用1个库,默认有16个库,编号0~15
databases 1
# 设置redis能够使用的最大内存
maxmemory 512mb
# 日志文件,默认为空,不记录日志,可以指定日志文件名
logfile "redis.log"
启动Redis:
# 进入redis安装目录
cd /usr/local/src/redis-6.2.6
# 启动
redis-server redis.conf
停止服务:
# 利用redis-cli来执行 shutdown 命令,即可停止 Redis 服务,
# 因为之前配置了密码,因此需要通过 -u 来指定密码
redis-cli -u 123321 shutdown
我们也可以通过配置来实现开机自启。
首先,新建一个系统服务文件:
vi /etc/systemd/system/redis.service
内容如下:
[Unit]
Description=redis-server
After=network.target
[Service]
Type=forking
ExecStart=/usr/local/bin/redis-server /usr/local/src/redis-6.2.6/redis.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target
然后重载系统服务:
systemctl daemon-reload
现在,我们可以用下面这组命令来操作redis了:
# 启动
systemctl start redis
# 停止
systemctl stop redis
# 重启
systemctl restart redis
# 查看状态
systemctl status redis
执行下面的命令,可以让redis开机自启:
systemctl enable redis
安装完成Redis
,我们就可以操作Redis
,实现数据的CRUD
了。这需要用到Redis
客户端,包括:
Redis安装完成后就自带了命令行客户端:redis-cli
,使用方式如下:
redis-cli [options] [commonds]
其中常见的options有:
-h 127.0.0.1
:指定要连接的redis节点的IP地址,默认是127.0.0.1-p 6379
:指定要连接的redis节点的端口,默认是6379-a 123321
:指定redis的访问密码其中的commonds就是Redis的操作命令,例如:
ping
:与redis服务端做心跳测试,服务端正常会返回pong
不指定commond时,会进入redis-cli
的交互控制台:
GitHub上的大神编写了Redis的图形化桌面客户端,地址:https://github.com/uglide/RedisDesktopManager
不过该仓库提供的是RedisDesktopManager
的源码,并未提供windows
安装包。
在下面这个仓库可以找到安装包:https://github.com/lework/RedisDesktopManager-Windows/releases
在课前资料中可以找到Redis
的图形化桌面客户端:
解压缩后,运行安装程序即可安装:
安装完成后,在安装目录下找到rdm.exe文件:
双击即可运行:
Redis默认有16个仓库,编号从0至15. 通过配置文件可以设置仓库数量,但是不超过16,并且不能自定义仓库名称。
如果是基于redis-cli连接Redis服务,可以通过select命令来选择数据库:
# 选择 0号库
select 0
Redis是典型的key-value数据库,key一般是字符串,而value包含很多不同的数据类型:
Redis为了方便我们学习,将操作不同数据类型的命令也做了分组,在官网
( https://redis.io/commands )可以查看到不同的命令:
不同类型的命令称为一个group,我们也可以通过help命令来查看各种不同group的命令:
接下来,我们就学习常见的五种基本数据类型的相关命令。
通用指令是部分数据类型的,都可以使用的指令,常见的有:
KEYS
:查看符合模板的所有keyDEL
:删除一个指定的keyEXISTS
:判断key是否存在EXPIRE
:给一个key设置有效期,有效期到期时该key会被自动删除TTL
:查看一个KEY的剩余有效期通过help [command]
可以查看一个命令的具体用法,例如:
# 查看keys命令的帮助信息:
127.0.0.1:6379> help keys
KEYS pattern
summary: Find all keys matching the given pattern
since: 1.0.0
group: generic
String
类型,也就是字符串类型,是Redis
中最简单的存储类型。
其value
是字符串,不过根据字符串的格式不同,又可以分为3类:
不管是哪种格式,底层都是字节数组形式存储,只不过是编码方式不同。字符串类型的最大空间不能超过512m.
String的常见命令有:
SET
:添加或者修改已经存在的一个String类型的键值对GET
:根据key获取String类型的valueMSET
:批量添加多个String类型的键值对MGET
:根据多个key获取多个String类型的valueINCR
:让一个整型的key自增1INCRBY
:让一个整型的key自增并指定步长,例如:incrby num 2 让num值自增2INCRBYFLOAT
:让一个浮点类型的数字自增并指定步长SETNX
:添加一个String类型的键值对,前提是这个key不存在,否则不执行SETEX
:添加一个String类型的键值对,并且指定有效期Key结构
Redis没有类似MySQL中的Table的概念,我们该如何区分不同类型的key呢?
例如,需要存储用户、商品信息到redis,有一个用户id是1,有一个商品id恰好也是1,此时如果使用id作为key,那就会冲突了,该怎么办?
我们可以通过给key添加前缀加以区分,不过这个前缀不是随便加的,有一定的规范:
Redis的key允许有多个单词形成层级结构,多个单词之间用’:'隔开,格式如下:
项目名:业务名:类型:id
这个格式并非固定,也可以根据自己的需求来删除或添加词条。这样以来,我们就可以把不同类型的数据区分开了。从而避免了key的冲突问题。
例如我们的项目名称叫 heima,有user和product两种不同类型的数据,我们可以这样定义key:
user相关的key:heima:user:1
product相关的key:heima:product:1
如果Value是一个Java对象,例如一个User对象,则可以将对象序列化为JSON字符串后存储:
KEY | VALUE |
---|---|
heima:user:1 | {“id”:1, “name”: “Jack”, “age”: 21} |
heima:product:1 | {“id”:1, “name”: “小米11”, “price”: 4999} |
并且,在Redis的桌面客户端中,还会以相同前缀作为层级结构,让数据看起来层次分明,关系清晰:
Hash类型,也叫散列,其value是一个无序字典,类似于Java中的HashMap结构。
String结构是将对象序列化为JSON字符串后存储,当需要修改对象某个字段时很不方便:
Hash结构可以将对象中的每个字段独立存储,可以针对单个字段做CRUD:
Hash的常见命令有:
HSET key field value
:添加或者修改hash类型key的field的值
HGET key field
:获取一个hash类型key的field的值
HMSET
:批量添加多个hash类型key的field的值
HMGET
:批量获取多个hash类型key的field的值
HGETALL
:获取一个hash类型的key中的所有的field和value
HKEYS
:获取一个hash类型的key中的所有的field
HINCRBY
:让一个hash类型key的字段值自增并指定步长
HSETNX
:添加一个hash类型的key的field值,前提是这个field不存在,否则不执行
Redis
中的List
类型与Java
中的LinkedList
类似,可以看做是一个双向链表结构。既可以支持正向检索和也可以支持反向检索。
特征也与LinkedList类似:
常用来存储一个有序数据,例如:朋友圈点赞列表,评论列表等。
List的常见命令有:
LPUSH key element ...
:向列表左侧插入一个或多个元素LPOP key
:移除并返回列表左侧的第一个元素,没有则返回nilRPUSH key element ...
:向列表右侧插入一个或多个元素RPOP key
:移除并返回列表右侧的第一个元素LRANGE key star end
:返回一段角标范围内的所有元素BLPOP和BRPOP
:与LPOP和RPOP类似,只不过在没有元素时等待指定时间,而不是直接返回nilRedis
的Set
结构与Java
中的HashSet
类似,可以看做是一个value
为null
的HashMap
。因为也是一个hash
表,因此具备与HashSet
类似的特征:
无序
元素不可重复
查找快
支持交集、并集、差集等功能
Set的常见命令有:
SADD key member...
:向set中添加一个或多个元素SREM key member ...
: 移除set中的指定元素SCARD key
: 返回set中元素的个数SISMEMBER key member
:判断一个元素是否存在于set中SMEMBERS
:获取set中的所有元素SINTER key1 key2 ...
:求key1与key2的交集SDIFF key1 key2...
: 求key1与key2的差集SUNION key1 key2...
: 求key1与key2的并集例如两个集合:s1和s2:
练习:
将下列数据用Redis的Set集合来存储:
利用Set的命令实现下列功能:
127.0.0.1:6379> SADD zs lisi wangwu zhaoliu
(integer) 3
127.0.0.1:6379> SADD ls wangwu mazi ergou
(integer) 3
127.0.0.1:6379> SCARD zs
(integer) 3
127.0.0.1:6379> SINTER zs ls
1) "wangwu"
127.0.0.1:6379> SDIFF zs ls
1) "zhaoliu"
2) "lisi"
127.0.0.1:6379> SUNION zs ls
1) "wangwu"
2) "zhaoliu"
3) "lisi"
4) "mazi"
5) "ergou"
127.0.0.1:6379> SISMEMBER zs lisi
(integer) 1
127.0.0.1:6379> SISMEMBER ls zhangsan
(integer) 0
127.0.0.1:6379> SREM zs lisi
(integer) 1
127.0.0.1:6379> SMEMBERS zs
1) "zhaoliu"
2) "wangwu"
Redis
的SortedSet
是一个可排序的set集合,与Java
中的TreeSet
有些类似,但底层数据结构却差别很大。SortedSet
中的每一个元素都带有一个score
属性,可以基于score
属性对元素排序,底层的实现是一个跳表(SkipList
)加 hash
表。
SortedSet具备下列特性:
因为SortedSet的可排序特性,经常被用来实现排行榜这样的功能。
SortedSet的常见命令有:
ZADD key score member
:添加一个或多个元素到sorted set ,如果已经存在则更新其score值ZREM key member
:删除sorted set中的一个指定元素ZSCORE key member
: 获取sorted set中的指定元素的score值ZRANK key member
:获取sorted set 中的指定元素的排名ZCARD key
:获取sorted set中的元素个数ZCOUNT key min max
:统计score值在给定范围内的所有元素的个数ZINCRBY key increment member
:让sorted set中的指定元素自增,步长为指定的increment值ZRANGE key min max
:按照score排序后,获取指定排名范围内的元素ZRANGEBYSCORE key min max
:按照score排序后,获取指定score范围内的元素ZDIFF、ZINTER、ZUNION
:求差集、交集、并集注意:所有的排名默认都是升序,如果要降序则在命令的Z后面添加REV即可,例如:
升序获取sorted set 中的指定元素的排名:ZRANK key member
降序获取sorted set 中的指定元素的排名:ZREVRANK key memeber
练习题:
将班级的下列学生得分存入Redis的SortedSet中:
Jack 85, Lucy 89, Rose 82, Tom 95, Jerry 78, Amy 92, Miles 76
并实现下列功能:
127.0.0.1:6379> zadd stus 85 Jack 89 Lucy 82 Rose 95 Tom 78 Jerry 92 Amy 76 Miles
(integer) 7
127.0.0.1:6379> zrem stus Tom
(integer) 1
127.0.0.1:6379> zscore stus Amy
"92"
127.0.0.1:6379> zrevrank stus Rose
(integer) 3
127.0.0.1:6379> zcount stus 0 80
(integer) 2
127.0.0.1:6379> zincrby stus 2 Amy
"94"
127.0.0.1:6379> zrevrange stus 0 2
1) "Amy"
2) "Lucy"
3) "Jack"
127.0.0.1:6379> zrangebyscore stus 0 80
1) "Miles"
2) "Jerry"
在Redis官网中提供了各种语言的客户端,地址:https://redis.io/docs/clients/
标记为*的就是推荐使用的java客户端,包括:
Jedis的官网地址: https://github.com/redis/jedis
以Redis命令作为方法名称,学习成本低,简单实用。但是Jedis实例是线程不安全的,多线程环境下需要基于连接池来使用。
我们先来个快速入门:
1)引入依赖:
<dependency>
<groupId>redis.clientsgroupId>
<artifactId>jedisartifactId>
<version>3.7.0version>
dependency>
<dependency>
<groupId>org.junit.jupitergroupId>
<artifactId>junit-jupiterartifactId>
<version>5.7.0version>
<scope>testscope>
dependency>
2)建立连接
新建一个单元测试类,内容如下:
public class JedisTest {
private Jedis jedis;
@BeforeEach
void setUp() {
// 1.建立连接
jedis = new Jedis("150.158.135.181", 6379);
// 2.设置密码
jedis.auth("123321");
// 3.选择库
jedis.select(0);
}
}
3)测试:
@Test
void testString() {
// 存入数据
String result = jedis.set("name", "虎哥");
System.out.println("result = " + result);
// 获取数据
String name = jedis.get("name");
System.out.println("name = " + name);
}
@Test
void testHash() {
// 插入hash数据
jedis.hset("user:1", "name", "Jack");
jedis.hset("user:1", "age", "21");
// 获取
Map<String, String> map = jedis.hgetAll("user:1");
System.out.println(map);
}
@AfterEach
void tearDown() {
if (jedis != null) {
jedis.close();
}
}
Jedis本身是线程不安全的,并且频繁的创建和销毁连接会有性能损耗,因此我们推荐大家使用Jedis连接池代替Jedis的直连方式。
package com.wts.redis.utils;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
public class JedisConnectionFactory {
private static JedisPool jedisPool;
static {
// 配置连接池
JedisPoolConfig poolConfig = new JedisPoolConfig();
poolConfig.setMaxTotal(8);
poolConfig.setMaxIdle(8);
poolConfig.setMinIdle(0);
poolConfig.setMaxWaitMillis(1000);
// 创建连接池对象,参数:连接池配置、服务端ip、服务端端口、超时时间、密码
jedisPool = new JedisPool(poolConfig, "150.158.135.181", 6379, 1000, "123321");
}
public static Jedis getJedis(){
return jedisPool.getResource();
}
}
建立连接就可以调整为
@BeforeEach
void setUp() {
// 1.建立连接
// jedis = new Jedis("150.158.135.181", 6379);
jedis = JedisConnectionFactory.getJedis();
// 2.设置密码
jedis.auth("123321");
// 3.选择库
jedis.select(0);
}
SpringData
是Spring
中数据操作的模块,包含对各种数据库的集成,其中对Redis
的集成模块就叫做SpringDataRedis
,官网地址:https://spring.io/projects/spring-data-redis
SpringDataRedis
中提供了RedisTemplate
工具类,其中封装了各种对Redis
的操作。并且将不同数据类型的操作API
封装到了不同的类型中:
SpringBoot
已经提供了对SpringDataRedis
的支持,使用非常简单。
首先,新建一个maven
项目,然后按照下面步骤执行:
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0modelVersion>
<parent>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-parentartifactId>
<version>2.5.7version>
<relativePath/>
parent>
<groupId>com.heimagroupId>
<artifactId>redis-demoartifactId>
<version>0.0.1-SNAPSHOTversion>
<name>redis-demoname>
<description>Demo project for Spring Bootdescription>
<properties>
<java.version>1.8java.version>
properties>
<dependencies>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webartifactId>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-testartifactId>
<scope>testscope>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-data-redisartifactId>
dependency>
<dependency>
<groupId>org.apache.commonsgroupId>
<artifactId>commons-pool2artifactId>
dependency>
<dependency>
<groupId>com.fasterxml.jackson.coregroupId>
<artifactId>jackson-databindartifactId>
dependency>
<dependency>
<groupId>org.projectlombokgroupId>
<artifactId>lombokartifactId>
<optional>trueoptional>
dependency>
dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-maven-pluginartifactId>
plugin>
plugins>
build>
project>
spring:
redis:
host: 150.158.135.181
port: 6379
password: 123321
lettuce:
pool:
max-active: 8
max-idle: 8
min-idle: 0
max-wait: 100ms
因为有了SpringBoot的自动装配,我们可以拿来就用:
@SpringBootTest
class RedisStringTests {
@Autowired
private RedisTemplate redisTemplate;
}
@SpringBootTest
public class RedisStringTests {
@Autowired
private RedisTemplate redisTemplate;
@Test
void testString() {
// 写入一条String数据
redisTemplate.opsForValue().set("name", "虎哥");
// 获取string数据
Object name = redisTemplate.opsForValue().get("name");
System.out.println("name = " + name);
}
}
RedisTemplate
可以接收任意Object
作为值写入Redis
:
只不过写入前会把Object
序列化为字节形式,默认是采用JDK序列化,得到的结果是这样的:
缺点:
我们可以自定义RedisTemplate
的序列化方式,代码如下:
@Configuration
public class RedisConfig {
@Bean
public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory connectionFactory){
// 创建RedisTemplate对象
RedisTemplate<String, Object> template = new RedisTemplate<>();
// 设置连接工厂
template.setConnectionFactory(connectionFactory);
// 创建JSON序列化工具
GenericJackson2JsonRedisSerializer jsonRedisSerializer =
new GenericJackson2JsonRedisSerializer();
// 设置Key的序列化
template.setKeySerializer(RedisSerializer.string());
template.setHashKeySerializer(RedisSerializer.string());
// 设置Value的序列化
template.setValueSerializer(jsonRedisSerializer);
template.setHashValueSerializer(jsonRedisSerializer);
// 返回
return template;
}
}
测试
@Test
public void testSaveUser(){
redisTemplate.opsForValue().set("user:100", new User("虎哥", 21));
User o = (User) redisTemplate.opsForValue().get("user:100");
System.out.println("o = " + o);
}
这里采用了JSON序列化来代替默认的JDK序列化方式。最终结果如图:
整体可读性有了很大提升,并且能将Java对象自动的序列化为JSON字符串,并且查询时能自动把JSON反序列化为Java对象。不过,其中记录了序列化时对应的class名称,目的是为了查询时实现自动反序列化。这会带来额外的内存开销。
为了节省内存空间,我们可以不使用JSON
序列化器来处理value
,而是统一使用String
序列化器,要求只能存储String
类型的key
和value
。当需要存储Java
对象时,手动完成对象的序列化和反序列化。
因为存入和读取时的序列化及反序列化都是我们自己实现的,SpringDataRedis
就不会将class
信息写入Redis
了。
这种用法比较普遍,因此SpringDataRedis
就提供了RedisTemplate
的子类:StringRedisTemplate
,它的key
和value
的序列化方式默认就是String
方式。
省去了我们自定义RedisTemplate
的序列化方式的步骤,而是直接使用:
@SpringBootTest
public class StringRedisTemplateTests {
@Autowired
private StringRedisTemplate stringRedisTemplate;
// JSON序列化工具
private static final ObjectMapper mapper = new ObjectMapper();
@Test
public void testSaveUser() throws JsonProcessingException {
// 创建对象
User user = new User("虎哥", 22);
// 手动序列化
String json = mapper.writeValueAsString(user);
// 写入数据
stringRedisTemplate.opsForValue().set("user:200", JSON.toJSONString(user));
// 获取数据
String strJson = stringRedisTemplate.opsForValue().get("user:200");
// 手动反序列化
User user1 = mapper.readValue(strJson, User.class);
System.out.println("user1 = " + user1);
}
}
在基础篇的最后,咱们对Hash结构操作一下,收一个小尾巴,这个代码咱们就不再解释啦
马上就开始新的篇章~~~进入到我们的Redis实战篇
@Test
void testHash() {
stringRedisTemplate.opsForHash().put("user:400", "name", "虎哥");
stringRedisTemplate.opsForHash().put("user:400", "age", "21");
Map<Object, Object> entries = stringRedisTemplate.opsForHash().entries("user:400");
System.out.println("entries = " + entries);
}
RedisTemplate的两种序列化实践方案:
方案一:
方案二: