Redis 是 C 语言开发的一个开源的(遵从 BSD 协议)高性能键值对(key-value)的内存数据库,可以用作数据库、缓存、消息中间件等。
它是一种 NoSQL(not-only sql,泛指非关系型数据库)的数据库。
Redis 作为一个内存数据库具有以下特点:
上面提到redis和其他key-val数据库相比,有个很明显的特征是支持多种类型的数据结构,下面我们具体谈谈这五种数据类型
在了解这5种数据类型之前,我们有必要先看看Redis 内部内存管理是如何描述这5种数据类型的。
从上图可以看出首先Redis内部使用一个redisObject 对象来表示所有的 key 和 value。
redisObject 最主要的信息如上图所示:type 表示一个 value 对象具体是何种数据类型,encoding 是不同数据类型在 Redis 内部的存储方式。
比如:type=string 表示 value 存储的是一个普通字符串,那么 encoding 可以是 raw 或者 int。
有了以上知识做支撑,我们再看看这五种具体的数据类型:
是 Redis 最基本的类型,可以理解成与 Memcached一模一样的类型,一个 Key 对应一个 Value。Value 不仅是 String,也可以是数字。
String 类型是二进制安全的,意思是 Redis 的 String 类型可以包含任何数据,比如 jpg 图片或者序列化的对象。String 类型的值最大能存储 512M。
底层数据结构:
string的底层实现可以是int、raw、embstr。
int 编码是用来保存整数值,raw编码是用来保存长字符串,而embstr是用来保存短字符串。
当 int 编码保存的值不再是整数,或大小超过了long的范围时,自动转化为raw。
对于 embstr 编码,由于 Redis 没有对其编写任何的修改程序(embstr 是只读的),在对embstr对象进行修改时,都会先转化为raw再进行修改,因此,只要是修改embstr对象,修改后的对象一定是raw的,无论是否达到了44个字节。
Hash是一个键值(key-value)的集合。Redis 的 Hash 是一个 String 的 Key 和 Value 的映射表,Hash 特别适合存储对象。常用命令:hget,hset,hgetall 等。
底层数据结构:
hash的底层是 ziplist(压缩列表) 或者 hashtable(哈希表)
当同时满足下面两个条件时,使用ziplist(压缩列表):
不能满足这两个条件的时候使用 hashtable 哈希表
List 列表是简单的字符串列表,按照插入顺序排序。可以添加一个元素到列表的头部(左边)或者尾部(右边) 常用命令:lpush、rpush、lpop、rpop、lrange(获取列表片段)等。
应用场景:List 应用场景非常多,也是 Redis 最重要的数据结构之一,比如 Twitter 的关注列表,粉丝列表都可以用 List 结构来实现。
数据结构:List 就是链表,可以用来当消息队列用。Redis 提供了 List 的 Push 和 Pop 操作,还提供了操作某一段的 API,可以直接查询或者删除某一段的元素。
实现方式:Redis List 的是实现是一个双向链表,既可以支持反向查找和遍历,更方便操作,不过带来了额外的内存开销。
底层数据结构:
list底层的数据结构可以是 ziplist(压缩列表) 和 linkedlist(双端链表)
当同时满足下面两个条件时,使用ziplist(压缩列表):
不能满足这两个条件的时候使用 linkedlist(双端链表)
Set 是 String 类型的无序集合。集合是通过 hashtable 实现的。Set 中的元素是没有顺序的,而且是没有重复的。常用命令:sdd、spop、smembers、sunion 等。
应用场景:Redis Set 对外提供的功能和 List 一样是一个列表,特殊之处在于 Set 是自动去重的,而且 Set 提供了判断某个成员是否在一个 Set 集合中。
底层数据结构:
set的底层是 intset(整数数组) 或者 hashtable(哈希表)。
当set同时满足以下两个条件时,使用 intset(整数数组):
不能满足这两个条件的就使用 hashtable(哈希表)
Zset 和 Set 一样是 String 类型元素的集合,且不允许重复的元素。常用命令:zadd、zrange、zrem、zcard 等。
使用场景:Sorted Set 可以通过用户额外提供一个优先级(score)的参数来为成员排序,并且是插入有序的,即自动排序。
当你需要一个有序的并且不重复的集合列表,那么可以选择 Sorted Set 结构。
和 Set 相比,Sorted Set关联了一个 Double 类型权重的参数 Score,使得集合中的元素能够按照 Score 进行有序排列,Redis 正是通过分数来为集合中的成员进行从小到大的排序。
实现方式:Redis Sorted Set 的内部使用 HashMap 和跳跃表(skipList)来保证数据的存储和有序,HashMap 里放的是成员到 Score 的映射。
而跳跃表里存放的是所有的成员,排序依据是 HashMap 里存的 Score,使用跳跃表的结构可以获得比较高的查找效率,并且在实现上比较简单。
底层数据结构:
zset的底层是 ziplist(压缩列表)或者skiplist(跳表)
当zset同时满足以下两个条件时,对象使用 ziplist 编码:
不能满足上面两个条件的使用 skiplist 编码。
接着我们继续看看在实际的项目开发中,redis是如何使用的
我们在日常开发中,一般通过两种方式去实现redis缓存的增删改查操作:
无论你打算使用哪一种方式去使用缓存,都加入以下依赖
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-data-redisartifactId>
dependency>
<dependency>
<groupId>org.apache.commonsgroupId>
<artifactId>commons-pool2artifactId>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webartifactId>
dependency>
<dependency>
<groupId>org.springframework.sessiongroupId>
<artifactId>spring-session-data-redisartifactId>
dependency>
<dependency>
<groupId>org.projectlombokgroupId>
<artifactId>lombokartifactId>
<optional>trueoptional>
dependency>
我使用的SpringBoot版本为:2.6.2
上面有几个关键依赖,我简单说明一下:
server.servlet.session.timeout=30ms
spring.cache.type=redis
spring.redis.host=192.168.1.2
spring.redis.port=6379
spring.redis.password=
# redis默认情况下有16个分片,这里配置具体使用的分片,默认为0
spring.redis.database=0
# 连接池最大连接数(使用负数表示没有限制),默认8
spring.redis.lettuce.pool.max-active=8
@Data
public class User implements Serializable {
private static final long serialVersionUID = 662692455422902539L;
private Integer id;
private String name;
private Integer age;
public User() {
}
public User(Integer id, String name, Integer age) {
this.id = id;
this.name = name;
this.age = age;
}
}
默认情况下的模板只能支持 RedisTemplate
,也就是只能存入字符串,所以自定义模板很有必要。
添加配置类 RedisCacheConfig.java:
import org.springframework.boot.autoconfigure.AutoConfigureAfter;
import org.springframework.boot.autoconfigure.data.redis.RedisAutoConfiguration;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.GenericJackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
import java.io.Serializable;
@Configuration
@AutoConfigureAfter(RedisAutoConfiguration.class)
public class RedisCacheConfig {
@Bean
public RedisTemplate<String, Serializable> redisCacheTemplate(LettuceConnectionFactory connectionFactory) {
RedisTemplate<String, Serializable> template = new RedisTemplate<>();
template.setKeySerializer(new StringRedisSerializer());
template.setValueSerializer(new GenericJackson2JsonRedisSerializer());
template.setConnectionFactory(connectionFactory);
return template;
}
}
下面简单的进行测试一下:
import com.example.redisdemo.po.User;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.io.Serializable;
@RestController
@RequestMapping("/user")
@Slf4j
public class UserController {
@Autowired
private RedisTemplate<String, Serializable> redisCacheTemplate;
@RequestMapping("/test")
public void test() {
redisCacheTemplate.opsForValue().set("userkey", new User(1, "ninesun", 24));
User user = (User) redisCacheTemplate.opsForValue().get("userkey");
log.info("当前获取对象:{}", user.toString());
}
}
Spring Cache 具备很好的灵活性,不仅能够使用 SPEL(spring expression language)来定义缓存的 Key 和各种 Condition,还提供了开箱即用的缓存临时存储方案,也支持和主流的专业缓存如 EhCache、Redis、Guava 的集成。
定义接口UserService.java:
public interface UserService {
User save(User user);
void delete(int id);
User get(Integer id);
}
接口实现类 UserServiceImpl.java:
import com.example.redisdemo.po.User;
import com.example.redisdemo.service.UserService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.cache.annotation.CacheEvict;
import org.springframework.cache.annotation.CachePut;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;
import java.util.HashMap;
import java.util.Map;
@Service
@Slf4j
public class UserServiceImpl implements UserService {
/**
* 此处使用UserMap模拟数据库的存储操作
*/
private static Map<Integer, User> userMap = new HashMap<>();
static {
userMap.put(1, new User(1, "肖战", 25));
userMap.put(2, new User(2, "王一博", 26));
userMap.put(3, new User(3, "杨紫", 24));
}
@CachePut(value = "user", key = "#user.id")
@Override
public User save(User user) {
userMap.put(user.getId(), user);
log.info("进入save方法,当前存储对象:{}", user.toString());
return user;
}
@CacheEvict(value = "user", key = "#id")
@Override
public void delete(int id) {
userMap.remove(id);
log.info("进入delete方法,删除成功");
}
@Cacheable(value = "user", key = "#id")
@Override
public User get(Integer id) {
log.info("进入get方法,当前获取对象:{}", userMap.get(id) == null ? null : userMap.get(id).toString());
return userMap.get(id);
}
}
里面有三个核心注解:
@Cacheable 是一个既可以应用于方法级别,也可用于类级别的注解。自spring3.1开始就通过它实现了缓存管理。
@Cacheable的作用就是从数据库里获取一次数据后就会直接放在缓存里,下次调用时不再连接数据库而是直接从缓存中获取。
为了通俗易懂的理解,举个栗子:
一个方法,getBooksByUsernameAndLanguage(String username, int language),显然,是一个获取数据库里所有我的英文书对象的方法,返回应该是一个列表。如果这个函数的返回值很大,而且会在页面上被经常调用,那么每一次调用都要重新连接数据库并返回一个数据量庞大的list,可能页面响应和资源占用会比较大。而我们希望的是,第一次调用这个方法时,返回的数据能被放到服务器端的缓存里,以便于后面要调用这个方法时,能直接从缓存里取到,这样就不用再查数据库占用资源了。而@Cacheable的作用就是这个。
@Cacheable注解只有三个属性,以该代码段为例
@Cacheable(value = "CACHE_BOOK",key = "#username", condition = "#language = 1")
public List<Book> getBooksByUsernameAndLanguage(String username, int language) {
return bookList;
}
value : 必须要的。就是个自己取的名字,通过它指明了第一次调用这个方法时返回的bookList将被存在内存的哪里。
key : 可选。要使用SpEL表达式,这里与参数username对应,当传入的username值变了的话就不去取缓存里的数据了,而是执行getBooksByUsernameAndLanguage方法。(这是必须的,因为username变了,返回值也就变了,缓存里的数据不符合了,因此这个选项很重要)。spring默认用方法的签名来当做key。
condition:方法返回的结果bookList,要不要缓存起来?condition就添加了一个限定条件。这个例子中,只有传入的语言代码是1,返回的bookList才会被缓存起来,如果给language传了别的值,那么bookList是不会缓存起来的。
@CachePut
执行顺序,是先调用目标方法,然后再将数据存放在缓存中。(原理:就是把缓存重新更新,然后当再次获取缓存的内容时候,就会自动的进行新的缓存获取,所以也不需要进入函数内进行内容的获取)
@CachePut(value = "user", key = "#user.id")
@Override
public User save(User user) {
userMap.put(user.getId(), user);
log.info("进入save方法,当前存储对象:{}", user.toString());
return user;
}
Cache的存放有一定的规则那就是key值的选择,默认情况下是根据函数参数,比如上面第一个函数参数为Id的缓存,第二个函数的参数为user,如果没有定义key,那么就会造成这个缓存信息会不相符,导致查询的缓存数据是失败的,没有更新。所以在上面我们进行定义了@CachePut的key值为返回结果的Id属性,刚好和上面一致,所以整个缓存可以正常的更新使用。
@CacheEvict
@CacheEvict是用来清除缓存的,有以下属性:
- value:缓存位置名称,不能为空,同上
- key:缓存的key,默认为空,同上
- condition:触发条件,只有满足条件的情况才会清除缓存,默认为空,支持SpEL
- allEntries:true表示清除value中的全部缓存,默认为false
启动类要加上一个注解开启缓存:
@EnableCaching
接下来进行一个简单的测试
import com.example.redisdemo.po.User;
import com.example.redisdemo.service.UserService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.util.StringUtils;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.io.Serializable;
@RestController
@RequestMapping("/user1")
@Slf4j
public class UserController1 {
@Autowired
private UserService userService;
@RequestMapping("/add")
public void add() {
User user = userService.save(new User(4, "李现", 30));
log.info("添加的用户信息:{}", user.toString());
}
@RequestMapping("/delete")
public void delete() {
userService.delete(4);
}
@RequestMapping("/get/{id}")
public void get(@PathVariable("id") String idStr) throws Exception {
if (StringUtils.isEmpty(idStr)) {
throw new Exception("id为空");
}
Integer id = Integer.parseInt(idStr);
User user = userService.get(id);
log.info("获取的用户信息:{}", user.toString());
}
}
①先调用添加接口:http://localhost:8080/user1/add
②调用查询接口:http://localhost:8080/user1/get/4 查询 id=4 的用户信息
③调用删除接口删除Id=4的信息
缓存和数据库数据一致性问题:分布式环境下非常容易出现缓存和数据库间数据一致性问题,针对这一点,如果项目对缓存的要求是强一致性的,那么就不要使用缓存。
我们只能采取合适的策略来降低缓存和数据库间数据不一致的概率,而无法保证两者间的强一致性。
合适的策略包括合适的缓存更新策略,更新数据库后及时更新缓存、缓存失败时增加重试机制。
更详细的数据库和缓存一致性问题可以阅读一下:《如何保证数据库和缓存双写一致性》
缓存雪崩是指缓存中数据大批量到过期时间,而查询数据量巨大,引起数据库压力过大甚至down机。
和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。
目前电商首页以及热点数据都会去做缓存,一般缓存都是定时任务去刷新,或者查不到之后去更新缓存的,定时任务刷新就有一个问题:
举个栗子:如果首页所有 Key 的失效时间都是 12 小时,中午 12 点刷新的,我零点有个大促活动大量用户涌入,假设每秒 6000 个请求,本来缓存可以抗住每秒 5000 个请求,但是缓存中所有 Key 都失效了。
此时 6000 个/秒的请求全部落在了数据库上,数据库必然扛不住,真实情况可能 DBA 都没反应过来直接挂了。
此时,如果没什么特别的方案来处理,DBA 很着急,重启数据库,但是数据库立马又被新流量给打死了。
同一时间大面积失效,瞬间 Redis 跟没有一样,那这个数量级别的请求直接打到数据库几乎是灾难性的。
如果没做熔断等策略基本上就是瞬间挂一片的节奏,你怎么重启用户都会把你打挂
解决方案:
setRedis(key, value, time+Math.random()*10000);
缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者,攻击会导致数据库压力过大。
解决方案:
- 接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截;Redis 里还有一个高级用法布隆过滤器(Bloom Filter)这个也能很好的预防缓存穿透的发生。
它的原理也很简单,就是利用高效的数据结构和算法快速判断出你这个 Key 是否在数据库中存在,不存在你 return 就好了,存在你就去查 DB 刷新 KV 再 return。- 从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击。
缓存击穿嘛,这个跟缓存雪崩有点像,但是又有一点不一样,缓存雪崩是因为大面积的缓存失效,打崩了 DB。
而缓存击穿不同的是缓存击穿是指一个 Key 非常热点,在不停地扛着大量的请求,大并发集中对这一个点进行访问,当这个 Key 在失效的瞬间,持续的大并发直接落到了数据库上,就在这个 Key 的点上击穿了缓存。
解决方案:
首先从缓存中获取数据,如果数据不存在,我们则去获取锁,这把锁 只需要能够互斥,可重入即可,最简单的就是redis的setnx来实现,获取锁资源以后,从数据库读取数据,同时将数据更新至缓存,然后释放锁;如果获取锁资源失败,我们就让其隔一段时间之后重新尝试去获取锁资源。
官方提供的数据可以达到 100000+ 的 QPS(每秒内的查询次数),有人就会很好奇它那么快,是不是因为多线程的缘故。
但是redis实际上是单进程单线程的模型,因为 Redis 完全是基于内存的操作,CPU 不是 Redis 的瓶颈,Redis 的瓶颈最有可能是机器内存的大小或者网络带宽。
既然单线程容易实现,而且 CPU 不会成为瓶颈,那就顺理成章的采用单线程的方案了(毕竟采用多线程会有很多麻烦)。
既然redis是单线程了,为什么还会那么快呢?
- Redis 完全基于内存,绝大部分请求是纯粹的内存操作,非常迅速,数据存在内存中,类似于 HashMap,HashMap 的优势就是查找和操作的时间复杂度是 O(1)。
- 数据结构简单,对数据操作也简单。
- 采用单线程,避免了不必要的上下文切换和竞争条件,不存在多线程导致的 CPU 切换,不用去考虑各种锁的问题,不存在加锁释放锁操作,没有死锁问题导致的性能消耗。
- 使用多路复用 IO 模型,非阻塞 IO。
为什么现在的 缓存方案大多都是基于 Redis 的缓存方案而不用 Memcached 呢?
Redis 4.0 加入了 LFU(least frequency use)淘汰策略,包括 volatile-lfu 和 allkeys-lfu,通过统计访问频率,将访问频率最少,即最不经常使用的 KV 淘汰。
数据淘汰内部实现:
Redis 为了保证效率,数据缓存在了内存中,但是会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件中,以保证数据的持久化。
Redis 的持久化策略有两种:
Redis 默认是快照 RDB 的持久化方式。
当 Redis 重启的时候,它会优先使用 AOF 文件来还原数据集,因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整。你甚至可以关闭持久化功能,让数据只在服务器运行时存。
下面在来谈一谈RDB 是怎么工作的
默认 Redis 是会以快照"RDB"的形式将数据持久化到磁盘的一个二进制文件 dump.rdb。
工作原理简单说一下:当 Redis 需要做持久化时,Redis 会 fork 一个子进程,子进程将数据写到磁盘上一个临时 RDB 文件中。
当子进程完成写临时文件后,将原来的 RDB 替换掉,这样的好处是可以 copy-on-write。
RDB 的优点是:这种文件非常适合用于备份:比如,你可以在最近的 24 小时内,每小时备份一次,并且在每个月的每一天也备份一个 RDB 文件。
这样的话,即使遇上问题,也可以随时将数据集还原到不同的版本。RDB 非常适合灾难恢复。
RDB 的缺点是:如果你需要尽量避免在服务器故障时丢失数据,那么RDB不合适你。
既然RDB都说了,就顺便在介绍一下AOF
使用 AOF 做持久化,每一个写命令都通过 write 函数追加到 appendonly.aof 中,配置方式如下:
appendfsync yes
appendfsync always #每次有数据修改发生时都会写入AOF文件。
appendfsync everysec #每秒钟同步一次,该策略为AOF的缺省策略。
AOF 可以做到全程持久化,只需要在配置中开启 appendonly yes。这样 Redis 每执行一个修改数据的命令,都会把它添加到 AOF 文件中,当 Redis 重启时,将会读取 AOF 文件进行重放,恢复到 Redis 关闭前的最后时刻。
aof缓冲区数据写入aof文件时的同步策略:
appendfsync always/eversec/no aof缓冲区数据写入aof文件时的同步策略。
涉及操作系统的write命令、fsync命令、io缓冲区:
总结:always只调用fsync,no只调用write,eversec既调用wirte,又每秒调用一次fsync
write命令和fsync命令的区别:
java中write即write命令,flush即fsync命令。两个命令的使用是由于操作系统的机制决定的。
使用 AOF 的优点是会让 Redis 变得非常耐久。可以设置不同的 Fsync 策略,AOF的默认策略是每秒钟 Fsync 一次,在这种配置下,就算发生故障停机,也最多丢失一秒钟的数据。
缺点是对于相同的数据集来说,AOF 的文件体积通常要大于 RDB 文件的体积。根据所使用的 Fsync 策略,AOF 的速度可能会慢于 RDB。
说了那么多,我们具体该使用哪一个呢?
无论是选择 方案还是技术时,抛开场景都是扯淡。所以如果你非常关心你的数据,但仍然可以承受数分钟内的数据丢失,那么可以只使用 RDB 持久。
AOF 将 Redis 执行的每一条命令追加到磁盘中,处理巨大的写入会降低Redis的性能,所以你为了追求数据的容灾和完整性的同时不知道你是否可以接受性能的下降。
数据库备份和灾难恢复:定时生成 RDB 快照非常便于进行数据库备份,并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度快。
当然了,Redis 支持同时开启 RDB 和 AOF,系统重启后,Redis 会优先使用 AOF 来恢复数据,这样丢失的数据会最少。
我们会在很多的存储方案上采取主从复制,如数据库的主从复制,来分摊访问压力:《mysql设置主从数据库的同步》
Redis 单节点存在单点故障问题,为了解决单点问题,一般都需要对 Redis 配置从节点,然后使用哨兵来监听主节点的存活状态,如果主节点挂掉,从节点能继续提供缓存功能,下面说说 Redis 主从复制的过程和原理吗?
Redis主从配置结合哨兵模式能解决单点故障问题,提高 Redis 可用性。
从节点仅提供读操作,主节点提供写操作。对于读多写少的状况,可给主节点配置多个从节点,从而提高响应效率。
关于复制过程,大致分为以下几步:
数据同步的过程如下:
Redis 2.8 之前使用 sync[runId][offset] 同步命令,Redis 2.8 之后使用 psync[runId][offset] 命令。
两者不同在于,Sync 命令仅支持全量复制过程,Psync 支持全量和部分复制。
介绍同步之前,先介绍几个概念:
主节点发送数据给从节点过程中,主节点还会进行一些写操作,这时候的数据存储在复制缓冲区中。
从节点同步主节点数据完成后,主节点将缓冲区的数据继续发送给从节点,用于部分复制。
第一阶段:主从库间建立连接、协商同步。
第二阶段:主库把数据同步到从库,从库收到数据后,完成本地加载
第三阶段,主库把新写的命令,发送到从库。
主节点响应写命令时,不但会把命名发送给从节点,还会写入复制积压缓冲区,用于复制命令丢失的数据补救。
从节点发送 psync[runId][offset] 命令,主节点有三种响应:
下面在具体说下全量复制和部分复制的过程:
从节点发送 psync ? -1 命令(因为第一次发送,不知道主节点的 runId,因为是第一次复制,所以 offset=-1)。
主节点发现从节点是第一次复制,返回 FULLRESYNC {runId} {offset},runId 是主节点的 runId,offset 是主节点目前的 offset。
从节点接收主节点信息后,保存到 info 中。
主节点在发送 FULLRESYNC 后,启动 bgsave 命令,生成 RDB 文件(数据持久化)。
主节点发送 RDB 文件给从节点。到从节点加载数据完成这段期间主节点的写命令放入缓冲区。
从节点清理自己的数据库数据。
从节点加载 RDB 文件,将数据保存到自己的数据库中。如果从节点开启了 AOF,从节点会异步重写 AOF 文件。
①部分复制主要是 Redis 针对全量复制的过高开销做出的一种优化措施,使用 psync[runId][offset] 命令实现。
当从节点正在复制主节点时,如果出现网络闪断或者命令丢失等异常情况时,从节点会向主节点要求补发丢失的命令数据,主节点的复制积压缓冲区将这部分数据直接发送给从节点。
这样就可以保持主从节点复制的一致性。补发的这部分数据一般远远小于全量数据。
②主从连接中断期间主节点依然响应命令,但因复制连接中断命令无法发送给从节点,不过主节点内的复制积压缓冲区依然可以保存最近一段时间的写命令数据。
③当主从连接恢复后,由于从节点之前保存了自身已复制的偏移量和主节点的运行 ID。因此会把它们当做 psync 参数发送给主节点,要求进行部分复制。
④主节点接收到 psync 命令后首先核对参数 runId 是否与自身一致,如果一致,说明之前复制的是当前主节点。
之后根据参数 offset 在复制积压缓冲区中查找,如果 offset 之后的数据存在,则对从节点发送+COUTINUE 命令,表示可以进行部分复制。因为缓冲区大小固定,若发生缓冲溢出,则进行全量复制。
⑤主节点根据偏移量把复制积压缓冲区里的数据发送给从节点,保证主从复制进入正常状态。
上面我们也提到了使用哨兵来监听主节点的存活状态,那么哨兵具体是什么,他又如何进行监听的呢?
首先我们先探讨一下主从复制会遇到哪些问题?
对于以上问题主流的解决方案就是本章的主题:哨兵
Redis Sentinel(哨兵)主要功能包括主节点存活检测、主从运行情况检测、自动故障转移、主从切换。
Redis Sentinel 最小配置是一主一从。Redis 的 Sentinel 系统可以用来管理多个 Redis 服务器。
该系统可以执行以下四个任务:
①每个 Sentinel 节点都需要定期执行以下任务:每个 Sentinel 以每秒一次的频率,向它所知的主服务器、从服务器以及其他的 Sentinel 实例发送一个 PING 命令,如下图所示
②如果一个实例距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 所指定的值,那么这个实例会被 Sentinel 标记为主观下线。如下图所示
③如果一个主服务器被标记为主观下线,那么正在监视这个服务器的所有 Sentinel 节点,要以每秒一次的频率确认主服务器的确进入了主观下线状态。如下图所示
④如果一个主服务器被标记为主观下线,并且有足够数量的 Sentinel(至少要达到配置文件指定的数量)在指定的时间范围内同意这一判断,那么这个主服务器被标记为客观下线。如下图所示
⑤一般情况下,每个 Sentinel 会以每 10 秒一次的频率向它已知的所有主服务器和从服务器发送 INFO 命令。
当一个主服务器被标记为客观下线时,Sentinel 向下线主服务器的所有从服务器发送 INFO 命令的频率,会从 10 秒一次改为每秒一次。如下图所示
⑥Sentinel 和其他 Sentinel 协商客观下线的主节点的状态,如果处于 SDOWN 状态,则投票自动选出新的主节点,将剩余从节点指向新的主节点进行数据复制。
⑦当没有足够数量的 Sentinel 同意主服务器下线时,主服务器的客观下线状态就会被移除。
当主服务器重新向 Sentinel 的 PING 命令返回有效回复时,主服务器的主观下线状态就会被移除。
Redis的原理和常见的问题差不多就这么多了,下面我们在继续讨论一下Redis常见使用场景。
zset 是Redis 常用数据类型之一,它的成员是有序排列的,一般用于排行榜类型的业务场景,比如 QQ 音乐排行榜、礼物排行榜等等。
当 zset 满足以下条件时使用 压 缩 列表:
和 Set 相比,Sorted Set关联了一个 Double 类型权重的参数 Score,使得集合中的元素能够按照 Score 进行有序排列,Redis 正是通过分数来为集合中的成员进行从小到大的排序。
实现方式:Redis Sorted Set 的内部使用 HashMap 和跳跃表(skipList)来保证数据的存储和有序,HashMap 里放的是成员到 Score 的映射。
而跳跃表里存放的是所有的成员,排序依据是 HashMap 里存的 Score,使用跳跃表的结构可以获得比较高的查找效率,并且在实现上比较简单。
skiplist(跳跃表)在链表的基础上,增加了多级索引,通过索引位置的几个跳转,实现数据的快速定位,其插入、删除、查找的时间复杂度均为 O(logN)。
Redis在6.0支持的多线程并不是说指令操作的多线程,而是针对于网络IO的一个多线程,也就是说在Redis的命令操作里,它仍然是线程安全的。
同时Redis是直接基于内存操作,其本身的性能瓶颈取决于三个维度:
但是真正影响性能的问题是网络和内存,而Redis6.0的多线程本质上是解决网络IO的一个处理效率的问题,在Redis6.0之前,Redis Server端去处理接受客户端请求的时候,Socket连接的建立和指定的数据读取、解析、执行、写回都是由同一个线程来处理的,在这种方式里面呢,客户端请求比较多的时候,单个线程的网络处理效率太慢,导致客户端的请求处理效率非常低,于是在Redis 6.0中对于网络IO的处理方案改成了多线程,通过多线程并行的方式来提升网络IO的处理效率,但是对于客户端指定的执行过程还是采用单线程的方式来执行,值得我们注意的是Redis6.0 里面的多线程默认是关闭的,需要在redis.conf中修改一个叫io-threads-do-reads的配置才能开启。
另外之所以指令执行不使用多线程我认为有两个方面的原因:
正常情况下,在redis的分布式集群中,数据都是比较均匀的分布在每一个结点上,请求呢也会均匀的分布每一个分片上,但是一些特殊的场景中,比如爬虫,攻击,热点商品等,最典型的就是明星的绯闻,吃瓜群众纷纷去留言,就很容易导致评论的这个功能崩溃,这些短时间内,某些key访问量过大,然后请求到同一台数据分片上,最终会导致该分片不堪重负,最终导致缓存雪崩,进而引发我们的服务雪崩。
怎么检测热key呢?
常规呢就是根据业务以往的数据做一个判定,比如说我们的促销活动,商品秒杀,热门话题等,我们可以写一个方法去判定如果见到某个key的QPS(每秒访问量)达到了1000,此时我们就要注意了,这个key很有可能就是个热key
如何解决热key问题呢?
硬件上我们可以扩容,增加分片,副本多了,自然压力就分担了一些。
还有一种就是使用二级缓存,把热点数据放到我们JVM的本地缓存中,本地缓存可以使用caffeine,ehcache,guava,这样的话就可以将缓存的数据直接读到本地缓存了,当然了你甚至只可以直接将数据直接读到HashMap中,而不需要在去请求redis了,就省去了一个远程的io调用,当然我们也可以使用一些框架,比如说jd-hotkey,它会自动检测我们的热key,并且转为jvm本地缓存。
redis的大key在我们的线上环境是经常发生的,如果我们不做任何处理直接删除,会对我们的业务造成一些阻塞,严重的会影响我们的整体的一个请求,进而将redis的连接耗尽。
大key对于高并发下的分布式缓存来说是致命的,所以一定要及时处理
满足以上条件之一,我们就称它为redis的大key
redis-cli -h 127.0.0.1 -p 6379
-a 'password' -- bigkeys
上面这个命令会在我们的控制台直接输出大key
执行以下命令:
rdb dump.rdb -c memory --bytes 10240 -f redis.csv
通过上面这个命令也可以找到大key
找到大key之后,我们就要对其删除,我们看一下如何删除大key
直接删除大key会造成阻塞,因为redis是单线程执行,阻塞期间其他所有请求都有可能会超时,超时越来越多,最终可能会导致redis的连接耗尽,产生各种异常。
所以我们尽量在低峰期删除,如在凌晨,观察QPS,在QPS小于我们所规定的阈值的时候,在进行删除,该方案无法彻底解决阻塞
我们还可以分批次进行删除:
当然,我们还可以使用异步删除法:用unlink代替del来删除,这样redis会将这个key放入一个异步线程中,进行删除,这种方式不会阻塞线程。
当然了,大key对redis的影响远不止这些,还有对持久化操作的影响,由于篇幅较长,所以我单独拿出来讲解,《Redis 的大 Key 对持久化有什么影响?》
https://blog.csdn.net/zhiyikeji/article/details/127499090?spm=1001.2014.3001.5501
https://blog.csdn.net/zhiyikeji/article/details/127572678?spm=1001.2014.3001.5501
热点数据缓存(例如:报表、明星热点),对象缓存、全页缓存、可以提升热点数据的访问数据。
String 类型,因为 Redis 是分布式的独立服务,可以在多个应用之间共享
例如:分布式 Session
<dependency>
<groupId>org.springframework.sessiongroupId>
<artifactId>spring-session-data-redisartifactId>
dependency>
public static boolean getLock(String key) {
Long flag = jedis.setnx(key, "1");
if (flag == 1) {
jedis.expire(key, 10);
}
return flag == 1;
}
public static void releaseLock(String key) {
jedis.del(key);
}
int类型,incrby,利用原子性
如:分库分表的场景,一次性拿一段
incrby userid 1000
int类型,incr方法
例如:文章的阅读量、微博点赞数、允许一定的延迟,先写入Redis再定时同步到数据库
int类型,incr方法
以访问者的ip和其他信息作为key,访问一次增加一次计数,超过次数则返回false
String类型的bitcount
字符是以8位二进制存储的
set k1 a
setbit k1 6 1
setbit k1 7 0
get k1
/*
6 7 代表的a的二进制位的修改
a 对应的ASCII码是97,转换为二进制数据是01100001
b 对应的ASCII码是98,转换为二进制数据是01100010
因为bit非常节省空间(1 MB=8388608 bit),可以用来做大数据量的统计。
*/
例如:在线用户统计,留存用户统计
setbit onlineusers 01
setbit onlineusers 11
setbit onlineusers 20
支持按位与、按位或等等操作
BITOPANDdestkeykey[key...] ,对一个或多个 key 求逻辑并,并将结果保存到 destkey 。
BITOPORdestkeykey[key...] ,对一个或多个 key 求逻辑或,并将结果保存到 destkey 。
BITOPXORdestkeykey[key...] ,对一个或多个 key 求逻辑异或,并将结果保存到 destkey 。
BITOPNOTdestkeykey ,对给定 key 求逻辑非,并将结果保存到 destkey 。
计算出7天都在线的用户
BITOP "AND" "7_days_both_online_users" "day_1_online_users"
"day_2_online_users" ... "day_7_online_users"
String 或 hash。所有String可以做的hash都可以做
key:用户id;field:商品id;value:商品数量。
+1:hincr
-1:hdecr
删除:hdel
全选:hgetall
商品数:hlen
list,双向链表,直接作为timeline就好了。插入有序
List提供了两个阻塞的弹出操作:blpop/brpop,可以设置超时时间
blpop:blpop key1 timeout 移除并获取列表的第一个元素,如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
brpop:brpop key1 timeout 移除并获取列表的最后一个元素,如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
上面的操作。其实就是java的阻塞队列。
队列:先进先出:rpush blpop,左头右尾,右边进入队列,左边出队列
栈:先进后出:rpush brpop
自带一个随机获得值
spop myset
假如上面的微博ID是t1001,用户ID是u3001
先带大家简单了解一个指令:sadd
用 like:t1001 来维护 t1001 这条微博的所有点赞用户
相比较于数据库的操作,这种方式实现起来更快更简单
假如我们用 tags:i5001 来维护商品所有的标签
// 获取差集
sdiff set1 set2
// 获取交集(intersection )
sinter set1 set2
// 获取并集
sunion set1 set2
我们以iphone14产品上市为例:
sadd brand:apple iPhone14
sadd brand:ios iPhone14
sad screensize:6.0-6.24 iPhone14
sad screentype:lcd iPhone 14
如果我们要实现筛选商品,苹果的、ios的、屏幕在6.0-6.24之间的,屏幕材质是LCD屏幕
sinter brand:apple brand:ios screensize:6.0-6.24 screentype:lcd
我们则需要两个列表:
假如有A B C三个用户:
A关注了B:
sadd A:follow B
sadd B:fans A
B关注C
sadd B:follow C
sadd C:fans B
如:实现id 为6001 的新闻点击数加1:
zincrby hotNews:20220613 1 n6001
获取今天点击最多的15条:
自己可以用上面的指令在多弄几条新闻id
zrevrange hotNews:20220613 0 15 withscores