GitChat的博客

【技术公开课】Redis从入门到实践

本期技术分享，我们将从“Redis 入门”开始，步步深入，通过线上直播的方式，为您解读 Redis 的应用场景和实践案例，为您避免在开发过程中可能会踩到的“坑”。

线上直播地址：https://live.vhall.com/661463644
课程简介：
- Redis 概述
- 数据类型及主要特性
- Redis 中常见问题（穿透、雪崩）
- Redis 协议
- 项目开发经验分享

讲师简介

Jim —— 葡萄城 LeySer 项目组架构师，十余年后端开发经验，对于数据库调优、高并发后台技术有着丰富的实战经验，个人主要研究方向为 CICD、微服务开发等领域。

本期技术分享，我们将从“Redis 入门”开始，步步深入，通过线上直播的方式，为您解读 Redis 的应用场景和实践案例，为您避免在开发过程中可能会踩到的“坑”。线上直播地址：https://live.vhall.com/661463644

课程简介：

Redis 概述
数据类型及主要特性
Redis 中常见问题（穿透、雪崩）
Redis 协议
项目开发经验分享

Redis 是什么?

Redis 是一个使用 ANSI C 编写的开源、包含多种数据结构、支持网络、基于内存、可选持久性的键值对存储数据库，其特性如下：

Remote Dictionary Server
key-value 存储系统
开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API
NoSQL

相比于其他数据库类型，Redis 具备的特点是：

C/S 通讯模型
单进程单线程模型
丰富的数据类型
操作具有原子性
持久化
高并发读写
支持 lua 脚本

哪些大厂在使用 Redis？

github
twitter
微博
Stack Overflow
阿里巴巴
百度
美团
搜狐

Redis 的应用场景有哪些？

Redis 的应用场景包括：缓存系统（“热点”数据：高频读、低频写）、计数器、消息队列系统、排行榜、社交网络和实时系统。

什么是 NoSQL 型数据库

市面上类似于 Redis，同样是 NoSQL 型的数据库有很多，如下图所示，除了 Redis，还有 MemCache、Cassadra 和 Mongo。下面，我们就分别对这几个数据库做一下简要的介绍：Memcache：这是一个和 Redis 非常相似的数据库，但是它的数据类型没有 Redis 丰富。Memcache 由 LiveJournal 的 Brad Fitzpatrick 开发，作为一套分布式的高速缓存系统，被许多网站使用以提升网站的访问速度，对于一些大型的、需要频繁访问数据库的网站访问速度的提升效果十分显著。

Apache Cassandra：（社区内一般简称为 C*）这是一套开源分布式 NoSQL 数据库系统。它最初由 Facebook 开发，用于储存收件箱等简单格式数据，集 Google BigTable 的数据模型与 Amazon Dynamo 的完全分布式架构于一身。Facebook 于 2008 将 Cassandra 开源，由于其良好的可扩展性和性能，被 Apple、Comcast、Instagram、Spotify、eBay、Rackspace、Netflix 等知名网站所采用，成为了一种流行的分布式结构化数据存储方案。

MongoDB：是一个基于分布式文件存储、面向文档的 NoSQL 数据库，由 C++编写，旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系型数据库的，它支持的数据结构非常松散，是一种类似 json 的 BSON 格式。

NoSQL 数据库产生的原因

随着互联网技术的不断发展，各种类型的应用层出不穷，这导致在当今云计算、大数据盛行的时代，对性能有了更多的需求，主要体现在以下四个方面：

低延迟的读写速度：应用快速地反应能极大地提升用户的满意度
支撑海量的数据和流量：对于搜索这样大型应用而言，需要利用 PB 级别的数据和能应对百万级的流量
大规模集群的管理：系统管理员希望分布式应用能更简单的部署和管理
庞大运营成本的考量：IT 部门希望在硬件成本、软件成本和人力成本能够有大幅度地降低

什么是 NewSQL 数据库

基于以上考量，对海量数据有着高速读取能力的 NoSQL 型数据库就此诞生。然而，NoSQL 型数据库也有自己的短板：它对 ACID 事务方面的支持比较弱，这决定了它所适用的场景都比较具体。

为同时满足事务处理、复杂查询和高速读取的需求场景，将 SQL 的 ACID 与 NoSQL 的可扩展性和高性能相结合，融合了关系型数据库和 NoSQL 数据库的全新的数据库范式——NewSQL 数据库出现了。NewSQL 数据库是各种可扩展/高性能数据库的统称，这类数据库不仅具有 NoSQL 对海量数据的存储管理能力，还保持了传统数据库支持 ACID 和 SQL 等特性。

Redis 的数据类型及主要特性

Redis 提供的数据类型主要分为 5 种自有类型和一种自定义类型，这 5 种自有类型包括：String 类型、哈希类型、列表类型、集合类型和顺序集合类型。

String 类型：

它是一个二进制安全的字符串，意味着它不仅能够存储字符串、还能存储图片、视频等多种类型, 最大长度支持 512M。

对每种数据类型，Redis 都提供了丰富的操作命令，如：

GET/MGET
SET/SETEX/MSET/MSETNX
INCR/DECR
GETSET
DEL

关于上述命令的具体操作，Jim 会在公开课上为大家演示，欢迎点击观看。

哈希类型：

该类型是由 field 和关联的 value 组成的 map。其中，field 和 value 都是字符串类型的。

Hash 的操作命令如下：

HGET/HMGET/HGETALL
HSET/HMSET/HSETNX
HEXISTS/HLEN
HKEYS/HDEL
HVALS

关于上述命令的具体操作，Jim 也会在公开课上为大家演示，欢迎点击观看。

列表类型：

该类型是一个插入顺序排序的字符串元素集合, 基于双链表实现。

List 的操作命令如下：

LPUSH/LPUSHX/LPOP/RPUSH/RPUSHX/RPOP/LINSERT/LSET
LINDEX/LRANGE
LLEN/LTRIM

同样，这里也会有 Demo 演示，欢迎点击观看。

集合类型：

Set 类型是一种无顺序集合, 它和 List 类型最大的区别是：集合中的元素没有顺序, 且元素是唯一的。

Set 类型的底层是通过哈希表实现的，其操作命令为：

SADD/SPOP/SMOVE/SCARD
SINTER/SDIFF/SDIFFSTORE/SUNION

Set 类型主要应用于：在某些场景，如社交场景中，通过交集、并集和差集运算，通过 Set 类型可以非常方便地查找共同好友、共同关注和共同偏好等社交关系。

顺序集合类型：

ZSet 是一种有序集合类型，每个元素都会关联一个 double 类型的分数权值，通过这个权值来为集合中的成员进行从小到大的排序。与 Set 类型一样，其底层也是通过哈希表实现的。

ZSet 命令：

ZADD/ZPOP/ZMOVE/ZCARD/ZCOUNT
ZINTER/ZDIFF/ZDIFFSTORE/ZUNION

以上就是 Redis 的数据类型部分，欢迎预约公开课，查看命令演示。

Redis 的数据结构

Redis 的数据结构如下图所示：关于上表中的部分释义：

压缩列表是列表键和哈希键的底层实现之一。当一个列表键只包含少量列表项，并且每个列表项要么就是小整数，要么就是长度比较短的字符串，Redis 就会使用压缩列表来做列表键的底层实现
整数集合是集合键的底层实现之一，当一个集合只包含整数值元素，并且这个集合的元素数量不多时，Redis 就会使用整数集合作为集合键的底层实现

如下是定义一个 Struct 数据结构的例子：

简单动态字符串 SDS (Simple Dynamic String)

基于 C 语言中传统字符串的缺陷，Redis 自己构建了一种名为简单动态字符串的抽象类型，简称 SDS，其结构如下：SDS 几乎贯穿了 Redis 的所有数据结构，应用十分广泛。

SDS 的特点

和 C 字符串相比，SDS 的特点如下：

常数复杂度获取字符串长度

Redis 中利用 SDS 字符串的 len 属性可以直接获取到所保存的字符串的长
度，直接将获取字符串长度所需的复杂度从 C 字符串的 O(N)降低到了 O(1)。

减少修改字符串时导致的内存重新分配次数

通过 C 字符串的特性，我们知道对于一个包含了 N 个字符的 C 字符串来说，其底层实现总是 N+1 个字符长的数组（额外一个空字符结尾），那么如果这个时候需要对字符串进行修改，程序就需要提前对这个 C 字符串数组进行一次内存重分配（可能是扩展或者释放），而内存重分配就意味着是一个耗时的操作

Redis 巧妙的使用了 SDS 避免了 C 字符串的缺陷。在 SDS 中，buf 数组的长度不一定就是字符串的字符数量加一，buf 数组里面可以包含未使用的字节，而这些未使用的字节由 free 属性记录。

与此同时，SDS 采用了空间预分配的策略，避免 C 字符串每一次修改时都需要进行内存重分配的耗时操作，将内存重分配从原来的每修改 N 次就分配 N 次——>降低到了修改 N 次最多分配 N 次。

如下是 Redis 对 SDS 的简单定义：

Redis 特性 1：事务

命令序列化，按顺序执行
原子性
三阶段: 开始事务 - 命令入队 - 执行事务
命令：MULTI/EXEC/DISCARD

事务对于 Redis 来说，是非常重要的功能特性之一，具体的 Demo 会在本期公开课中为大家演示，欢迎点击查看。

Redis 特性 2：发布订阅(Pub/Sub)

Pub/sub 是一种消息通讯模式
Pub 发送消息, Sub 接受消息
Redis 客户端可以订阅任意数量的频道
“fire and forgot”, 发送即遗忘
命令：Publish/Subscribe/Psubscribe/UnSub

本期公开课，Jim 将会演示：消息发布订阅和 Redis 事件监听订阅这两个 Demo，欢迎大家提前预约：https://live.vhall.com/661463644

Redis 特性 3：Stream

Redis 5.0 新增
等待消费
消费组(组内竞争)
消费历史数据
FIFO

以上就是 Redis 的基本概念，下面我们将介绍在开发过程中可能会踩到的“坑”。

Redis 常见问题解析：击穿

概念：在 Redis 获取某一 key 时, 由于 key 不存在, 而必须向 DB 发起一次请求的行为, 称为“Redis 击穿”。

引发击穿的原因：

第一次访问
恶意访问不存在的 key
Key 过期

合理的规避方案：

服务器启动时, 提前写入
规范 key 的命名, 通过中间件拦截
对某些高频访问的 Key，设置合理的 TTL 或永不过期

Redis 常见问题解析：雪崩

概念：Redis 缓存层由于某种原因宕机后，所有的请求会涌向存储层，短时间内的高并发请求可能会导致存储层挂机，称之为“Redis 雪崩”。

合理的规避方案：

使用 Redis 集群
限流

Redis 在产品开发中的应用实践

产品背景

后端采用 nodeJS
使用 Azure 的 Redis 服务
Redis 的使用场景
- token 缓存, 用于令牌验证
- IP 白名单

碰到的问题

“网络抖动”或者 Redis 服务异常导致 Redis 访问超时
Redis 客户端驱动稳定性问题
- 连接池 “Broken connection” 问题
- JS 的 Promise 引出的 Redis 重置问题

在“Redis 产品开发中的应用实践”这部分中，Jim 会实际演示他所在的项目组使用 Redis 时碰到的问题以及解决方案，对于刚接触 Redis 的同学来说，更具参考意义和学习价值，欢迎大家前来观看。

公开课地址：https://live.vhall.com/661463644

介绍完了 Redis 的基本概念和常见问题，下面我们来简单了解一下 Redis 的进阶知识。

进阶之 Redis 协议简介

Redis 客户端通讯协议：RESP(Redis Serialization Protocol)，其特点是：

简单
解析速度快
可读性好

Redis 集群内部通讯协议：RECP(Redis Cluster Protocol ) ，其特点是：

每一个 node 两个 tcp 连接
一个负责 client-server 通讯(P: 6379)
一个负责 node 之间通讯(P: 10000 + 6379)

Redis 协议支持的数据类型：

简单字符(首字节: “+”)
```
  “+OK\\r\\n”
```
错误(首字节: “-”)
```
  “-error msg\\r\\n”
```
数字(首字节: “:”)
```
  “:123\\r\\n”
```
批量字符(首字节: “$”)
```
  “&hello\\r\\nWhoa re you\\r\\n”
```
数组(首字节: “*”)
```
  “*0\\r\\n”  “*-1\\r\\n”
```

如何自己实现 Redis 客户端驱动?

关于这部分内容，Jim 给我们留了一个大大的悬念，将在他的公开课中为大家揭晓。

以上，就是本期公开课《Redis 从入门到实践》的主要内容，更多演示案例和代码剖析，尽在公开课中为大家呈现，欢迎大家提前预约，届时收看。