【狂神说】Redis笔记
文章目录
-
- 1、Nosql概述
-
- 1.1 为什么要用Nosql
- 1.2 什么是NoSQL
- 1.3 阿里巴巴演进分析
- 2、NoSQL的四大分类
- 3、Redis入门
-
- 3.1 概述
- 3.2 Windows安装
- 3.3 Linux安装
- 3.4 测试性能
- 3.5 基础的知识
- 4、五大数据类型
-
- 4.1 Redis-Key
- 4.2 String（字符串）
- 4.3 List（列表）
- 4.4 Set（集合）
- 4.5 Hash（哈希）
- 4.6 Zset（有序集合）
- 5、三种特殊数据类型
-
- 5.1 Geospatial 地理位置
- 5.2 Hyperloglog 基数统计
- 5.3 Bitmap 位图
- 6、事务
- 7、Jedis
-
- 7.1 事务
- 8、SpringBoot整合
- 9、Redis.conf详解
- 10、Redis持久化
-
- 10.1 RDB（Redis DataBase）
- 10.2 AOF（Append Only File）
- 11、Redis发布订阅
- 12、Redis主从复制
- 13、哨兵模式
- 14、Redis缓存穿透和雪崩
-
- 14.1 缓存穿透（查不到）
- 14.2 缓存击穿（量太大，缓存过期！）
- 14.3 缓存雪崩
1、Nosql概述
1.1 为什么要用Nosql
1 、单机MySQL的年代！
90 年代，一个基本的网站访问量一般不会太大，单个数据库完全足够！
那个时候，更多的去使用静态网页 Html ~ 服务器根本没有太大的压力！
思考一下，这种情况下：整个网站的瓶颈是什么？
1 、数据量如果太大、一个机器放不下了！
2 、数据的索引 （B+ Tree），一个机器内存也放不下
3 、访问量（读写混合），一个服务器承受不了~
只要你开始出现以上的三种情况之一，那么你就必须要晋级！
2 、Memcached（缓存） + MySQL + 垂直拆分 （读写分离）
网站80%的情况都是在读，每次都要去查询数据库的话就十分的麻烦！所以说我们希望减轻数据的压
力，我们可以使用缓存来保证效率！
发展过程： 优化数据结构和索引–> 文件缓存（IO）—> Memcached（当时最热门的技术！）
3 、分库分表 + 水平拆分 + MySQL集群
技术和业务在发展的同时，对人的要求也越来越高！
本质：数据库（读，写）
早些年 MyISAM： 表锁，十分影响效率！高并发下就会出现严重的锁问题
转战 InnoDB：行锁
慢慢的就开始使用分库分表来解决写的压力！ MySQL 在那个年代推出了表分区！这个并没有多少公司使用！
MySQL 的 集群，很好满足那个年代的所有需求！
4、如今年代
2010–2020 十年之间，世界已经发生了翻天覆地的变化；（定位，也是一种数据，音乐，热榜！）
MySQL 等关系型数据库就不够用了！数据量很多，变化很快~！
MySQL 有的使用它来村粗一些比较大的文件，博客，图片！数据库表很大，效率就低了！如果有一种数据库来专门处理这种数据，MySQL压力就变得十分小（研究如何处理这些问题！）大数据的IO压力下，表几乎没法更大！
目前一个基本的互联网项目！
为什么要用NoSQL！
用户的个人信息，社交网络，地理位置。用户自己产生的数据，用户日志等等爆发式增长！
这时候我们就需要使用NoSQL数据库的，Nosql 可以很好的处理以上的情况！
1.2 什么是NoSQL
NoSQL
NoSQL = Not Only SQL （不仅仅是SQL）
关系型数据库：表格 ，行 ，列
泛指非关系型数据库的，随着web2.0互联网的诞生！传统的关系型数据库很难对付web2.0时代！尤其
是超大规模的高并发的社区！ 暴露出来很多难以克服的问题，NoSQL在当今大数据环境下发展的十分迅速，Redis是发展最快的，而且是我们当下必须要掌握的一个技术！
很多的数据类型用户的个人信息，社交网络，地理位置。这些数据类型的存储不需要一个固定的格式！不需要多余的操作就可以横向扩展的 ！ Map
NoSQL 特点
1 、方便扩展（数据之间没有关系，很好扩展！）
2 、大数据量高性能（Redis 一秒写 8 万次，读取 11 万，NoSQL的缓存记录级，是一种细粒度的缓存，性能会比较高！）
3 、数据类型是多样型的！（不需要事先设计数据库！随取随用！如果是数据量十分大的表，很多人就无法设计了！）
4 、高可用
传统的RDBMS 和 NoSQL
传统 RDBMS
-结构化组织
-SQL
-数据和关系都在单独的表中
-严格的一致性
-操作数据定义语言
-基础的事务
-....
NoSQL
-不仅仅是数据
-没有固定的查询语言
-键值对存储，列存储，文档存储，图形数据库（社交关系）
-最终一致性，
-CAP定理和BASE理论 （异地多活） 初级架构师！
-高性能，高可用，高可扩
-....
了解：3V+3高
大数据时代的3V：主要是描述问题的
- 海量Volume
- 多样Variety
- 实时Velocity
大数据时代的 3 高：主要是对程序的要求
- 高并发
- 高可扩
- 高性能
真正在公司中的实践：NoSQL + RDBMS 一起使用才是最强的，阿里巴巴的架构演进！
技术没有高低之分，就看你如何去使用！（提升内功，思维的提高！）
1.3 阿里巴巴演进分析
思考问题：这么多东西难道都是在一个数据库中的吗?
技术急不得，越是慢慢学，才能越扎实！
开源才是技术的王道！
任何一家互联网的公司，都不可能只是简简单单让用户能用就好了！
大量公司做的都是相同的业务；（竞品协议）
随着这样的竞争，业务是越来越完善，然后对于开发者的要求也是越来越高！
如果你未来相当一个架构师： 没有什么是加一层解决不了的！
# 1、商品的基本信息
名称、价格、商家信息；
关系型数据库就可以解决了！ MySQL / Oracle （淘宝早年就去IOE了！- 王坚：推荐文章：阿里云的这群疯子： 40 分钟重要！）
淘宝内部的 MySQL 不是大家用的 MySQL
# 2、商品的描述、评论（文字比较多）
文档型数据库中，MongoDB
# 3、图片
分布式文件系统 FastDFS
- 淘宝自己的 TFS
- Gooale的 GFS
- Hadoop HDFS
- 阿里云的 oss
# 4、商品的关键字 （搜索）
- 搜索引擎 solr elasticsearch
- ISerach：多隆（多去了解一下这些技术大佬！）
所有牛逼的人都有一段苦逼的岁月！但是你只要像SB一样的去坚持，终将牛逼！
# 5、商品热门的波段信息、
- 内存数据库
- Redis Tair、Memache...
# 6、商品的交易，外部的支付接口
- 三方应用
要知道，一个简单地网页背后的技术一定不是大家所想的那么简单！
大型互联网应用问题：
数据类型太多了！
数据源繁多，经常重构！
数据要改造，大面积改造？
解决问题：
这里以上都是NoSQL入门概述，不仅能够提高大家的知识，还可以帮助大家了解大厂的工作内容！
2、NoSQL的四大分类
KV键值对：
- 新浪： Redis
- 美团：Redis + Tair
- 阿里、百度：Redis + memecache
文档型数据库（bson格式 和json一样）：
- MongoDB （一般必须要掌握）
- MongoDB 是一个基于分布式文件存储的数据库，C++ 编写，主要用来处理大量的文档！
- MongoDB 是一个介于关系型数据库和非关系型数据库中间的产品！MongoDB 是非关系型数
据库中功能最丰富，最像关系型数据库的！
- ConthDB
列存储数据库
- HBase
- 分布式文件系统
图关系数据库
- 他不是存图形，放的是关系，比如：朋友圈社交网络，广告推荐！
- Neo4j ，InfoGrid；
四者对比
| 分类 | Examples举例 | 典型应用场景 | 数据模型 | 优点 | 缺点 |
|---|---|---|---|---|---|
| 键值（key-value） | Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB | 内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。 | Key 指向 Value 的键值对，通常用hash table来实现 | 查找速度快 | 数据无结构化，通常只被当作字符串或者二进制数据 |
| 列存储数据库 | Cassandra, HBase, Riak | 分布式的文件系统 | 以列簇式存储，将同一列数据存在一起 | 查找速度快，可扩展性强，更容易进行分布式扩展 | 功能相对局限 |
| 文档型数据库 | CouchDB, MongoDb | Web应用（与Key-Value类似，Value是结构化的，不同的是数据库能够了解Value的内容） | Key-Value对应的键值对，Value为结构化数据 | 数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构 | 查询性能不高，而且缺乏统一的查询语法。 |
| 图形(Graph)数据库 | Neo4J, InfoGrid, Infinite Graph | 社交网络，推荐系统等。专注于构建关系图谱 | 图结构 | 利用图结构相关算法。比如最短路径寻址，N度关系查找等 | 很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。 |
3、Redis入门
3.1 概述
Redis 是什么？
Redis（Remote Dictionary Server )，即远程字典服务!
是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了
master-slave(主从)同步。
免费和开源！是当下最热门的 NoSQL 技术之一！也被人们称之为结构化数据库！
Redis 能干嘛？
- 内存存储、持久化，内存中是断电即失、所以说持久化很重要（rdb、aof）
- 效率高，可以用于高速缓存
- 发布订阅系统
- 地图信息分析
- 计时器、计数器（浏览量！）
- …
特性
-
多样的数据类型
-
持久化
-
集群
-
事务
-
…
缺点
-
不适合存储重要的数据（财务类等）
-
不适合存储经常修改的数据
3.2 Windows安装
1 、下载安装包：https://github.com/dmajkic/redis/releases
2 、下载完毕得到压缩包：
3 、解压到自己电脑上的环境目录下的就可以的！Redis 十分的小，只有5M
4 、开启Redis，双击运行服务–redis-server.exe即可！
5 、使用redis客户端–redis-cli.exe来连接redis
记住一句话，Window下使用确实简单，但是Redis 推荐我们使用Linux去开发使用！
3.3 Linux安装
1 、下载安装包！ redis-5.0.8.tar.gz ，用xftp把安装包放到 /opt下
2 、解压Redis的安装包！ 程序 /opt
tar -zxvf redis-5.0.8.tar.gz
3 、进入解压后的文件，可以看到我们redis的配置文件
4 、基本的环境安装
yum install gcc-c++ # 安装gcc，如果使用redis6.0以上的话需要gcc9.0版本以上才
gcc -v # 查看安装版本
make # 自动进行配置，安装后必须执行，需要等待较长时间
make install # 接着执行
5 、redis的默认安装路径 /usr/local/bin
cd /usr/local/bin # 进入目录
ls # 查看
6 、将redis配置文件。复制到我们当前目录下
mkdir RedisConfig # 创建目录存放配置文件
cp /opt/redis-5.0.8/redis.conf RedisConfig/ # 将/opt/redis-5.0.8/下的配置文件拷贝过来
7 、redis默认不是后台启动的，修改配置文件！
vi redis.conf # 进行编辑
8 、启动Redis服务！
cd /usr/local/bin # 回到bin目录
redis-server RedisConfig/redis.conf # 启动redis服务
9 、使用redis-cli 进行连接测试！
redis-cli -p 6379 # -h 指定主机 -p指定端口
ping # 测试连接
10 、复制连接，新开一个窗口，查看redis的进程是否开启！
ps -ef|grep redis
11 、如何关闭Redis服务呢？
shutdown # 关闭服务
exit # 退出
12 、再次查看进程是否存在
13 、后面我们会使用单机多Redis启动集群测试！
3.4 测试性能
redis-benchmark 是一个压力测试工具！
官方自带的性能测试工具！
redis-benchmark 命令参数！
redis 性能测试工具可选参数如下所示：
| 序号 | 选项 | 描述 | 默认值 |
|---|---|---|---|
| 1 | -h | 指定服务器主机名 | 127.0.0.1 |
| 2 | -p | 指定服务器端口 | 6379 |
| 3 | -s | 指定服务器 socket | |
| 4 | -c | 指定并发连接数 | 50 |
| 5 | -n | 指定请求数 | 10000 |
| 6 | -d | 以字节的形式指定 SET/GET 值的数据大小 | 2 |
| 7 | -k | 1=keep alive 0=reconnect | 1 |
| 8 | -r | SET/GET/INCR 使用随机 key, SADD 使用随机值 | |
| 9 | -P | 通过管道传输 请求 | 1 |
| 10 | -q | 强制退出 redis。仅显示 query/sec 值 | |
| 11 | –csv | 以 CSV 格式输出 | |
| 12 | -l | 生成循环，永久执行测试 | |
| 13 | -t | 仅运行以逗号分隔的测试命令列表。 | |
| 14 | -I | Idle 模式。仅打开 N 个 idle 连接并等待。 |
我们来简单测试下：
# 测试： 100 个并发连接 每个并发100000 个请求，需要先开启redis
redis-benchmark -h localhost -p 6379 -c 100 -n 100000
如何查看这些分析呢？
3.5 基础的知识
redis默认有 16 个数据库
默认使用的是第 0 个
# 可以使用 select 进行切换数据库！
127 .0.0.1:6379> select 3 # 切换数据库
OK
127 .0.0.1:6379[3]> DBSIZE # 查看DB大小！
(integer) 0
127 .0.0.1:6379[3]> set name xu
127 .0.0.1:6379[3]> keys * # 查看数据库所有的key
1 ) "name"
127.0.0.1:6379[3]> FLUSHDB # 清除当前数据库
OK
127.0.0.1:6379[3]> FLUSHALL # 清除全部数据库的内容
OK
思考：为什么redis是 6379 ！粉丝效应！（了解一下即可！）
Redis 是单线程的！
明白Redis是很快的，官方表示，Redis是基于内存操作，CPU不是Redis性能瓶颈，Redis的瓶颈是根据机器的内存和网络带宽来定，既然可以使用单线程来实现，就使用单线程了！所以就使用了单线程了！
Redis 是C 语言写的，官方提供的数据为 100000+ 的QPS，完全不比同样是使用 key-vale的
Memecache差！
Redis 为什么单线程还这么快？
1 、误区 1 ：高性能的服务器一定是多线程的？
2 、误区 2 ：多线程（CPU上下文会切换！）一定比单线程效率高！
先去CPU>内存>硬盘的速度要有所了解！
核心：redis 是将所有的数据全部放在内存中的，所以说使用单线程去操作效率就是最高的，多线程
（CPU上下文会切换：耗时的操作！！！），对于内存系统来说，如果没有上下文切换效率就是最高的！多次读写都是在一个CPU上的，在内存情况下，这个就是最佳的方案！
4、五大数据类型
Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件MQ。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间
（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU 驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和 自动分区（Cluster）提供高可用性（high availability）。
我们现在讲解的所有命令大家一定要全部记住，后面我们使用SpringBoot。Jedis，所有的方法就是
这些命令！——单点登录
4.1 Redis-Key
127 .0.0.1:6379> keys * # 查看所有的key
(empty list or set)
127 .0.0.1:6379> set name kuangshen # set key
OK
127 .0.0.1:6379> keys *
1 ) "name"
127 .0.0.1:6379> set age 1
OK
127 .0.0.1:6379> keys *
1 ) "age"
2 ) "name"
127 .0.0.1:6379> EXISTS name # 判断当前的key是否存在
(integer) 1
127 .0.0.1:6379> EXISTS name
(integer) 0
127 .0.0.1:6379> move name 1 # 移除当前的key
(integer) 1
127 .0.0.1:6379> keys *
1 ) "age"
127 .0.0.1:6379> set name qinjiang
OK
127 .0.0.1:6379> keys *
1 ) "age"
2 ) "name"
127 .0.0.1:6379> clear
127 .0.0.1:6379> keys *
1 ) "age"
2 ) "name"
127 .0.0.1:6379> get name
"qinjiang"
127 .0.0.1:6379> EXPIRE name 10 # 设置key的过期时间，单位是秒
(integer) 1
127 .0.0.1:6379> ttl name # 查看当前key的剩余时间
(integer) 4
127 .0.0.1:6379> ttl name
(integer) 3
127 .0.0.1:6379> ttl name
(integer) 2
127 .0.0.1:6379> ttl name
(integer) 1
127 .0.0.1:6379> ttl name
(integer) -2
127 .0.0.1:6379> get name
(nil)
127 .0.0.1:6379> type name # 查看当前key的一个类型！
string
127 .0.0.1:6379> type age
string
4.2 String（字符串）
90% 的 java程序员使用 redis 只会使用一个String类型！
##########################################################################
127 .0.0.1:6379> set key1 v1 # 设置值
OK
127 .0.0.1:6379> get key1 # 获得值
"v1"
127 .0.0.1:6379> keys * # 获得所有的key
1 ) "key1"
127 .0.0.1:6379> EXISTS key1 # 判断某一个key是否存在
(integer) 1
127 .0.0.1:6379> APPEND key1 "hello" # 追加字符串，如果当前key不存在，就相当于setkey
(integer) 7
127 .0.0.1:6379> get key1
"v1hello"
127 .0.0.1:6379> STRLEN key1 # 获取字符串的长度！
(integer) 7
127 .0.0.1:6379> APPEND key1 ",kaungshen"
(integer) 17
127 .0.0.1:6379> STRLEN key1
(integer) 17
127 .0.0.1:6379> get key1
"v1hello,kaungshen"
##########################################################################
# i++
# 步长 i+=
127 .0.0.1:6379> set views 0 # 初始浏览量为 0
OK
127 .0.0.1:6379> get views
"0"
127 .0.0.1:6379> incr views # 自增 1 浏览量变为 1
(integer) 1
127 .0.0.1:6379> incr views
(integer) 2
127 .0.0.1:6379> get views
"2"
127 .0.0.1:6379> decr views # 自减 1 浏览量-1
(integer) 1
127 .0.0.1:6379> decr views
(integer) 0
127 .0.0.1:6379> decr views
(integer) -1
127 .0.0.1:6379> get views
"-1"
127 .0.0.1:6379> INCRBY views 10 # 可以设置步长，指定增量！
(integer) 9
127 .0.0.1:6379> INCRBY views 10
(integer) 19
127 .0.0.1:6379> DECRBY views 5
(integer) 14
##########################################################################
# 字符串范围 getrange
127 .0.0.1:6379> set key1 "hello,kuangshen" # 设置 key1 的值
OK
127 .0.0.1:6379> get key1
"hello,kuangshen"
127 .0.0.1:6379> getrange key1 0 3 # 截取字符串 [0,3]
"hell"
127 .0.0.1:6379> GETRANGE key1 0 -1 # 获取全部的字符串 和 get key是一样的
"hello,kuangshen"
##########################################################################
# 替换！ setrange
127 .0.0.1:6379> set key2 abcdefg
OK
127 .0.0.1:6379> get key2
"abcdefg"
127 .0.0.1:6379> setrange key2 1 xx # 替换指定位置开始的字符串！
(integer) 7
127 .0.0.1:6379> get key2
"axxdefg"
##########################################################################
setex (set with expire) # 设置值同时设置过期时间
setnx (set if not exist) # 不存在再设置，存在的话保持原值 （在分布式锁中会常常使用！）
127 .0.0.1:6379> setex key3 30 "hello" # 设置key3 的值为 hello,30秒后过期
OK
127 .0.0.1:6379> ttl key3
(integer) 26
127 .0.0.1:6379> get key3
"hello"
127 .0.0.1:6379> setnx mykey "redis" # 如果mykey 不存在，创建mykey
(integer) 1
127 .0.0.1:6379> keys *
1 ) "key2"
2 ) "mykey"
3 ) "key1"
127 .0.0.1:6379> ttl key3
(integer) -2
127 .0.0.1:6379> setnx mykey "MongoDB" # 如果mykey存在，创建失败！
(integer) 0
127 .0.0.1:6379> get mykey
"redis"
##########################################################################
mset # 同时设置多个值
mget # 同时获取多个值
127 .0.0.1:6379> mset k1 v1 k2 v2 k3 v3 # 同时设置多个值
OK
127 .0.0.1:6379> keys *
1 ) "k1"
2 ) "k2"
3 ) "k3"
127 .0.0.1:6379> mget k1 k2 k3 # 同时获取多个值
1 ) "v1"
2 ) "v2"
3 ) "v3"
127.0.0.1:6379> msetnx k1 v2 k4 v4 #设置