redis

redis

概览

1. 是一个单进程单线程模型的基于内存的高性能的key-value内存型数据库

2. 支持数据的持久化,提供string,list，set，zset(sortedset)，hash等数据结构的存储,支持主从备份,3.x后分布式布署操作原子性,丰富的实用特性，如订阅-发布模式(可替换Kafka)，生产者消费者模式，key过期等常用易用的模式

3. 主要场景是加速客户端访问速度或其它要加速提效的功能点,做一些缓存或限时任务等

4. java操作redis,加入jedis依赖

   • 测试流程

   1. 链接上redis,new一个jedis对象,传ip和端口号,再.auth传入密码

   2. 相关操作,添加数据,操作数据

   3. 关闭链接.close

   • 封装成工具类

   1. 构造方法里传入ip,端口号,和密码生成一个jedis对象

   2. 封装常用的set,get方法,方便调用

   3. 类里声明一个私有的jedis对象,因为他有很多种方法,封装不过来的,想用的话就用对象来.方法

一 介绍

是一个高性能的key-value内存型数据库,Redis 是完全开源免费的，遵守BSD协议

架构

1. 单进程单线程模型的KV数据库

   • 多线程可能用到锁

   • 多线程处理会涉及线程切换消耗CPU

   • redis可以通过在单机开多个Redis实例来完善发挥多核CPU性能

2. 完全基于内存，但提供数据持久化功能

3. 数据结构简单，对数据操作也简单

4. 使用多路 I/O 复用模型（网络io事件模型-epoll）

   • 网络IO都是通过Socket实现，Server在某一个端口持续监听，客户端通过Socket（IP+Port）与服务器建立连接（ServerSocket.accept），成功建立连接之后，就可以使用Socket中封装的InputStream和OutputStream进行IO交互。针对每个客户端，Server都会创建一个新线程专门用于处理该客户端的IO请求

   • 默认情况下，网络IO是阻塞模式，即服务器线程在数据到来之前处于【阻塞】状态，等到数据到达，会自动唤醒服务器线程，着手进行处理。阻塞模式下，一个线程只能处理一个流的IO事件

   • 5种网络IO模式

     • 阻塞IO、非阻塞IO、IO复用模型、信号驱动IO、异步IO模型

     • IO复用模型中包括：select模式、poll模式、epoll模式（event poll模式），其中epoll是select和poll模型的升级优化，使得一个线程可以最大限度、最高效的监听和响应更多路客户端的IO请求

二 特点

1. 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候自动再次加载进行使用。

2. 既支持key-value类型的数据操作(string)，还提供list，set，zset，hash等数据结构的存储。

3. 支持数据的主从备份，采用master-slave模式的主从备份。

4. 新版3.x也支持分布式布署模式，真正实现了数据块的分布式存储与响应。

5. 性能极高–Redis读的速度是11万次/s,写的速度是8万次/s。

6. 所有操作均为原子性操作

7. 丰富的实用特性，如订阅-发布模式，生产者消费者模式，key过期等常用易用的模式。

8. 三种运行模式

• 单机布署

• 主备布署

• 分布式布署

1. 相关竞品组件

• MemoryCache-kv型缓存数据库 ：单进程多线程模型

• Apache Ignite-分布式关系型缓存数据库

三 应用场景

目标：加速客户端访问速度或其它要加速提效的功能点

1. 缓存一些静态数据

2. 缓存一些不经常变化数据

3. 缓存一些高耗时计算的数据

4. 缓存一些预计算的数据

5. 充当中间件，做系统模块或子系统之间的解耦使用

• Springboot集成echarts词云图项目之前端加速

词云列表在web端展示时候，将一直从数据库查询操作，改到第一次从数据库查询，后续查redis的操作，体验速度的提升情况

• 舆情热点挖掘大项目之前端加速

热点挖掘在web端展示时候，将一直从数据库查询操作，改到第一次从数据库查询，后续查redis的操作，体验速度的提升情况

• 高级爬虫之redis中间件存储与系统解耦应用

用redis作为爬虫的已采集任务对象集合的第三方存储，省去从数据库恢复已采集任务对象集合。

用redis将分布式采集器中的主和从节点的交互解耦，不再需要直通信

具体使用

参考:redis常见应用场景 - 简书

1. 缓存热数据,可以设置过期时间然后再进行缓存更新操作

2. 限时业务的运用,可以使用expire命令设置一个键的生存时间，到时间后redis会删除它。利用这一特性可以运用在限时的优惠活动信息、手机验证码等业务场景

3. redis由于incrby命令可以实现原子性的递增，所以可以运用于高并发的秒杀活动、分布式序列号的生成、具体业务还体现在比如限制一个手机号发多少条短信、一个接口一分钟限制多少请求、一个接口一天限制调用多少次等等

4. 排行榜问题,关系型数据库在排行榜方面查询速度普遍偏慢，所以可以借助redis的SortedSet进行热点数据的排序

5. 分布式锁

6. 延时操作

7. 分页,模糊搜索

8. 点赞、好友等相互关系的存储

四 具体使用

windows中

• 资源链接入口地址：https://github.com/MicrosoftArchive/redis/releases

• 开启服务

  1. cmd进入对应目录后redis-server.exe --maxheap 268435456

  2. 通过配置文件启动:修改redis.windows.conf中的maxheap参数值为26843545,cmd进入对应目录后redis-server.exe redis.windows.conf

• 客户端连接服务器

  1. 运行redis-cli.exe,set k1 v1 添加kv数据,keys *查看所有v,get k1 查看v1

  2. 可以指定自定义ip和端口,cmd进入目录,redis-cli.exe -h 127.0.0.1 -p 6379

linux中

• 资源入口链接-Index of /releases/

• 通过浏览器直接打开，或者wget均可

• 解压为源码包，需要编译后方可使用

  tar -xzvf redis-2.8.24.tar.gz
  cd redis-2.8.24
  make  源代码编译
  cd src   进入编译完成后的执行文件所在的主目录
  ./redis-server   按默认参数起动redis-server ,或者./redis-server ../redis.conf   //按指定的参数文件来起动redis-server，参数文件配置等同windows的conf文件

• 客户端连接服务端

  cd src
  ./redis-cli  或者 ./redis-cli -h 127.0.0.1 -p 6379

五 常用命令

1 设置密码

在redis.conf中，修改requirepass参数 ,参数后面为密码,重启生效,进入: ./redis-cli -a xxxx,先进入./redis-cli再验证auth xxxx

2 key常用命令

序号	命令	作用
1	set key value	设置kv对
2	get key	通过给定key获取其对应的value
3	del key	删除指定的key
4	dump key	返回key对应的序列化后的值
5	exists key	检查给定 key 是否存在
6	expire key seconds	给指定key设置失效时间
7	expireat key timestamp	EXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。 不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix timestamp)
8	pexpire key milliseconds	设置 key 的过期时间以毫秒计
9	pexpireat key milliseconds-timestamp	设置 key 过期时间的时间戳(unix timestamp) 以毫秒计
10	keys pattern	查找所有符合给定模式( pattern)的 key
11	persist key	移除 key 的过期时间，key 将持久保持
12	ttl key	以秒为单位，返回给定 key 的剩余生存时间(TTL, time to live)
13	randomkey	从当前数据库中随机返回一个 key
14	rename key newkey	修改 key 的名称
15	renamenx key newkey	仅当newkey不存在时，将key改名为newkey
16	type key	返回key所储存的值的类型

3 hash结构操作常用命令

类似java中的map结构，内部由为该map对象设置一个名称字段，其内部由一系列的kv对组成。

序号	命令	作用
1	hset key field value	将哈希表 key 中的字段 field 的值设为 value
2	hsetnx key field value	只有在字段 field 不存在时，设置哈希表字段的值
3	hvals key	获取哈希表中所有值
4	hdel key field1 [field2]	删除一个或多个哈希表字段
5	hexists key field	查看哈希表 key 中，指定的字段是否存在
6	hget key field	获取存储在哈希表中指定字段的值
7	hgetall key	获取在哈希表中指定 key 的所有字段和值
8	hkeys key	获取所有哈希表中的字段
9	hlen key	获取哈希表中字段的数量
10	hmget key field1 [field2]	获取所有给定字段的值
11	hmset key field1 value1 [field2 value2 ]	同时将多个field-value (域-值)对设置到哈希表key 中

4 列表(List)结构操作常用命令

序号	命令	作用
1	lpush key value1 [value2]	将一个或多个值插入到列表头部
2	lpushx key value	将一个值插入到已存在的列表头部
3	lrange key start stop	获取列表指定范围内的元素，用元素所在的下标值来作为范转围的上下限，如 lrange list1 0 10
4	rpop key	移除并获取列表最后一个元素
5	rpush key value1 [value2]	在列表中添加一个或多个值
6	rpushx key value	为已存在的列表添加值
7	llen key	获取列表长度
8	lpop key	移除并获取列表的第一个元素
9	blpop key1 [key2 ] timeout	移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
10	brpop key1 [key2 ] timeout	移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。

5 集合Set结构操作常用命令

• 类比于JavaSe中的HashSet，但Redis中的Set结构主要存储是String类型的无序集合。

• 集合是通过哈希表实现的，所以添加，删除，查找的时间复杂度都是 O(1)。

• 集合成员是唯一、不重复的数据结构。

序号	命令	作用
1	sadd key member1 [member2]	向集合添加一个或多个成员
2	srem key member1 [member2]	移除集合中一个或多个成员
3	sismember key member	判断 member 元素是否是集合 key 的成员
4	smembers key	返回集合中的所有成员
5	smove source destination member	将member元素从source集合移动到destination 集合
6	spop key	移除并返回集合中的一个随机元素
7	sunion key1 [key2]	返回所有给定集合的并集
8	sunionstore destination key1 [key2]	所有给定集合的并集存储在 destination 集合中
9	sinter key1 [key2]	返回给定所有集合的交集
10	scard key	获取集合的成员数
11	sdiff key1 [key2]	返回给定所有集合的差集
12	sdiffstore destination key1 [key2]	返回给定所有集合的差集并存储在 destination 中
13	sinterstore destination key1 [key2]	返回给定所有集合的交集并存储在 destination 中

6 redis连接服务器操作

序号	命令	作用
1	auth password	验证密码是否正确
2	echo message	打印字符串
3	ping	查看服务是否运行,返回pong代表正常
4	quit	关闭当前连接
5	select index	切换到指定的数据库，默认redis有16个数据库，默认选择索引号为0的数据库

7 redis服务器操作

序号	命令	作用
1	bgrewriteaof	异步执行一个 aof（appendonly file） 文件重写操作
2	bgsave	在后台异步保存当前数据库的数据到磁盘
3	client list	获取连接到服务器的客户端连接列表
4	config set parameter value	修改 redis 配置参数，无需重启
5	dbsize	返回当前数据库的 key 的数量
6	flushall	删除所有数据库的所有key
7	flushdb	删除当前数据库的所有key
8	lastsave	返回最近一次 redis 成功将数据保存到磁盘上的时间，以 unix 时间戳格式表示
9	monitor	实时打印出 redis 服务器接收到的命令，调试用
10	save	同步保存数据到硬盘
11	shutdown nosave	异步保存数据到硬盘，并关闭服务器
12	slaveof host port	将当前服务器转变为指定服务器的从属服务器(slave server)

8 基数统计结构HyperLogLog（基数即为去重）

• HyperLogLog结构，是用来做基数统计的结构，与之对应的算法为HyperLogLog算法，是概率计算基数的一种算法。

• 在不要求绝对准确的场景下，比如1%标准误差的范围内，可以用该结构。

• 其显著优点是，输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、且很小的。

• 每个 HyperLogLog 键只需要 12 KB 内存，即可计算近 2^64 个不同元素的基数。其所占存储空间并不是线性增长的。

• 只计算基数，并不存储数据本身，故不能返回元素本身

序号	命令	作用
1	pfadd key element [element ...]	添加指定元素到 HyperLogLog 中
2	pfcount key [key ...]	返回给定 HyperLogLog 的基数估算值
3	pfmerge destkey sourcekey [sourcekey ...]	将多个 HyperLogLog 合并为一个 HyperLogLog

六 Java操作redis

1. 引入依赖

• java操作redis的第三方库为jedis

   4.0.0
   com.tl.job002
   RedisTest
   0.0.1-SNAPSHOT
   
   
      
        nexus-aliyun
        Nexus aliyun
         http://maven.aliyun.com/nexus/content/groups/public
      
   
   
      
         redis.clients
         jedis
        2.8.2
      
   
   
      RedisTest
      
        
           maven-compiler-plugin
           2.3.2
           
              1.7
              1.7
              UTF-8
           
        
      
   

1. 测试redis server是否正常开启

import redis.clients.jedis.Jedis;
public class RedisUtil {
   public static void main(String[] args) {
      // 连接本地的 Redis 服务
      Jedis jedis = new Jedis("localhost", 6379);
      // 查看服务是否运行
      System.out.println("服务正在运行: " + jedis.ping());
   }
}

1. 测试向redis加入kv对及查询

import redis.clients.jedis.Jedis;
public class RedisUtil {
   public static void main(String[] args) {
      // 连接本地的 Redis 服务
      Jedis jedis = new Jedis("localhost", 6379);
      jedis.set("jedis_k1", "jedis_v1");
      System.out.println("jedis_k1=:"+ jedis.get("jedis_k1"));
   }
}

1. 从redis client黑窗口中查询结果

输入 get jedis_k1会返回jedis_v1说明起作用

redis操作工具化

import redis.clients.jedis.Jedis;
public class RedisUtil {
    private Jedis jedis;
    public Jedis getJedis() {
        return jedis;
    }
    public void setJedis(Jedis jedis) {
        this.jedis = jedis;
    }
    public RedisUtil(String host, int port, String password) {
        jedis = new Jedis(host, port);
        jedis.auth(password);
    }
    public void set(String key, String value) {
        jedis.set(key, value);
    }
    public String getString(String key) {
        return jedis.get(key);
    }
public void close() {
        this.jedis.close();
    }
    public static void main(String[] args) {
        // 连接本地的 Redis 服务
        RedisUtil redisUtil = new RedisUtil("localhost", 6379, "tianliangedu");
        redisUtil.set("jedis_k1", "jedis_v1");
        System.out.println("jedis_k1=:" + redisUtil.getString("jedis_k1"));
    }
}