redis缓存数据库技术

redis :

---

概念 :

redis是一款高性能的NOSQL系列的非关系型数据库

关系型数据库 : Mysql , oracle

非关系型的数据库 : redis , hbase ,

• 数据之间没有关联关系
• 数据是存储在内存中的
• 可以独立部署到不同机器上

注意:

经常查询一些不需要发生变换的

• 缓存思想解决这个问题 : 让用户的响应更快一些
  • 从缓存中获取数据 :
    • 有数据 :
      • 直接返回
    • 没有数据 :
      • 1.从数据库中查询
      • 2.将数据放入缓存中
      • 3.返回数据

使用java直接开辟一个缓存空间也是可以完成这项工作的 , 但是 , 如果是后期部署分布式项目 , 要在好几台机器上分别部署 , 使用java直接开辟就不行了 , 因为java缓存是存在于java虚拟机中 , 只能在当前电脑使用 ,而且内存较小 , 这个时候就要使用到非关系型数据库了

1.1.什么是NOSQL
NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。
随着互联网web2.0网站(用户可以发布自己的内容 比如小视频网站 )的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

1.1.1. NOSQL和关系型数据库比较
优点：
1）成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。
2）查询速度：nosql数据库将数据存储于缓存之中，关系型数据库将数据存储在硬盘中，自然查询速度远不及nosql数据库。
3）存储数据的格式：nosql的存储格式是key,value形式、文档形式、图片形式等等，所以可以存储基础类型以及对象或者是集合等各种格式，而数据库则只支持基础类型。
4）扩展性：关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。

​ 缺点：
​ 1）维护的工具和资料有限，因为nosql是属于新的技术，不能和关系型数据库10几年的技术同日而语。
​ 2）不提供对sql的支持，如果不支持sql这样的工业标准，将产生一定用户的学习和使用成本。
​ 3）不提供关系型数据库对事务的处理。

1.1.2. 非关系型数据库的优势：
1）性能NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。
2）可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。

1.1.3. 关系型数据库的优势：
1）复杂查询可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。
2）事务支持使得对于安全性能很高的数据访问要求得以实现。对于这两类数据库，对方的优势就是自己的弱势，反之亦然。

1.1.4. 总结
关系型数据库与NoSQL数据库并非对立而是互补的关系，即通常情况下使用关系型数据库，在适合使用NoSQL的时候使用NoSQL数据库，
让NoSQL数据库对关系型数据库的不足进行弥补。
一般会将数据存储在关系型数据库中，在nosql数据库中备份存储关系型数据库的数据

1.2.主流的NOSQL产品
• 键值(Key-Value)存储数据库
相关产品： Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
典型应用： 内容缓存，主要用于处理大量数据的高访问负载。
数据模型： 一系列键值对
优势： 快速查询
劣势： 存储的数据缺少结构化
• 列存储数据库
相关产品：Cassandra, HBase, Riak
典型应用：分布式的文件系统
数据模型：以列簇式存储，将同一列数据存在一起
优势：查找速度快，可扩展性强，更容易进行分布式扩展
劣势：功能相对局限
• 文档型数据库
相关产品：CouchDB、MongoDB
典型应用：Web应用（与Key-Value类似，Value是结构化的）
数据模型： 一系列键值对
优势：数据结构要求不严格
劣势： 查询性能不高，而且缺乏统一的查询语法
• 图形(Graph)数据库
相关数据库：Neo4J、InfoGrid、Infinite Graph
典型应用：社交网络
数据模型：图结构
优势：利用图结构相关算法。
劣势：需要对整个图做计算才能得出结果，不容易做分布式的集群方案。
1.3 什么是Redis
Redis是用C语言开发的一个开源的高性能键值对（key-value）数据库，官方提供测试数据，50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s ，且Redis通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止Redis支持的键值数据类型如下：
1) 字符串类型 string
2) 哈希类型 hash
3) 列表类型 list
4) 集合类型 set
5) 有序集合类型 sortedset
1.3.1 redis的应用场景
• 缓存（数据查询、短连接、新闻内容、商品内容等等）
• 聊天室的在线好友列表
• 任务队列。（秒杀、抢购、12306等等）
• 应用排行榜
• 网站访问统计
• 数据过期处理（可以精确到毫秒)
• 分布式集群架构中的session分离

---

下载安装:(windows)

官网地址 : https://redis.io

中文网 : http://www.redis.net.cn/

3.解压直接可以使用 :

• redis.windows.conf : 配置文件
• redis-cli.exe : redis客户端
• redis-server.exe : redis的服务器端

---

linux下安装：

**下载地址：**http://redis.io/download，下载最新稳定版本。

wget http://download.redis.io/releases/redis-6.0.8.tar.gz
tar xzf redis-6.0.8.tar.gz
 cd redis-6.0.8
 make

执行完 *make* 命令后，redis-6.0.8 的 *src* 目录下会出现编译后的 redis 服务程序 redis-server，还有用于测试的客户端程序 redis-cli：

下面启动 redis 服务：

# cd src# ./redis-server

注意这种方式启动 redis 使用的是默认配置。也可以通过启动参数告诉 redis 使用指定配置文件使用下面命令启动。

# cd src# ./redis-server ../redis.conf

redis.conf 是一个默认的配置文件。我们可以根据需要使用自己的配置文件。

启动 redis 服务进程后，就可以使用测试客户端程序 redis-cli 和 redis 服务交互了。 比如：

# cd src# ./redis-cli
redis> set foo bar
OK
redis> get foo
"bar"

---

使用:

编辑redis.windows.conf文件，我看网上有的教程说编辑里边maxheap ** ,但是3.x版本以后，修改的是 maxmemory ****, bytes是字节，请自行换算，我这里改成maxmemory 1024000000**。

其实这个地方可以不用设置，他描述上已经说了，redis会自动设置的。

设置redis的密码：找到**# requirepass foobared** 改为 requirepass 我的密码 ，本机测试可不设置。

保存后打开redis的解压目录，shift+鼠标左键找到菜单上：在此处打开命令行窗口 或 自行运行cmd命令到此目录

也可在目录下新建一个start.bat文件 , 里边写 redis-server.exe redis.windows.conf , 打开双击start.bat文件即可

命令如下：

redis-server.exe redis.windows.conf --maxmemory 200M

其中–maxmemory 200M是选填的，如果你配置文件redis.windows.conf中配置，这个就可以省去，如果没配置，这个可以加也可以不加，你开心就好。

当出现此界面的时候，说明启动成功，监听端口6379,然后让我们测试一下效果吧

重新打开一个DOS界面，效果如下：

如果你设置了redis的密码，则需要在set之前执行auth 密码 命令，否则会提示(error) NOAUTH Authentication required.

最后说一下将redis加到Windows服务中。首先还是要启动redis服务器端，然后在运行redis客户端，然后通过Windows的service-install命令，输入

redis-server --service-install redis.windows.conf --loglevel verbose  

以后就可以使用win的服务启动，而不需要每次都要打开一个DOS界面启动了。

1、安装redis服务

redis-install.bat

echo install redis-server23 D:\redis\redis-server.exe --service-install D:\redis\redis.windows.conf --loglevel verbose  

2、卸载redis服务

redis-uninstall.bat

echo uninstall redis-server
 
D:\redis\redis-server.exe --service-uninstall  

3、启动redis服务

start-redis.bat

 echo start redis-server
 
 D:\redis\redis-server.exe D:\redis\redis.windows.conf 

---

命令操作 :

1.数据结构操作

redis的数据结构 :

• redis存储的是key : value格式的数据 , 其中key都是字符串 , value有5中不同的数据结构
  • 1 字符串类型 string
  • 2 哈希类型 hash : map格式
  • 3 列表类型 list : linkedlist 格式
  • 4 集合类型 set :
  • 5 有序集合类型 sortedset

---

(1)字符串类型 String

① 存储 : set key value

② 获取 : get key

③ 删除 : del key

---

(2) 哈希类型 hash

① 存储 : hset key field value

② 获取 : hget key field

③ 删除 : hdel key field

④ 获取map集合中的所有的键值对

hgetall key : 获取所有的 field 和值

---

(3)列表类型 : list (允许有重复元素)

list : 可以添加一个元素到列表的头部 (左边) 或者尾部 (右边)

1.添加

① lpush key value : 从列表的左边加入数据

② rpush key value : 从列表的右边加入数据

2.获取:

③ lrange key start end : 范围获取

3.删除 :

④ lpop key : 删除列表最左边的元素 , 并将这个元素返回

⑤ rpop key : 删除列表最右边的元素 , 并将这个元素返回

---

(4)集合类型 : set (不允许有重复元素)

添加重复元素是不会成功的

1.存储 :

① sadd key value

2.获取 :

② smembers key : 获取set集合中所有的元素

3.删除 :

③ srem key value : 删除集合中的某个元素

---

(5)有序集合类型 sortedset

不允许重复元素 , 每一个元素会关联一个double类型的分数 , 来对元素进行排序

1.存储 :

① zadd key score value

• XX: 仅仅更新存在的成员，不添加新成员。
• NX: 不更新存在的成员。只添加新成员。
• CH: 修改返回值为发生变化的成员总数，原始是返回新添加成员的总数 (CH 是 changed 的意思)。更改的元素是新添加的成员，已经存在的成员更新分数。 所以在命令中指定的成员有相同的分数将不被计算在内。注：在通常情况下，ZADD返回值只计算新添加成员的数量。
• INCR: 当ZADD指定这个选项时，成员的操作就等同ZINCRBY命令，对成员的分数进行递增操作

2.获取 :

② zrange key start end

zrange key start end withscores //获取包括分数在内的所有元素

3.删除 :

③ zrem key value

---

(6)通用命令 :

1.keys * : 查询所有的键

2.type key : 查询键的类型 (这两个查询后就可以使用对应的方法来对数据进行操作)

3.del key ; 删除对应的键

---

持久化操作 :

redis是一个内存数据库 , 当redis服务器重启 , 或者电脑重启的时候 , 这些数据就会丢失 ,

我们可以将redis内存中的数据持久化保存到硬盘的文件中 , 当redis服务器重新启动的时候 , 将数据重新加载进内存

redis持久化操作 , 并不能保证数据的安全性 , 只能保证大部分数据的安全 , 会造成数据的丢失

1.RDB : (默认方式 , 性能高 , 推荐)

• 默认方式 , 不需要进行配置 , 默认使用就是这种机制
  • 在一定的间隔时间中 , 检测key的变化情况 , 然后去持久化数据
  • 对性能影响较小 (推荐使用)
• 持久化会将数据存放在根目录下的一个以 rdb为后缀 的文件中
• 重新启动redis服务器 , 就会加载这个文件

配置 :

在redis的根目录下 , 找到 redis.windows.conf文件 : 找到这三行 这是基本的配置属性

• - after 900 sec (15 min) if at least 1 key changed
  - 15分钟内至少有1个key改变 , 就会持久化
    save 900 1
  
  -  after 300 sec (5 min) if at least 10 keys changed
  - 5分钟内至少有10个key改变 , 就会持久化
    save 300 10
  
  -  after 60 sec if at least 10000 keys changed
  - 一分钟内至少有10000个key改变 , 就会持久化
    save 60 10000
  

---

2.AOF : (需要设置 , 性能低 , 不推荐)

• 日志记录的方式 , 可以记录每一条命令的操作 , 可以每一次命令操作后 , 来持久化数据
  • 每修改保存一条数据 , 就持久化一次
  • 对性能影响较大 (不推荐使用)
• 持久化会将数据存放在根目录下的一个以 appendonly.aof 为后缀 的文件中

配置 :

首先在 redis.windows.conf文件中找到

这里默认值是no , 也就是说 , 默认AOF是关闭的 , 如果想要使用 , 就要把这个值改为 yes

appendonly no (关闭AOF) --> appendonly yes (开启AOF)

同时 : 还要设置下边的三个属性之一

# appendfsync always  :  每一次操作都进行持久化
appendfsync everysec : 每隔一秒执行一次持久化
# appendfsync no  :  不进行持久化

---

Java操作Redis : (Jedis工具)

jedis : 一款java操作redis数据库的工具

1.使用步骤 :

1.下载相关的jar包

 
<dependency>
 	<groupId>redis.clientsgroupId>
 	<artifactId>jedisartifactId>
 	<version>4.1.0version>
 dependency>

 <dependency>
 	<groupId>org.apache.commonsgroupId>
 	<artifactId>commons-pool2artifactId>
 	<version>2.11.1version>
 dependency>

2.使用 :

//只有简单的三步    
@Test
public void test1(){
    //1.获取连接  (IP地址 , 端口号)
    Jedis jedis = new Jedis("localhost" , 6379);
    //2.操作
    jedis.set("username" , "sichen");
    //3.关闭连接
    jedis.close();
}

**注意 : **在使用的时候要打开redis的服务器 , 不然就会链接错误

---

2.Jedis操作各种redis中的数据结构

(1)字符串类型 (String)

• set
• get

(2)哈希类型 hash : map格式

• hset

• hget

• hgetall

• jedis.hset("key", "username" , "sichen");
  jedis.hset("key","password" ,"acpl159357");
  System.out.println(jedis.hgetAll("key"));
  //输出{password=acpl159357, username=sichen}
  System.out.println(jedis.hgetAll("key").values());
  //输出[acpl159357, sichen]
  //---------------------------------------------------
  //获取hash的所有map中的数据
  Map<String, String> key = jedis.hgetAll("key");
  //keySet的方法获取所有key的Set集合[password, username]
  Set<String> strings = key.keySet();
  System.out.println(strings);
  for (String s : strings) {
      //获取value
      String s1 = key.get(s);
      System.out.println(s +":"+s1);
  }
  //输出  : 
  //password:acpl159357
  //username:sichen
  

(3) 列表类型 list : linkedlist格式 支持重复元素

• lpush / rpush 添加

• lpop / rpop 删除

• lrange key start end

•  Jedis jedis = new Jedis();
  jedis.del("username");
  jedis.lpush("username", "a", "b", "c");
  jedis.rpush("username", "a", "b", "c");
  System.out.println(jedis.lrange("username", 0, -1));
  //输出 : [c, b, a, a, b, c]
  System.out.println(jedis.lpop("username"));
  //输出 : c
  System.out.println(jedis.rpop("username"));
  //输出 : c
  System.out.println(jedis.lrange("username", 0, -1));
  //输出 : [b, a, a, b]
  jedis.close();
  

(4) 集合类型 set : 不允许有重复元素

• sadd

• smembers : 获取所有元素 :

• Jedis jedis = new Jedis();
  //set 存储
  jedis.sadd("mySet" , "java" , "php" ,"c++");
  //set 获取
  Set<String> mySet = jedis.smembers("mySet");
  System.out.println(mySet);
  jedis.close();
  

(5) 有序集合类型 : 不允许有重复元素 , 并且元素有顺序

• zadd

• zrange

• Jedis jedis = new Jedis();
  jedis.zadd("username",30,"思尘");
  jedis.zadd("username" , 20 , "尘");
  System.out.println(jedis.zrange("username", 0, -1));
  //输出 : [尘, 思尘] 值越小越靠前
  jedis.close();
  

• 可以用来做排行榜

(6) setex() 方法存储可以指定过期时间的key 和 value

 jedis.setex("username" , 60 ,"sichen");

• 可以用来存储注册时的验证码

---

Jedis连接池 : (JedisPool)

jedis连接池是官方就提供的 ,

JedisPool : 直接拿来用即可

使用 :

1.创建JedisPool连接池对象

2.调用方法 getResource() 方法来获取Jedis连接

//0.创建一个配置对象
JedisPoolConfig config = new JedisPoolConfig();
//最大连接数
config.setMaxTotal(100);
//最大空闲连接
config.setMaxIdle(10);
//1.创建连接池对象 , 这里边有很多参数 , 使用默认的即可
JedisPool jedisPool = new JedisPool(config , "127.0.0.1", 6379);
//2.获取连接
Jedis jedis = jedisPool.getResource();
//3.使用
jedis.set("sichen" , "爱你");
//4.关闭 (归还到连接池中)
jedis.close();

---

JedisPoolConfig详细配置

#最大活动对象数     
redis.pool.maxTotal=1000    
#最大能够保持idel状态的对象数      
redis.pool.maxIdle=100  
#最小能够保持idel状态的对象数   
redis.pool.minIdle=50    
#当池内没有返回对象时，最大等待时间    
redis.pool.maxWaitMillis=10000    
#当调用borrow Object方法时，是否进行有效性检查    
redis.pool.testOnBorrow=true    
#当调用return Object方法时，是否进行有效性检查    
redis.pool.testOnReturn=true  
#“空闲链接”检测线程，检测的周期，毫秒数。如果为负值，表示不运行“检测线程”。默认为-1.  
redis.pool.timeBetweenEvictionRunsMillis=30000  
#向调用者输出“链接”对象时，是否检测它的空闲超时；  
redis.pool.testWhileIdle=true  
# 对于“空闲链接”检测线程而言，每次检测的链接资源的个数。默认为3.  
redis.pool.numTestsPerEvictionRun=50  
#redis服务器的IP    
redis.ip=xxxxxx  
#redis服务器的Port    
redis1.port=6379   

---

工具类 : JedisPoolUtils

JedisPoolUtils.java

package cn.sichen.util;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

import java.io.IOException;
import java.io.InputStream;
import java.util.Properties;

/**
 * JedisPool工具类
 * 加载配置文件 , 配置连接池的参数
 * 提供获取连接的方法
 */
public class JedisPoolUtils {

    //创建JedisPool连接池对象
    private static JedisPool jedisPool;

    static {
        //读取配置文件
        InputStream is = JedisPoolUtils.class.getClassLoader().getResourceAsStream("jedis.properties");
        //创建一个properties对象
        Properties properties = new Properties();
        try {
            properties.load(is);
        } catch (IOException e) {
            e.printStackTrace();
        }
        //获取数据 , 设置到JedisPoolConfig中
        JedisPoolConfig config = new JedisPoolConfig();
        //这里获取的是一个字符串 , 但是需要的是一个int类型的数字
        config.setMaxTotal(Integer.parseInt(properties.getProperty("maxTotal")));
        config.setMaxIdle(Integer.parseInt(properties.getProperty("maxIdle")));
        //初始化JedisPool
        jedisPool = new JedisPool(config , properties.getProperty("host") , Integer.parseInt(properties.getProperty("port")));
    }
    /**
     * 获取连接的方法
     */
    public static Jedis getJedis(){
        return jedisPool.getResource();
    }
    /**
    * 获取连接池的方法 , 用来在监听器中关闭这个连接池
    */
    public static JedisPool getJedisPool(){
        return jedisPool;
    }
    
}

---

案例 : Ajax请求加载数据 , 并缓存

注意 : 我们一般使用redis缓存 , 一些不经常发生变化的数据 ,

• 数据库一旦发生改变 , 则需要更新缓存
• 数据库的表执行 , 增删改的相关操作 , 需要将redis缓存数据清除 , 再重新存入

1.提供一个index.jsp页面 , 页面有一个省份下拉列表

2.当页面加载完成之后 , 发送ajax请求 , 加载所有省份

• FindProvinceServlet.java

@WebServlet("/findProvinceServlet")
public class FindProvinceServlet extends HttpServlet {
    @Override
    protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        this.doPost(request, response);
    }
    @Override
    protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        //1.调用service查询即可
        ProvinceService provinceService = new ProvinceServiceImpl();
        List<Province> provinces = provinceService.findAll();
        //2.序列化list为json
        ObjectMapper mapper = new ObjectMapper();
        //3.响应结果
        response.setContentType("application/json;charset=UTF-8");
        mapper.writeValue(response.getWriter(), provinces);
    }
}

• index.html

<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>indextitle>
  <script src="js/jquery-3.3.1.min.js">script>
  <script>
    $(function () {
      //发送ajax请求 , 加载所有省份的数据
      $.get(
              "findProvinceServlet",
              {},
              function (data) {
                //1.获取select
                  var province = $("#province");
                //2.遍历json数组
                  $(data).each(function () {
                //3.创建 ,
                  var option = ""+this.name+">";
                //4.调用select的append追加option , 每遍历一次就增加一个option
                      province.append(option);
                  });
              },
      );
    });
  script>
head>
<body>
    <select id="province">
        <option>---请选择省份---option>
    select>
body>
html>

使用redis缓存

在service层中判断缓存中是否有数据

package cn.sichen.service.impl;
import cn.sichen.dao.ProvinceDao;
import cn.sichen.dao.impl.ProvinceDaoImpl;
import cn.sichen.domain.Province;
import cn.sichen.service.ProvinceService;
import cn.sichen.util.JedisPoolUtils;
import com.fasterxml.jackson.databind.ObjectMapper;
import redis.clients.jedis.Jedis;
import java.util.List;
public class ProvinceServiceImpl implements ProvinceService {
    private ProvinceDao dao = new ProvinceDaoImpl();
    @Override
    public List<Province> findAll() {
        return dao.findAll();
    }
    /*
     * 使用redis缓存
     * */
    @Override
    public String findAllJson() {
        //1.先从redis中查询数据
        Jedis jedis = JedisPoolUtils.getJedis();
        String province_json = jedis.get("province");

        //2.判断province_json数据是否为null
        if (province_json == null || province_json.length() == 0) {
            System.out.println("没有数据 , 将从数据库中查询...");
            try {
                //缓存中没有数据
                //2.1从数据库中查询数据
                List<Province> list = dao.findAll();
                //2.2将list序列化为json
                ObjectMapper mapper = new ObjectMapper();
                province_json = mapper.writeValueAsString(list);
                //2.3将json数据存入Redis中
                jedis.set("province", province_json);
            } catch (Exception e) {
                e.printStackTrace();
            }
        } else {
            System.out.println("有数据 , 将从Redis中查询...");
        }
        return province_json;
    }
}

然后在servlet中直接调用service查询即可

//1.调用service查询即可
ProvinceService service = new ProvinceServiceImpl();
String allJson = service.findAllJson();

//3.响应结果
response.setContentType("application/json;charset=UTF-8");
response.getWriter().write(allJson);

        //2.1从数据库中查询数据
            List list = dao.findAll();
            //2.2将list序列化为json
            ObjectMapper mapper = new ObjectMapper();
            province_json = mapper.writeValueAsString(list);
            //2.3将json数据存入Redis中
            jedis.set("province", province_json);
        } catch (Exception e) {
            e.printStackTrace();
        }
    } else {
        System.out.println("有数据 , 将从Redis中查询...");
    }
    return province_json;
}

}

然后在servlet中直接调用service查询即可 

```java
//1.调用service查询即可
ProvinceService service = new ProvinceServiceImpl();
String allJson = service.findAllJson();

//3.响应结果
response.setContentType("application/json;charset=UTF-8");
response.getWriter().write(allJson);