Java Redis缓存应用

Redis 简介

Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。

Redis 与其他 key – value 缓存产品有以下三个特点：

• Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。

• Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。

• Redis支持数据的备份，即master-slave模式的数据备份。

开发经验：一般首页是系统的门户，也就是系统的入口。所以首页的访问量是这个系统最大的。如果每次展示首页都从数据库中查询首页的内容信息，那么势必会对数据库造成很大的压力，所以需要使用缓存来减轻数据库压力。实现缓存的工具有很多，现在比较流行的是redis。

1. Redis的安装

3.1 Redis的安装步骤

 

Redis是c语言开发的。

安装redis需要c语言的编译环境。如果没有gcc需要在线安装。yuminstall gcc-c++

安装步骤：

第一步：redis的源码包上传到linux系统。

第二步：解压缩redis。

第三步：编译。进入redis源码目录。make

第四步：安装。make install PREFIX=/usr/local/redis

PREFIX参数指定redis的安装目录。一般软件安装到/usr目录下

3.2连接redis

3.2.1 redis的启动

前端启动：在redis的安装目录下直接启动redis-server

[root@localhostbin]# ./redis-server

后台启动：

把/root/redis-3.0.0/redis.conf复制到/usr/local/redis/bin目录下

[[email protected]]# cp redis.conf /usr/local/redis/bin/

修改配置文件：

[root@localhost bin]# ./redis-server redis.conf

查看redis进程：

[root@localhost bin]# ps aux|grep redis

3.2.2 Redis-cli

[root@localhostbin]# ./redis-cli

默认连接localhost运行在6379端口的redis服务。

[root@localhostbin]# ./redis-cli -h 192.168.25.153 -p 6379

-h：连接的服务器的地址

-p：服务的端口号

 

关闭redis：[root@localhostbin]# ./redis-cli shutdown

3.3 Redis五种数据类型

String：key-value（做缓存）

Redis中所有的数据都是字符串。命令不区分大小写，key是区分大小写的。

Redis是单线程的。Redis中不适合保存内容大的数据。

get、set

incr：加一（生成id）

Decr：减一

 

Hash：key-fields-values（做缓存）

相当于一个key对于一个map，map中还有key-value

使用hash对key进行归类。

Hset：向hash中添加内容

Hget：从hash中取内容

 

List：有顺序可重复

--- 192.168.25.153:6379> lpush list1 a b c d

(integer) 4

--- 192.168.25.153:6379> lrange list1 0 -1

1) "d"、2) "c"、3) "b"、4) "a"

--- 192.168.25.153:6379> rpush list1 1 2 3 4

(integer) 8

--- 192.168.25.153:6379> lrange list1 0 -1

1) "d"、2) "c"、3) "b"、4) "a"、5) "1"、6) "2"、7) "3"、8) "4"

--- 192.168.25.153:6379> lpop list1

"d"

--- 192.168.25.153:6379> lrange list1 0 -1

1) "c"、2) "b"、3) "a"、4) "1"、5) "2"、6) "3"、7) "4"

--- 192.168.25.153:6379> rpop list1

"4"

--- 192.168.25.153:6379> lrange list1 0 -1

1) "c"、2) "b"、3) "a"、4) "1"、5) "2"、6) "3"

Set：元素无顺序，不能重复

--- 192.168.25.153:6379> sadd set1 a b cc c d

(integer) 4

--- 192.168.25.153:6379> smembers set1

1) "b"、2) "c"、3) "d"、4) "a"

--- 192.168.25.153:6379> srem set1 a

(integer) 1

--- 192.168.25.153:6379> smembers set1

1) "b"、2) "c"、3) "d"

 

还有集合运算命令，自学。

 

SortedSet（zset）：有顺序，不能重复

--- 192.168.25.153:6379> zadd zset1 2 a5 b 1 c 6 d

(integer) 4

--- 192.168.25.153:6379> zrange zset1 0-1

1) "c"、2) "a"、3) "b"、4) "d"

--- 192.168.25.153:6379> zrem zset1 a

(integer) 1

--- 192.168.25.153:6379> zrange zset1 0-1

1) "c"、2) "b"、3) "d"

--- 192.168.25.153:6379> zrevrange zset10 -1

1) "d"、2) "b"、3) "c"

--- 192.168.25.153:6379> zrange zset1 0-1 withscores

1) "c"、2) "1"、3) "b"、4) "5"、5) "d"、6) "6"

--- 192.168.25.153:6379> zrevrange zset10 -1 withscores

1) "d"、2) "6"、3) "b"、4) "5"、5) "c"、6) "1"

 

3.4 Key命令

设置key的过期时间。

 

Expire key second：设置key的过期时间

Ttl key：查看key的有效期

Persist key：清除key的过期时间。Key持久化。

 

--- 192.168.25.153:6379> expire Hello100

(integer) 1

--- 192.168.25.153:6379> ttl Hello

(integer) 77

2. Redis的持久化方案

 

Redis的所有数据都是保存到内存中的。

 

Rdb形式：快照形式，定期把内存中当前时刻的数据保存到磁盘。

Redis默认支持的持久化方案。

aof形式：append only file。把所有对redis数据库操作的命令，增删改操作的命令。保存到文件中。数据库恢复时把所有的命令执行一遍即可。

 

在redis.conf配置文件中配置。

1）Rdb：

2）Aof的配置：

两种持久化方案同时开启使用aof文件来恢复数据库。

3. Redis集群的搭建

5.1 redis-cluster架构图

5.2 redis-cluster投票：容错

【架构细节】

 

1）所有的redis节点彼此互联（PING-PONG机制），内部使用二进制协议优化传输速度和带宽。

 

2）节点的fail是通过集群中超过半数的节点检测失效时才生效。

 

3）客户端与redis节点直连，不需要中间proxy层。客户端不需要连接集群所有节点，连接集群中任何一个可用节点即可。

 

4）redis-cluster把所有的物理节点映射到 [0-16383]slot上，cluster 负责维护node <-> slot <-> value。

 

Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

5.3 Redis集群的搭建

 

Redis集群中至少应该有三个节点。要保证集群的高可用，需要每个节点有一个备份机。

Redis集群至少需要6台服务器。

 

搭建伪分布式。可以使用一台虚拟机运行6个redis实例。需要修改redis的端口号7001-7006

5.3.1 集群搭建环境

1、使用ruby脚本搭建集群。需要ruby的运行环境。

安装ruby

yum install ruby

yum installrubygems

 

2、安装ruby脚本运行使用的包。

[root@localhost~]# gem install redis-3.0.0.gem

Successfullyinstalled redis-3.0.0

1 gem installed

Installing ridocumentation for redis-3.0.0...

Installing RDocdocumentation for redis-3.0.0...

[root@localhost~]#

 

[root@localhost~]# cd redis-3.0.0/src

[root@localhostsrc]# ll *.rb

-rwxrwxr-x. 1root root 48141 Apr  1  2015 redis-trib.rb

5.3.2 搭建步骤

需要6台redis服务器。搭建伪分布式。

需要6个redis实例。

需要运行在不同的端口7001-7006

 

第一步：创建6个redis实例，每个实例运行在不同的端口。需要修改redis.conf配置文件。配置文件中还需要把cluster-enabled yes前的注释去掉。

第二步：启动每个redis实例。

第三步：使用ruby脚本搭建集群。

./redis-trib.rb create --replicas 1 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 192.168.25.153:7004 192.168.25.153:7005 192.168.25.153:7006

 

创建关闭集群的脚本：

[root@localhost redis-cluster]# vimshutdow-all.sh

redis01/redis-cli -p 7001 shutdown

...（关闭7001~7006）

redis01/redis-cli -p 7006 shutdown

[root@localhost redis-cluster]# chmod u+xshutdow-all.sh

 

[root@localhost redis-cluster]# ./redis-trib.rb create --replicas 1 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 192.168.25.153:7004 192.168.25.153:7005  192.168.25.153:7006 >>> Creating cluster Connecting to node 192.168.25.153:7001: OK ...（7001~7006） Connecting to node 192.168.25.153:7006: OK >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 Adding replica 192.168.25.153:7004 to 192.168.25.153:7001 Adding replica 192.168.25.153:7005 to 192.168.25.153:7002 Adding replica 192.168.25.153:7006 to 192.168.25.153:7003 M: 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 192.168.25.153:7001    slots:0-5460 (5461 slots) master M: 8cd93a9a943b4ef851af6a03edd699a6061ace01 192.168.25.153:7002    slots:5461-10922 (5462 slots) master M: 2935007902d83f20b1253d7f43dae32aab9744e6 192.168.25.153:7003    slots:10923-16383 (5461 slots) master S: 74f9d9706f848471583929fc8bbde3c8e99e211b 192.168.25.153:7004    replicates 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 S: 42cc9e25ebb19dda92591364c1df4b3a518b795b 192.168.25.153:7005    replicates 8cd93a9a943b4ef851af6a03edd699a6061ace01 S: 8b1b11d509d29659c2831e7a9f6469c060dfcd39 192.168.25.153:7006    replicates 2935007902d83f20b1253d7f43dae32aab9744e6 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join..... >>> Performing Cluster Check (using node 192.168.25.153:7001) M: 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 192.168.25.153:7001    slots:0-5460 (5461 slots) master M: 8cd93a9a943b4ef851af6a03edd699a6061ace01 192.168.25.153:7002    slots:5461-10922 (5462 slots) master M: 2935007902d83f20b1253d7f43dae32aab9744e6 192.168.25.153:7003    slots:10923-16383 (5461 slots) master M: 74f9d9706f848471583929fc8bbde3c8e99e211b 192.168.25.153:7004    slots: (0 slots) master    replicates 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 M: 42cc9e25ebb19dda92591364c1df4b3a518b795b 192.168.25.153:7005    slots: (0 slots) master    replicates 8cd93a9a943b4ef851af6a03edd699a6061ace01 M: 8b1b11d509d29659c2831e7a9f6469c060dfcd39 192.168.25.153:7006    slots: (0 slots) master    replicates 2935007902d83f20b1253d7f43dae32aab9744e6 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. [root@localhost redis-cluster]#

 

5.4集群的使用方法

Redis-cli连接集群。

[root@localhost redis-cluster]#redis01/redis-cli -p 7002 -c

-c：代表连接的是redis集群

 

4. Jedis的使用

需要把jedis依赖的jar包添加到工程中。Maven工程中需要把jedis的坐标添加到依赖。

推荐添加到服务层。Taotao-content-Service工程中。

6.1连接单机版

第一步：创建一个Jedis对象。需要指定服务端的ip及端口。

第二步：使用Jedis对象操作数据库，每个redis命令对应一个方法。

第三步：打印结果。

第四步：关闭Jedis

@Test       publicvoid testJedis() throws Exception {             // 第一步：创建一个Jedis对象。需要指定服务端的ip及端口。             Jedis jedis = new Jedis("192.168.25.153", 6379);             // 第二步：使用Jedis对象操作数据库，每个redis命令对应一个方法。             String result = jedis.get("hello");             // 第三步：打印结果。             System.out.println(result);             // 第四步：关闭Jedis             jedis.close();       }

 

6.2 连接单机版使用连接池

第一步：创建一个JedisPool对象。需要指定服务端的ip及端口。

第二步：从JedisPool中获得Jedis对象。

第三步：使用Jedis操作redis服务器。

第四步：操作完毕后关闭jedis对象，连接池回收资源。

第五步：关闭JedisPool对象。

@Test       publicvoid testJedisPool() throws Exception {             // 第一步：创建一个JedisPool对象。需要指定服务端的ip及端口。             JedisPool jedisPool = new JedisPool("192.168.25.153", 6379);             // 第二步：从JedisPool中获得Jedis对象。             Jedis jedis = jedisPool.getResource();             // 第三步：使用Jedis操作redis服务器。             jedis.set("jedis", "test");             String result = jedis.get("jedis");             System.out.println(result);             // 第四步：操作完毕后关闭jedis对象，连接池回收资源。             jedis.close();             // 第五步：关闭JedisPool对象。             jedisPool.close();       }

6.3连接集群版

第一步：使用JedisCluster对象。需要一个Set参数。Redis节点的列表。

第二步：直接使用JedisCluster对象操作redis。在系统中单例存在。

第三步：打印结果

第四步：系统关闭前，关闭JedisCluster对象。

 

@Test       publicvoid testJedisCluster() throws Exception {             // 第一步：使用JedisCluster对象。需要一个Set参数。Redis节点的列表。             Set nodes = new HashSet<>();             nodes.add(new HostAndPort("192.168.25.153", 7001));             nodes.add(new HostAndPort("192.168.25.153", 7002));             nodes.add(new HostAndPort("192.168.25.153", 7003));             nodes.add(new HostAndPort("192.168.25.153", 7004));             nodes.add(new HostAndPort("192.168.25.153", 7005));             nodes.add(new HostAndPort("192.168.25.153", 7006));             JedisCluster jedisCluster = new JedisCluster(nodes);             // 第二步：直接使用JedisCluster对象操作redis。在系统中单例存在。             jedisCluster.set("hello", "100");             String result = jedisCluster.get("hello");             // 第三步：打印结果             System.out.println(result);             // 第四步：系统关闭前，关闭JedisCluster对象。             jedisCluster.close();       }

 

 

5. 向业务逻辑中添加缓存

7.1接口封装

常用的操作redis的方法提取出一个接口，分别对应单机版和集群版创建两个实现类。

 

7.2接口定义

publicinterface JedisClient {       String set(String key, String value);       String get(String key);       Boolean exists(String key);       Long expire(String key, intseconds);       Long ttl(String key);       Long incr(String key);       Long hset(String key, String field, String value);       String hget(String key, String field);       Long hdel(String key, String... field); }

 

7.3单机版实现类

publicclass JedisClientPool implements JedisClient {             @Autowired       private JedisPool jedisPool;         @Override       public String set(String key, String value) {             Jedis jedis = jedisPool.getResource();             String result = jedis.set(key, value);             jedis.close();             returnresult;       }       @Override       public String get(String key) {             Jedis jedis = jedisPool.getResource();             String result = jedis.get(key);             jedis.close();             returnresult;       }             @Override       public Boolean exists(String key) {             Jedis jedis = jedisPool.getResource();             Boolean result = jedis.exists(key);             jedis.close();             returnresult;       }       @Override       public Long expire(String key, intseconds) {             Jedis jedis = jedisPool.getResource();             Long result = jedis.expire(key, seconds);             jedis.close();             returnresult;       }       @Override       public Long ttl(String key) {             Jedis jedis = jedisPool.getResource();             Long result = jedis.ttl(key);             jedis.close();             returnresult;       }       @Override       public Long incr(String key) {             Jedis jedis = jedisPool.getResource();             Long result = jedis.incr(key);             jedis.close();             returnresult;       }       @Override       public Long hset(String key, String field, String value) {             Jedis jedis = jedisPool.getResource();             Long result = jedis.hset(key, field, value);             jedis.close();             returnresult;       }       @Override       public String hget(String key, String field) {             Jedis jedis = jedisPool.getResource();             String result = jedis.hget(key, field);             jedis.close();             returnresult;       }           @Override       public Long hdel(String key, String... field) {             Jedis jedis = jedisPool.getResource();             Long result = jedis.hdel(key, field);             jedis.close();             returnresult;       } }

 

配置：applicationContext-redis.xml

xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"       xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p"       xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans4.2.xsd       http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context4.2.xsd       http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop4.2.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx4.2.xsd       http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util4.2.xsd">               <bean id="jedisPool" class="redis.clients.jedis.JedisPool">             <constructor-arg name="host" value="192.168.25.153">constructor-arg>             <constructor-arg name="port" value="6379">constructor-arg>       bean>       <bean id="jedisClientPool" class="com.taotao.jedis.JedisClientPool"/> </beans>

 

7.4集群版实现类

package com.taotao.jedis; import org.springframework.beans.factory.annotation.Autowired; import redis.clients.jedis.JedisCluster;   publicclass JedisClientCluster implements JedisClient {       @Autowired       private JedisCluster jedisCluster;       @Override       public String set(String key, String value) {             returnjedisCluster.set(key, value);       }       @Override       public String get(String key) {             returnjedisCluster.get(key);       }       @Override       public Boolean exists(String key) {             returnjedisCluster.exists(key);       }       @Override       public Long expire(String key, intseconds) {             returnjedisCluster.expire(key, seconds);       }       @Override       public Long ttl(String key) {             returnjedisCluster.ttl(key);       }       @Override       public Long incr(String key) {             returnjedisCluster.incr(key);       }       @Override       public Long hset(String key, String field, String value) {             returnjedisCluster.hset(key, field, value);       }       @Override       public String hget(String key, String field) {             returnjedisCluster.hget(key, field);       }       @Override       public Long hdel(String key, String... field) {             returnjedisCluster.hdel(key, field);       } }

 

 

 

 

 

 

 

Spring的配置：

<bean id="jedisCluster" class="redis.clients.jedis.JedisCluster">             <constructor-arg>                   <set>                         <bean class="redis.clients.jedis.HostAndPort">                               <constructor-arg name="host" value="192.168.25.153">constructor-arg>                               <constructor-arg name="port" value="7001">constructor-arg>                         bean>                         <bean class="redis.clients.jedis.HostAndPort">                               <constructor-arg name="host" value="192.168.25.153">constructor-arg>                               <constructor-arg name="port" value="7002">constructor-arg>                         bean>                         <bean class="redis.clients.jedis.HostAndPort">                               <constructor-arg name="host" value="192.168.25.153">constructor-arg>                               <constructor-arg name="port" value="7003">constructor-arg>                         bean>                         <bean class="redis.clients.jedis.HostAndPort">                               <constructor-arg name="host" value="192.168.25.153">constructor-arg>                               <constructor-arg name="port" value="7004">constructor-arg>                         bean>                         <bean class="redis.clients.jedis.HostAndPort">                               <constructor-arg name="host" value="192.168.25.153">constructor-arg>                               <constructor-arg name="port" value="7005">constructor-arg>                         bean>                         <bean class="redis.clients.jedis.HostAndPort">                               <constructor-arg name="host" value="192.168.25.153">constructor-arg>                               <constructor-arg name="port" value="7006">constructor-arg>                         bean>                   set>             constructor-arg>       bean>       <bean id="jedisClientCluster" class="com.taotao.jedis.JedisClientCluster"/>

 

注意：

单机版和集群版不能共存，使用单机版时注释集群版的配置。

使用集群版，把单机版注

 

7.5封装代码测试

@Test       publicvoid testJedisClient() throws Exception {             //初始化Spring容器             ApplicationContext applicationContext = new ClassPathXmlApplicationContext("classpath:spring/applicationContext-*.xml");             //从容器中获得JedisClient对象             JedisClient jedisClient = applicationContext.getBean(JedisClient.class);             jedisClient.set("first", "100");             String result = jedisClient.get("first");             System.out.println(result);             }

 

7.6添加缓存

7.6.1功能分析

查询内容列表时添加缓存。

1、查询数据库之前先查询缓存。

2、查询到结果，直接响应结果。

3、查询不到，缓存中没有需要查询数据库。

4、把查询结果添加到缓存中。

5、返回结果。

 

向redis中添加缓存：

Key：cid

Value：内容列表。需要把java对象转换成json。

 

使用hash对key进行归类。

HASH_KEY:HASH

            |--KEY:VALUE

            |--KEY:VALUE

            |--KEY:VALUE

            |--KEY:VALUE

 

注意：添加缓存不能影响正常业务逻辑。

 

 

 

 

 

7.6.2代码实现

@Override       public List getContentList(longcid) {             //查询缓存             try {                   String json = jedisClient.hget(CONTENT_KEY, cid + "");                   //判断json是否为空                   if (StringUtils.isNotBlank(json)) {                         //把json转换成list                         List list = JsonUtils.jsonToList(json, TbContent.class);                         returnlist;                   }             } catch (Exception e) { e.printStackTrace(); }             //根据cid查询内容列表             TbContentExample example = new TbContentExample();             //设置查询条件             Criteria criteria = example.createCriteria();             criteria.andCategoryIdEqualTo(cid);             //执行查询             List list = contentMapper.selectByExample(example);             //向缓存中添加数据             try {                   jedisClient.hset(CONTENT_KEY, cid + "", JsonUtils.objectToJson(list));             } catch (Exception e) { e.printStackTrace(); }             returnlist;       }

 

7.7 缓存同步

对内容信息做增删改操作后只需要把对应缓存删除即可。

可以根据cid删除。

@Override       public TaotaoResult addContent(TbContent content) {             //补全属性             content.setCreated(new Date());             content.setUpdated(new Date());             //插入数据             contentMapper.insert(content);             //缓存同步             jedisClient.hdel(CONTENT_KEY, content.getCategoryId().toString());             return TaotaoResult.ok();       }

6. Solr服务搭建

8.1 Solr的环境

Solr是java开发。

需要安装jdk。

安装环境Linux。

需要安装Tomcat。

 

8.2 搭建步骤

第一步：把solr 的压缩包上传到Linux系统

第二步：解压solr。

第三步：安装Tomcat，解压缩即可。

第四步：把solr部署到Tomcat下。

第五步：解压缩war包。启动Tomcat解压。

第六步：把/root/solr-4.10.3/example/lib/ext目录下的所有的jar包，添加到solr工程中。

[root@localhost ext]# pwd

/root/solr-4.10.3/example/lib/ext

[root@localhost ext]# cp */usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/

第七步：创建一个solrhome。/example/solr目录就是一个solrhome。

复制此目录到/usr/local/solr/solrhome

[root@localhost example]# pwd

/root/solr-4.10.3/example

[root@localhost example]# cp -r solr /usr/local/solr/solrhome

[root@localhost example]#

第八步：关联solr及solrhome。需要修改solr工程的web.xml文件。

第九步：启动Tomcat

http://192.168.25.154:8080/solr/

和windows下的配置完全一样。

 

8.3配置业务域

schema.xml中定义

1、商品Id

2、商品标题

3、商品卖点

4、商品价格

5、商品图片

6、分类名称

7、商品描述

 

创建对应的业务域。需要制定中文分析器。

 

创建步骤：

第一步：把中文分析器添加到工程中。

1、把IKAnalyzer2012FF_u1.jar添加到solr工程的lib目录下

2、把扩展词典、配置文件放到solr工程的WEB-INF/classes目录下。

第二步：配置一个FieldType，制定使用IKAnalyzer

修改schema.xml文件

修改Solr的schema.xml文件，添加FieldType：

 

第三步：配置业务域，type制定使用自定义的FieldType。

设置业务系统Field

 

第四步：重启tomcat