Redis远程字典服务

目录

前言

1.NoSQL

1.1NOSQL和关系型数据库比较

1.2非关系型数据库的优势

1.3关系型数据库的优势

​编辑  

2.主流的NOSQL产品

键值(Key-Value)存储数据库

列存储数据库

文档型数据库

图形(Graph)数据库

3.Redis简介

redis的应用场景

4.命令操作

 4.1字符串类型 string

4.2哈希类型 hash

 4.3列表类型 list

 4.4集合类型 set

 4.5有序集合类型 sortedset

 4.6通用命令

5.持久化

5.1RDB

5.2AOF

6.Jedis 

 6.1Jedis操作各种redis中的数据结构

        ①字符串类型 string

        ②获取hash的所有map中的数据

        ③列表类型 list ： linkedlist格式。支持重复元素

        ④集合类型 set  ： 不允许重复元素saddsmembers:获取所有元素

        ⑤有序集合类型 sortedset：不允许重复元素，且元素有顺序zaddzrange

6.2jedis连接池： JedisPool

7.击穿、雪崩、穿透

7.1缓存击穿

7.2缓存雪崩

7.3缓存穿透

---

前言

        Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

        redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

同时redis是一款高性能的NOSQL系列的非关系型数据库

1.NoSQL

概念

NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。
        随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

1.1NOSQL和关系型数据库比较

优点：

1. 成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。
2. 查询速度：nosql数据库将数据存储于缓存之中，关系型数据库将数据存储在硬盘中，自然查询速度远不及nosql数据库。
3. 存储数据的格式：nosql的存储格式是key,value形式、文档形式、图片形式等等，所以可以存储基础类型以及对象或者是集合等各种格式，而数据库则只支持基础类型。
4. 扩展性：关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。

缺点：

1. 维护的工具和资料有限，因为nosql是属于新的技术，不能和关系型数据库10几年的技术同日而语。
2. 不提供对sql的支持，如果不支持sql这样的工业标准，将产生一定用户的学习和使用成本。
3. 不提供关系型数据库对事务的处理。

1.2非关系型数据库的优势

• 性能NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。
• 可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。

1.3关系型数据库的优势

• 复杂查询可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。
• 事务支持使得对于安全性能很高的数据访问要求得以实现。对于这两类数据库，对方的优势就是自己的弱势，反之亦然。

  

2.主流的NOSQL产品

键值(Key-Value)存储数据库

相关产品： Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
典型应用： 内容缓存，主要用于处理大量数据的高访问负载。 
数据模型： 一系列键值对
优势： 快速查询
劣势： 存储的数据缺少结构化

列存储数据库

相关产品：Cassandra, HBase, Riak
典型应用：分布式的文件系统
数据模型：以列簇式存储，将同一列数据存在一起
优势：查找速度快，可扩展性强，更容易进行分布式扩展
劣势：功能相对局限

文档型数据库

相关产品：CouchDB、MongoDB
典型应用：Web应用（与Key-Value类似，Value是结构化的）
数据模型： 一系列键值对
优势：数据结构要求不严格
劣势： 查询性能不高，而且缺乏统一的查询语法

图形(Graph)数据库

相关数据库：Neo4J、InfoGrid、Infinite Graph
典型应用：社交网络
数据模型：图结构
优势：利用图结构相关算法。
劣势：需要对整个图做计算才能得出结果，不容易做分布式的集群方案。

3.Redis简介

Redis是用C语言开发的一个开源的高性能键值对（key-value）数据库，官方提供测试数据，50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s ，且Redis通过提供多种键值数据类型来适应不同场景下的存储需求。

目前为止Redis支持的键值数据类型如下：

字符串类型 string
哈希类型 hash
列表类型 list
集合类型 set
有序集合类型 sortedset

redis的应用场景

缓存（数据查询、短连接、新闻内容、商品内容等等）
聊天室的在线好友列表
任务队列。（秒杀、抢购、12306等等）
应用排行榜
网站访问统计
数据过期处理（可以精确到毫秒）
分布式集群架构中的session分离

下载安装

①官网：Redis

②中文网 ：Redis中文网

下载完成后直接解压即可使用

redis.windows.conf：配置文件
redis-cli.exe：redis的客户端
redis-server.exe：redis服务器端

先双击服务器端，待命令提示符弹出并出现下图时，代表redis服务器启动成功：

在双击客户端：

启动完成，可开始使用。

4.命令操作

redis的数据结构

redis存储的是：key,value格式的数据，其中key都是字符串，value有5种不同的数据结构

value的数据结构：

1. 字符串类型 string
2. 哈希类型 hash ： map格式  
3. 列表类型 list ： linkedlist格式。支持重复元素
4. 集合类型 set  ： 不允许重复元素
5. 有序集合类型 sortedset：不允许重复元素，且元素有顺序

 4.1字符串类型 string

存储： set key value
获取： get key
删除： del key

4.2哈希类型 hash

存储： hset key field value
获取： hget key field: 获取指定的field对应的值
            hgetall key：获取所有的field和value
删除： hdel key field

 4.3列表类型 list

可以添加一个元素到列表的头部（左边）或者尾部（右边）

添加：
        1. lpush key value: 将元素加入列表左表
        2. rpush key value：将元素加入列表右边
获取：lrange key start end ：范围获取
删除：
        lpop key： 删除列表最左边的元素，并将元素返回
        rpop key： 删除列表最右边的元素，并将元素返回

 

 4.4集合类型 set

不允许重复元素

存储：sadd key value
获取：smembers key:获取set集合中所有元素
删除：srem key value:删除set集合中的某个元素    

 4.5有序集合类型 sortedset

不允许重复元素，且元素有顺序.每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。

存储：zadd key score value
获取：zrange key start end [withscores]
删除：zrem key value

 

 4.6通用命令

1. keys * : 查询所有的键
2. type key ： 获取键对应的value的类型
3. del key：删除指定的key value

5.持久化

redis是一个内存数据库，当redis服务器重启，获取电脑重启，数据会丢失，我们可以将redis内存中的数据持久化保存到硬盘的文件中。

Redis持久化的机制：

5.1RDB

默认方式，不需要进行配置，默认就使用这种机制。

原理：在一定的间隔时间中，检测key的变化情况，然后持久化数据

1. 编辑redis.windwos.conf文件
#   after 900 sec (15 min) if at least 1 key changed
save 900 1
#   after 300 sec (5 min) if at least 10 keys changed
save 300 10
#   after 60 sec if at least 10000 keys changed
save 60 10000
                
2. 重新启动redis服务器，并指定配置文件名称
F:\Redis\Windows--64\redis-2.8.9>redis-server.exe redis.windows.conf    

5.2AOF

日志记录的方式，可以记录每一条命令的操作。可以每一次命令操作后，持久化数据

1. 编辑redis.windwos.conf文件
appendonly no（关闭aof） --> appendonly yes （开启aof）
# appendfsync always ： 每一次操作都进行持久化
appendfsync everysec ： 每隔一秒进行一次持久化
# appendfsync no     ： 不进行持久化

6.Jedis 

一款java操作redis数据库的工具.

使用步骤：

1. 下载jedis的jar包
2. 使用
//1. 获取连接
Jedis jedis = new Jedis("localhost",6379);
//2. 操作
jedis.set("username","zhangsan");
//3. 关闭连接
jedis.close();

示例：

    /**
     * 快速入门
     */
    @Test
    public void test1(){
        //1. 获取连接
        Jedis jedis = new Jedis("localhost",6379);
        //2. 操作
        jedis.set("username","zhangsan");

        //3. 关闭连接
        jedis.close();
    }

 6.1Jedis操作各种redis中的数据结构

①字符串类型 string

get、set

    /**
     * string 数据结构操作
     */
    @Test
    public void test2(){
        //1. 获取连接
        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
        //2. 操作
        //存储
        jedis.set("username","zhangsan");
        //获取
        String username = jedis.get("username");
        System.out.println(username);

        //可以使用setex()方法存储可以指定过期时间的 key value
        jedis.setex("activecode",20,"hehe");//将activecode：hehe键值对存入redis，并且20秒后自动删除该键值对

        //3. 关闭连接
        jedis.close();
    }

②获取hash的所有map中的数据

Map user = jedis.hgetAll("user");

    /**
     * hash 数据结构操作
     */
    @Test
    public void test3(){
        //1. 获取连接
        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
        //2. 操作
        // 存储hash
        jedis.hset("user","name","lisi");
        jedis.hset("user","age","23");
        jedis.hset("user","gender","female");

        // 获取hash
        String name = jedis.hget("user", "name");
        System.out.println(name);


        // 获取hash的所有map中的数据
        Map user = jedis.hgetAll("user");

        // keyset
        Set keySet = user.keySet();
        for (String key : keySet) {
            //获取value
            String value = user.get(key);
            System.out.println(key + ":" + value);
        }

        //3. 关闭连接
        jedis.close();
    }

③列表类型 list ： linkedlist格式。支持重复元素

lpush / rpush
lpop / rpop
lrange start end : 范围获取

    /**
     * list 数据结构操作
     */
    @Test
    public void test4(){
        //1. 获取连接
        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
        //2. 操作
        // list 存储
        jedis.lpush("mylist","a","b","c");//从左边存
        jedis.rpush("mylist","a","b","c");//从右边存

        // list 范围获取
        List mylist = jedis.lrange("mylist", 0, -1);
        System.out.println(mylist);
        
        // list 弹出
        String element1 = jedis.lpop("mylist");//c
        System.out.println(element1);

        String element2 = jedis.rpop("mylist");//c
        System.out.println(element2);

        // list 范围获取
        List mylist2 = jedis.lrange("mylist", 0, -1);
        System.out.println(mylist2);

        //3. 关闭连接
        jedis.close();
    }

④集合类型 set  ： 不允许重复元素
sadd
smembers:获取所有元素

    /**
     * set 数据结构操作
     */
    @Test
    public void test5(){
        //1. 获取连接
        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
        //2. 操作


        // set 存储
        jedis.sadd("myset","java","php","c++");

        // set 获取
        Set myset = jedis.smembers("myset");
        System.out.println(myset);

        //3. 关闭连接
        jedis.close();
    }

⑤有序集合类型 sortedset：不允许重复元素，且元素有顺序
zadd
zrange

    /**
     * sortedset 数据结构操作
     */
    @Test
    public void test6(){
        //1. 获取连接
        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
        //2. 操作
        // sortedset 存储
        jedis.zadd("mysortedset",3,"亚瑟");
        jedis.zadd("mysortedset",30,"后裔");
        jedis.zadd("mysortedset",55,"孙悟空");

        // sortedset 获取
        Set mysortedset = jedis.zrange("mysortedset", 0, -1);

        System.out.println(mysortedset);


        //3. 关闭连接
        jedis.close();
    }

6.2jedis连接池： JedisPool

使用： 1. 创建JedisPool连接池对象

2. 调用方法 getResource()方法获取Jedis连接

//0.创建一个配置对象

JedisPoolConfig config = new JedisPoolConfig(); config.setMaxTotal(50); config.setMaxIdle(10);

    /**
     * jedis连接池使用
     */
    @Test
    public void test7(){

        //0.创建一个配置对象
        JedisPoolConfig config = new JedisPoolConfig();
        config.setMaxTotal(50);
        config.setMaxIdle(10);

        //1.创建Jedis连接池对象
        JedisPool jedisPool = new JedisPool(config,"localhost",6379);

        //2.获取连接
        Jedis jedis = jedisPool.getResource();
        //3. 使用
        jedis.set("hehe","heihei");

        //4. 关闭 归还到连接池中
        jedis.close();;

    }

7.击穿、雪崩、穿透

7.1缓存击穿

高并发时，当一个key非常热点（类似于爆款），在不停的扛着大并发，当这个key在失效的瞬间，持续的大并发就击穿缓存，直接请求数据库并将请求的数据设置到缓存中，导致性能下降。

解决方案：

①将数据的过期事件设置为永不过期

②加锁排队，让其只有以恶个线程能查询，让其他线程进入阻塞状态，并将结果返回到Redis。 

7.2缓存雪崩

缓存集中过期，或者缓存服务器宕机，导致大量请求直接访问数据库，造成数据库压力瞬间过大，宕机。

解决方案：

①为缓存加一个瞬即失效时间，即不让大量数据在同一时间失效

②提前给Redis做好集群部署，当一台失效，另一台立即顶上

7.3缓存穿透

请求的数据数据库中不存在，缓存中也不存在，导致每次请求都会去查询数据库；这样的情况大多数是来自黑客的恶意攻击，如：发起id为-1 的数据、或id特别大且不存在的数据，导致数据库压力过大或宕机

解决方案：

①参数校验：对于请求中的无效参数直接过滤（比如：负数） 。但效果并不如意；

②缓存空对象：将请求的参数。不管数据库中或缓存中有没有，都将请求的参数存到缓存中，并给一个失效时间；如果数据库中有，就返回数据，如果没有就在缓存中存入null。

③布隆过滤器：布隆过滤器先查看请求的数据是否在布隆过滤器中存在；不在，到数据库查找，未查找到数据赋予null存到缓存和布隆过滤器，若该数据下次再出现，布隆过滤器检测到则不会放行。（就像手机的黑名单一样）。