Redis的应用场景:
1.redis中建的生存时间:(expire)
redis中可以使用expire命令来设置一个键的生存时间,到时间后redis会自动删除它;
应用场景:
① 限时的优惠活动信息
② 网站的数据缓存(需要定时更新的数据,比如积分排行榜)
③ 手机验证码
④限制网站访客访问频率
2.redis的事务(transation)
redis中的事务是一组命令的集合。事务同命令一样都是redis的最小执行单元。一组事务中的命令要么都执行,要么都不执行。(例如:转账)
3.redis任务队列
任务队列:使用lpush和rpop(brpop)可以实现普通的任务队列。
brpop是列表的阻塞式(blocking)弹出原语。
它是 RPOP命令的阻塞版本,当给定列表内没有任何元素可供弹出的时候,连接将被 BRPOP命令阻塞,直到等待超时或发现可弹出元素为止。
当给定多个 key 参数时,按参数 key 的先后顺序依次检查各个列表,弹出第一个非空列表的尾部元素。
4.redis管道(pipeline)
redis的pipeline(管道)功能在命令行中没有,但是redis是支持管道的,在Java的客户端(jedis)中是可以使用的。
测试发现:
1:不使用管道方式,插入1000条数据耗时328毫秒
2:使用管道方式,插入1000条数据耗时37毫秒
在插入更多数据的时候,管道的优势更加明显:测试10万条数据的时候,不使用管道要40秒,实用管道378毫秒。
5.redis持久化(persistence)
redis支持两种方式的持久化,可以单独使用或者结合起来使用。
第一种:RDB方式(redis默认的持久化方式)
第二种:AOF方式
redis持久化之RDB
rdb方式的持久化是通过快照完成的,当符合一定条件时redis会自动将内存中的所有数据执行快照操作并存储到硬盘上。默认存储在dump.rdb文件中。(文件名在配置文件中dbfilename)
redis进行快照的时机(在配置文件redis.conf中)
- save 900 1 //表示900秒内至少一个键被更改则进行快照。
- save 300 10 //表示300秒内10条被更改则快照
- save 60 10000 //60秒内10000条
Redis自动实现快照的过程
1、redis使用fork函数复制一份当前进程的副本(子进程)
2、父进程继续接收并处理客户端发来的命令,而子进程开始将内存中的数据写入硬盘中的临时文件
3、当子进程写入完所有数据后会用该临时文件替换旧的RDB文件,至此,一次快照操作完成。
注意:redis在进行快照的过程中不会修改RDB文件,只有快照结束后才会将旧的文件替换成新的,也就是说任何时候RDB文件都是完整的。
这就使得我们可以通过定时备份RDB文件来实现redis数据库的备份
RDB文件是经过压缩的二进制文件,占用的空间会小于内存中的数据,更加利于传输。
手动执行save或者bgsave命令让redis执行快照。
两个命令的区别在于,save是由主进程进行快照操作,会阻塞其它请求。bgsave是由redis执行fork函数复制出一个子进程来进行快照操作。
文件修复:
- redis-check-dump
rdb的优缺点
优点:由于存储的有数据快照文件,恢复数据很方便。
缺点:会丢失最后一次快照以后更改的所有数据。
redis持久化之AOF
aof方式的持久化是通过日志文件的方式。默认情况下redis没有开启aof,可以通过参数appendonly参数开启。
- appendonly yes
aof文件的保存位置和rdb文件的位置相同,都是dir参数设置的,默认的文件名是appendonly.aof,可以通过appendfilename参数修改
- appendfilename appendonly.aof
redis写命令同步的时机
- appendfsync always 每次都会执行
- appendfsync everysec 默认 每秒执行一次同步操作(推荐,默认)
- appendfsync no不主动进行同步,由操作系统来做,30秒一次
aof日志文件重写
- auto-aof-rewrite-percentage 100(当目前aof文件大小超过上一次重写时的aof文件大小的百分之多少时会再次进行重写,如果之前没有重写,则以启动时的aof文件大小为依据)
- auto-aof-rewrite-min-size 64mb
手动执行bgrewriteaof进行重写
重写的过程只和内存中的数据有关,和之前的aof文件无关。
所谓的“重写”其实是一个有歧义的词语, 实际上, AOF 重写并不需要对原有的 AOF 文件进行任何写入和读取, 它针对的是数据库中键的当前值。
文件修复:
- redis-check-aof
动态切换redis持久方式,从 RDB 切换到 AOF(支持Redis 2.2及以上)
- CONFIG SET appendonly yes
- CONFIG SET save ""(可选)
注意:
1、当redis启动时,如果rdb持久化和aof持久化都打开了,那么程序会优先使用aof方式来恢复数据集,因为aof方式所保存的数据通常是最完整的。如果aof文件丢失了,则启动之后数据库内容为空。
2、如果想把正在运行的redis数据库,从RDB切换到AOF,建议先使用动态切换方式,再修改配置文件,重启数据库。(不能自己修改配置文件,重启数据库,否则数据库中数据就为空了。)
6.redis的安全策略
设置数据库密码
bind参数(可以让数据库只能在指定IP下访问)
修改命令的名称
禁用命令
7.redis内存占用情况
测试情况:
100万个键值对(键是0到999999值是字符串“hello world”)在32位操作系统的笔记本上 用了100MB
使用64位的操作系统的话,相对来说占用的内存会多一点,这是因为64位的系统里指针占用了8个字节,但是64位系统也能支持更大的内存,所以运行大型的redis服务还是建议使用64位服务器
8.Redis实例最多存keys数
理论上Redis可以处理多达2的32次方的keys,并且在实际中进行了测试,每个实例至少存放了2亿5千万的keys
也可以说Redis的存储极限是系统中的可用内存值。
9.redis优化1
精简键名和键值
键名:尽量精简,但是也不能单纯为了节约空间而使用不易理解的键名。
键值:对于键值的数量固定的话可以使用0和1这样的数字来表示,(例如:male/female、right/wrong)
当业务场景不需要数据持久化时,关闭所有的持久化方式可以获得最佳的性能
内部编码优化(大家可以自己了解)
redis为每种数据类型都提供了两种内部编码方式,在不同的情况下redis会自动调整合适的编码方式。(如图所示)
修改Linux内核内存分配策略
原因: redis在运行过程中可能会出现下面问题
关闭Transparent Huge Pages(THP)
THP会造成内存锁影响redis性能,建议关闭
修改linux中TCP 监听的最大容纳数量
在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注意Linux内核默默地将这个值减小到/proc/sys/net/core/somaxconn的值,所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果。
注意:这个参数并不是限制redis的最大链接数。如果想限制redis的最大连接数需要修改maxclients,默认最大连接数为10000。
限制redis的内存大小
通过redis的info命令查看内存使用情况
如果不设置maxmemory或者设置为0,64位系统不限制内存,32位系统最多使用3GB内存。
修改配置文件中的maxmemory和maxmemory-policy
如果可以确定数据总量不大,并且内存足够的情况下不需要限制redis使用的内存大小。如果数据量不可预估,并且内存也有限的话,尽量限制下redis使用的内存大小,这样可以避免redis使用swap分区或者出现OOM错误。
注意:如果不限制内存,当物理内存使用完之后,会使用swap分区,这样性能较低,如果限制了内存,当到达指定内存之后就不能添加数据了,否则会报OOM错误。可以设置maxmemory-policy,内存不足时删除数据。
Redis是个单线程模型,客户端过来的命令是按照顺序执行的,所以想要一次添加多条数据的时候可以使用管道
Java代码
发布与订阅
在更新中保持用户对数据的映射是系统中的一个普遍任务。Redis的pub/sub功能使用了SUBSCRIBE、UNSUBSCRIBE和PUBLISH命令,让这个变得更加容易。
代码示例:
- // 订阅频道数据
- public static void testSubscribe() {
- //连接Redis数据库
- Jedis jedis = new Jedis("192.168.33.130", 6379);
- JedisPubSub jedisPubSub = new JedisPubSub() {
- // 当向监听的频道发送数据时,这个方法会被触发
- @Override
- public void onMessage(String channel, String message) {
- System.out.println("收到消息" + message);
- //当收到 "unsubscribe" 消息时,调用取消订阅方法
- if ("unsubscribe".equals(message)) {
- this.unsubscribe();
- }
- }
- // 当取消订阅指定频道的时候,这个方法会被触发
- @Override
- public void onUnsubscribe(String channel, int subscribedChannels) {
- System.out.println("取消订阅频道" + channel);
- }
- };
- // 订阅之后,当前进程一致处于监听状态,当被取消订阅之后,当前进程会结束
- jedis.subscribe(jedisPubSub, "ch1");
- }
- // 发布频道数据
- public static void testPubSub() throws Exception {
- //链接Redis数据库
- Jedis jedis = new Jedis("192.168.33.130", 6379);
- //发布频道 "ch1" 和消息 "hello redis"
- jedis.publish("ch1", "hello redis");
- //关闭连接
- jedis.close();
- }
打印结果:
限制网站访客访问频率
进行各种数据统计的用途是非常广泛的,比如想知道什么时候封锁一个IP地址。INCRBY命令让这些变得很容易,通过原子递增保持计数;GETSET用来重置计数器;过期属性expire用来确认一个关键字什么时候应该删除。
代码示例:
- //指定Redis数据库连接的IP和端口
- String host = "192.168.33.130";
- int port = 6379;
- Jedis jedis = new Jedis(host, port);
- /**
- * 限制网站访客访问频率 一分钟之内最多访问10次
- *
- * @throws Exception
- */
- @Test
- public void test3() throws Exception {
- // 模拟用户的频繁请求
- for (int i = 0; i < 20; i++) {
- boolean result = testLogin("192.168.1.100");
- if (result) {
- System.out.println("正常访问");
- } else {
- System.err.println("访问受限");
- }
- }
- }
- /**
- * 判断用户是否可以访问网站
- *
- * @param ip
- * @return
- */
- public boolean testLogin(String ip) {
- String value = jedis.get(ip);
- if (value == null) {
- //初始化时设置IP访问次数为1
- jedis.set(ip, "1");
- //设置IP的生存时间为60秒,60秒内IP的访问次数由程序控制
- jedis.expire(ip, 60);
- } else {
- int parseInt = Integer.parseInt(value);
- //如果60秒内IP的访问次数超过10,返回false,实现了超过10次禁止分的功能
- if (parseInt > 10) {
- return false;
- } else {
- //如果没有10次,可以自增
- jedis.incr(ip);
- }
- }
- return true;
- }
打印结果:
监控变量在事务执行时是否被修改
代码示例:
- // 指定Redis数据库连接的IP和端口
- String host = "192.168.33.130";
- int port = 6379;
- Jedis jedis = new Jedis(host, port);
- /**
- * 监控变量a在一段时间内是否被修改,若没有,则执行事务,若被修改,则事务不执行
- *
- * @throws Exception
- */
- @Test
- public void test4() throws Exception {
- //监控变量a,在事务执行后watch功能也结束
- jedis.watch("a");
- //需要数据库中先有a,并且a的值为字符串数字
- String value = jedis.get("a");
- int parseInt = Integer.parseInt(value);
- parseInt++;
- System.out.println("线程开始休息。。。");
- Thread.sleep(5000);
- //开启事务
- Transaction transaction = jedis.multi();
- transaction.set("a", parseInt + "");
- //执行事务
- List
- if (exec == null) {
- System.out.println("事务没有执行.....");
- } else {
- System.out.println("正常执行......");
- }
- }
打印结果:
变量a没有被修改时:
变量a被修改时: