Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便。
Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。
redis官网:http://redis.io/
以下是 Redis 的主要功能:
高性能 :
假如用户第一次访问数据库中的某些数据的话,这个过程是比较慢,毕竟是从硬盘中读取的。但是,如果说,用户访问的数据属于高频数据并且不会经常改变的话,那么我们就可以很放心地将该用户访问的数据存在缓存中。
高并发:
一般像 MySQL 这类的数据库的 QPS 大概都在 1w 左右(4 核 8g) ,但是使用 Redis 缓存之后很容易达到 10w+,甚至最高能达到 30w+(就单机 redis 的情况,redis 集群的话会更高)。
QPS(Query Per Second):服务器每秒可以执行的查询次数;
所以,直接操作缓存能够承受的数据库请求数量是远远大于直接访问数据库的,所以我们可以考虑把数据库中的部分数据转移到缓存中去,这样用户的一部分请求会直接到缓存这里而不用经过数据库。进而,我们也就提高的系统整体的并发。
2008年,意大利的一家创业公司Merzia推出了一款基于MySql的网站实时统计系统LLOOGG,然而没过多久该公司的创始人Salvatore Sanfilippo便对MySql的性能感到失望,于是他决定亲力为LLOOGG量身定做一个数据库,并于2009年开发完成,这个数据库就是Redis。
不过Salvatore Sanfilippo并不满足只将Redis用于LLOOGG这一款产品,而是希望更多的人使用它**,于是在同一年Salvatore Sanfilippo将Redis开源发布。并开始和Redis的另一名主要的代码贡献者Pieter Noordhuis一起继续着Redis的开发,**直到今天。
Salvatore Sanfilippo自己也没有想到,短短的几年时间,Redis就拥有了庞大的用户群体。Hacker News在2012年发布一份数据库的使用情况调查,结果显示有近12%的公司在使用Redis。国内如新浪微博、街旁网、知乎网、国外如GitHub、Stack、Overflow、Flickr等都是Redis的用户。
VmWare公司从2010年开始赞助Redis的开发,Salvatore Sanfilippo和Pieter Noordhuis也分别在3月和5月加入VMware**,**全职开发Redis。
【redis的作者何许人也】
开门见山,先看照片:
Salvatore Sanfilippo (antirez),男,意大利人,出生并居住在西西里 岛,个人网站 http://invece.org/ 。早年为系统管理员,关注计算机安全领域,于 1999 年发明了 idle scan 扫描技术,该技术现在在 nmap 扫描器上也有实现。2004 年~2006 年期间在做嵌入式方面的工作,并为此写了名为 Jim 的Tcl 解释器 、《Tcl Wise:Guide to the Tcl programming language》一书以及《Tcl the Misunderstood》文档。(Redis 的事件处理器就重写自 Jim 的事件循环,而 Redis 的测试套件也使用 Tcl 语言来写的)。除此之外,他在2006 还写了 Hping —— 一个 TCP/IP 包分析器。之后开始接触 web ,在 2007 年和另一个朋友共同创建了 LLOOGG.com,并因为解决这个网站的负载问题而在 2009 年 2 月 26 日发明了 Redis。
是不是出乎了你的意料,嗯,高手总会有些地方与众不同的。
这位便是redis的作者,他叫Salvatore Sanfilippo,来自意大利的西西里岛,现在居住在卡塔尼亚。目前供职于Pivotal公司。
他使用的网名是antirez,如果你有兴趣,可以去他的博客逛逛,地址是http://antirez.com,当然也可以去follow他的github,地址是http://github.com/antirez。
计数器 可以对 String 进行自增自减运算,从而实现计数器功能。Redis 这种内存型数据库的读写性能非常高,很适合存储频繁读写的计数量。
缓存将热点数据放到内存中,设置内存的最大使用量以及淘汰策略来保证缓存的命中率。
会话缓存 可以使用 Redis 来统一存储多台应用服务器的会话信息。当应用服务器不再存储用户的会话信息,也就不再具有状态,一个用户可以请求任意一个应用服务器,从而更容易实现高可用性以及可伸缩性。
全页缓存(FPC) 除基本的会话 token 之外,Redis 还提供很简便的 FPC 平台。以 Magento 为例,Magento 提供一个插件来使用 Redis 作为全页缓存后端。此外,对 WordPress 的用户来说,Pantheon 有一个非常好的插件 wp-redis,这个插件能帮助你以最快速度加载你曾浏览过的页面。
查找表 例如 DNS 记录就很适合使用 Redis 进行存储。查找表和缓存类似,也是利用了Redis快速的查找特性。但是查找表的内容不能失效,而缓存的内容可以失效,因为缓存不作为可靠的数据来源。
消息队列(发布/订阅功能) List 是一个双向链表,可以通过 lpush 和 rpop 写入和读取消息。不过最好使用 Kafka、RabbitMQ 等消息中间件。
分布式锁实现 在分布式场景下,无法使用单机环境下的锁来对多个节点上的进程进行同步。可以使用 Redis 自带的 SETNX 命令实现分布式锁,除此之外,还可以使用官方提供的 RedLock 分布式锁实现。
其它 Set 可以实现交集、并集等操作,从而实现共同好友等功能。ZSet可以实现有序性操作,从而实现排行榜等功能。
缓存原指CPU上的一种高速存储器,它先于内存与CPU交换数据,速度很快。现在泛指:存储在计算机上的原始数据的复制集,便于快速访问。
在互联网技术中,缓存是系统快速响应的关键技术之一,以空间换时间的一种技术(艺术)
在大型网站中从浏览器到网络,再到应用服务器,再到数据库,通过在各个层面应用缓存技术,大大提升了系统性能和用户体验。
客户端缓存
客户端缓存如: 页面缓存 浏览器缓存 app缓存
网络端缓存如:web 代理缓存 (比如Nginx) 边缘缓存 如CDN
服务端缓存如:
数据库级缓存(mysql 在server层使用查询缓存机制 innodb 存储引擎中的buffer-pool用于缓存innodb索引以及数据块)
平台级缓存 (指定是带有缓存特性的应用框架,比如 GuavaCache 等,部署在应用服务器上也称为服务器本地缓存)
应用级缓存 (具有缓存功能的中间件产品)如redis Tair Memcached等,采用k/v键值对进行存储,利用集群支持高可用 高性能 高并发 高扩展 等特性
优势:
提升用户体验
用户体验(User Experience):用户在使用产品过程中建立起来的一种纯主观感受。缓存的使用可以提升系统的响应能力,大大提升了用户体验。
减轻服务器压力
客户端缓存、网络端缓存减轻应用服务器压力。服务端缓存减轻数据库服务器的压力。
提升系统性能
系统性能指标:响应时间、延迟时间、吞吐量、并发用户数和资源利用率等。
代价:
额外的硬件支出
缓存是一种软件系统中以空间换时间的技术,需要额外的磁盘空间和内存空间来存储数据,搭建缓存服务器集群需要额外的服务器 采用云服务器的缓存服务就不用额外的服务器了阿里云(Tair、Redis),百度云(Redis),提供缓存服务AWS亚马逊云服务:EVCache
高并发缓存失效
在高并发场景下会出现缓存失效(缓存穿透、缓存雪崩、缓存击穿)造成瞬间数据库访问量增大,甚至崩溃
缓存与数据库数据同步问题:导致数据不一致
缓存与数据库无法做到数据的时时同步,Redis无法做到主从时时数据同步
缓存并发竞争
多个redis的客户端同时对一个key进行set值得时候由于执行顺序引起的并发问题
Releases · tporadowski/redis · GitHub https://github.com/tporadowski/redis/releases
在 Windows 系统上,Redis 的两个主要配置文件是 redis.windows.conf 和 redis.windows-service.conf。它们之间的区别如下:
redis.windows.conf: 是 Redis 在 Windows 系统上的默认配置文件,在以普通命令行方式启动 Redis 时会使用这个配置文件。该文件中的配置项通常是用于指定 Redis 服务器的监听地址、端口号、数据文件存储路径等。
redis.windows-service.conf:是 Redis 在 Windows 系统上安装为系统服务时使用的配置文件。在以 Windows 服务的方式启动 Redis 时会使用该配置文件。该文件中的配置通常需要指定 Redis 服务的名称、描述和执行路径等。
因此,在使用 Redis 时,我们需要根据具体环境和需求选择要使用的配置文件。如果想要将 Redis 作为一个系统服务来运行,那么就需要使用 redis.windows-service.conf 配置文件;如果只是在普通命令行环境下使用 Redis,则可以使用默认的 redis.windows.conf 配置文件。
1.通过命令行使用redis
2.打开Redis服务配置文件。注意:不要找错了,通常为redis.windows-service.conf,而不是redis.windows.conf。后者是以非系统服务方式启动程序使用的配置文件。
1)daemonize:是否以守护进程的方式运行,默认为no,可以通过修改为yes启动守护进程
2)当daemonize为yes时,redis默认会将pid写入/var/run/redis.pid文件,可以通过pidfile指定
pidfile /var/run/redis.pin
3)redis默认监听端口为6379,可以通过port指定
port 6379
4)绑定的主机地址
bind 127.0.0.1
5)设置当客户端限制多长时间后关闭连接,如果指定为0,表示关闭该功能
timeout 300
6)指定日志记录级别:redis共支持4个级别:debug,verbose,notice,warning 默认为notice
loglevel verbose
7)日志记录方式,默认为标准输出。如果配置redis以守护进程方式运行,而这里有配置为日志记录方式为标准输出,则日志将会发送给/dev/null
logfile stdout
8)设置数据库的数量,默认是0,可以通过select dbid 命令在连接上zh数据库id
database 16
9)指定在多长时间内,有多少次更新操作就将数据同步到数据文件,可多个条件配合
save
redis默认配置中提供了三个条件:
save 900 1
save 300 10
save 60 10000
分别表示900秒内一个更改,300秒内10个更改,60秒内10000个更改
10)指定存储到本地数据库时,是否压缩数据,默认为yes。redis采用LZF压缩,如果为了节省CPU时间,可以关闭该压缩,但是会导致数据库文件变得巨大。
rdbcompression yes
11)指定本地数据库文件名,默认为dump.rdb
dbfilename dump.rdb
12)指定本地数据库存放目录
dir ./
13)设置当本机为slav服务时,设置master服务的IP地址及端口,在redis启动时,它会自动从master进行数据同步
slaveof
14)当master服务设置了密码保护时,slav服务连接master的密码
masterauth
15)设置连接密码。如果设置了密码,客户端在连接redis时,需要通过auth 命令提供密码,默认关闭。
requirepass foobared
16)设置同一时间客户端最大连接数,默认无限制。如果设置maxclients为0,表示不限制。
maxclients 128
17)指定redis最大内存限制,redis在启动时,会将数据加载到内存中,达到最大内存后,redis会先尝试清除已到期或即将到期的key,清除后,若内存还是不足,将无法再写入,但仍可读取。
redis新的vm机制,会把key放在内存,value放在swap区
maxmemory
18)指定是否在每次更新操作后进行日志记录,默认为no。redis默认是异步写入磁盘,如果未开启,可能会导致断点时部分一段时间内的数据丢失,因为redis本身同步数据是按照上面save条件来同步的,所有数据会在一段时间内只存在于内存中。
appendonly no
19)指定更新日志文件名,默认为appendonly.aof
appendfilename appendonly.aof
20)指定更新日志条件,共三个可选值:
no:表示等操作系统进行数据缓存同步到磁盘(快)
always:表示每次更新操作后,手动调用fsync()将数据写入磁盘(慢,但安全)
everysec:表示美秒同步一次(折中,默认值)
appendfsync everysec
21)指定是否启用虚拟机内存,默认为no。
vm机制将数据分页存放,由redis将访问量较少的页即冷数据swap到磁盘上,访问多的页由磁盘自动换出到内存中。
vm-enabled no
22)虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个redis实例共享
vm-swap-file /tmp/redis.swap
23)将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置的多小,所有索引数据都是内存存储的(redis的索引数据,就是keys)。
也就是说,当vm-max-memory设置为0时,其实所有value都存在于磁盘,默认值为0
vm-max-memory 0
24)redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page不能被多个对象共享,vm-page-size是要根据存储的数据大小来设定的。
如果存储很多小对象,page大小最好设置为32或者64bytes,如果存储很大的对象就可以使用更大的page,如果不确定,可以直接使用默认值即可
vm-page-size 32
25)设置swap文件中的page的数量,由于页表(一种表示页面空闲或使用的bitmap)是放在内存中的,在磁盘中每8个page将消耗1byte的内存。
vm-pages 134217728
26)设置访问swap文件的线程数。最好不要超过机器的核数,如果设置为0,那么所有对swap的操作都是串行的。可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4
27)设置在向客户端应答时,是否把较小的包合并为一个包发送,默认开启
glueoutputbuf yes
28)指定在超过一定数量或者最大元素超过某一临界值时,采用一种特殊的hash算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29)指定是否激活重置hash,默认为开启。
activerehashing yes
30)指定包含其他的配置文件,可以在同一主机上,多个redis实例之间使用同一份配置文件。而同时各个实例又拥有各自特定的配置文件。
include /path/to/local.conf
如下复制一行,去掉#号,foobared改为需要设置的密码
Ctrl + C停止Redis服务
双击redis-cli.exe即可启动Redis客户端,默认连接的是本地的Redis服务,而且不需要认证即可连接成功。
Redis是什么?看这一篇就够了 - 葡萄城技术团队 - 博客园 https://www.cnblogs.com/powertoolsteam/p/redis.html
输入shutdown
Ctrl + C停止Redis服务