由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术达到读写分离,以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。
随着web2.0的继续高速发展,在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,是业界讨论的热门技术问题。也就在这个时候,MySQL推出了还不太稳定的表分区,这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群,但是由于在互联网几乎没有成功案例,性能也不能满足互联网的要求,只是在高可靠性上提供了非常大的保证。
关系型数据库面临的问题:
数据库访问的新需求:
CAP原理是指这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进行分布式架构设计时,必须做出取舍。而对于分布式数据系统,分区容忍性是基本要求,否则就失去了价值。因此设计分布式数据系统,就是在一致性和可用性之间取一个平衡。对于大多数WEB应用,其实并不需要强一致性,因此牺牲一致性而换取高可用性,是多数分布式数据库产品的方向
在理论计算机科学中,CAP定理(CAP theorem),又被称作布鲁尔定理(Brewer’s theorem),它指出对于一个分布式计算系统来说,不可能同时满足以下三点
关系数据库 | NoSQL |
---|---|
分布式关系型数据库中强调的ACID 分别是:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability) |
对于许多互联网应用来说,对于一致性要求可以降低,而可用性(Availability)的要求则更为明显,在CAP理论基础上,从而产生了弱一致性的理论BASE。 |
ACID的目的就是通过事务支持,保证数据的完整性和正确性 | BASE 分别是英文:Basically,Available(基本可用), Softstate(软状态)非实时同步,Eventual Consistency(最终一致)的缩写,这个模型是反ACID 模型 |
优点:
典型例子是Cassandra,由于其架构是类似于经典的P2P,所以能通过轻松地添加新的节点来扩展这个集群;
主要例子有Redis,由于其逻辑简单,而且纯内存操作,使得其性能非常出色,单节点每秒可以处理超过10万次读写操作;
这是大多数分布式数据库共有的特点,因为主要都是开源软件,没有昂贵的License成本;
缺点:
如果不支持SQL这样的工业标准,将会对用户产生一定的学习和应用迁移成本;
现有产品所提供的功能都比较有限,大多数NoSQL数据库都不支持事务,也不像Oracle那样能提供各种附加功能,比如BI和报表等;
大多数产品都还处于初创期,和关系型数据库几十年的完善不可同日而语
Key-value(重要)
Document(文档) (比如:mongodb)
关注一致性和可用性的(CA)
这些数据库对于分区容忍性方面比较不感冒,主要采用复制(Replication)这种方式来保证数据的安全性,常见的CA系统有:
这种系统将数据分布在多个网络分区的节点上,并保证这些数据的一致性,但是对于可用性的支持方面有问题,比如当集群出现问题的话,节点有可能因无法确保数据是一致性的而拒绝提供服务,主要的CP系统有:
这类系统主要以实现“最终一致性(Eventual Consistency)”来确保可用性和分区容忍性,AP的系统有:
内存模式
目前,Vmware在资助着redis项目的开发和维护
各功能模块说明如下:File Event
: 处理文件事件,接受它们发来的命令请求(读事件),并将命令的执行结果返回给客户端(写事件))Time Event
: 时间事件(更新统计信息,清理过期数据,附属节点同步,定期持久化等)AOF
: 命令日志的数据持久化RDB
:实际的数据持久化Lua Environment
: Lua 脚本的运行环境. 为了让 Lua 环境符合 Redis 脚本功能的需求,Redis 对 Lua 环境进行了一系列的修改,包括添加函数库、更换随机函数、保护全局变量,等等Command table(命令表)
:在执行命令时,根据字符来查找相应命令的实现函数。Share Objects(对象共享)
:
主要存储常见的值:
a.各种命令常见的返回值,例如返回值OK、ERROR、WRONGTYPE等字符;
b. 小于 redis.h/REDIS_SHARED_INTEGERS (默认1000)的所有整数。通过预分配的一些常见的值对象,并在多个数据结构之间共享对象,程序避免了重复分配的麻烦。也就是说,这些常见的值在内存中只有一份。Databases
:Redis数据库是真正存储数据的地方。当然,数据库本身也是存储在内存中的。
redis安装常用两种方式,yum安装和源码包安装
yum 安装:通常是在线安装,好处是安装方式简单,不易出错;常用的安装yum源为epel。
源码包安装:是先将 redis 的源码下载下来,在自己的系统里编译生成可执行文件,然后执行,好处是因为是在自己的系统上编译的,更符合自己系统的性能,也就是说在自己的系统上执行 redis 服务性能效率更好。
区别:路径和启动方式不同,支持的模块也不同。
/etc/redis.conf
/usr/bin/redis-server
/usr/bin/redis-cli
File:/usr/lib/systemd/system/redis.service
/var/lib/redis
6379/tcp
### NETWORK ###
bind IP #监听地址192.168.1.100 10.0.0.1 127.0.0.1 ::1
port PORT #监听端口
protected-mode yes #是否开启保护模式,默认开启。要是配置里没有指定bind和密码。开启该参数后,redis只会本地进行访问,拒绝外部访问。
tcp-backlog 511 #定义了每一个端口最大的监听队列的长度
unixsocket /tmp/redis.sock #也可以打开套接字监听
timeout 0 #连接的空闲超时时长;
### GENERAL ###
daemonize no #是否以守护进程启动
supervised no #可以通过upstart和systemd管理Redis守护进程,这个参数是和具体的操作系统相关的
pidfile "/var/run/redis/redis.pid" #pid文件
loglevel notice #日志等级
logfile "/var/log/redis/redis.log" #日志存放文件
databases 16 #设定数据库数量,默认为16个,每个数据库的名字均为整数,从0开始编号,默认操作的数据库为0;
切换数据库的方法:SELECT
### SNAPSHOTTING ###
save 900 1 #900秒有一个key变化,就做一个保存
save 300 10 #300秒有10个key变化,就做一个保存,这里需要和开发沟通
save 60 10000 #60秒有10000个key变化就做一个保存
stop-writes-on-bgsave-error yes #在出现错误的时候,是不是要停止保存
rdbcompression yes #使用压缩rdb文件,rdb文件压缩使用LZF压缩算法,yes:压缩,但是需要一些cpu的消耗;no:不压缩,需要更多的磁盘空间
rdbchecksum yes #是否校验rdb文件。从rdb格式的第五个版本开始,在rdb文件的末尾会带上CRC64的校验和。这跟有利于文件的容错性,但是在保存rdb文件的时候,会有大概10%的性能损耗,所以如果你追求高性能,可以关闭该配置。
dbfilename "along.rdb" #rdb文件的名称
dir "/var/lib/redis" #数据目录,数据库的写入会在这个目录。rdb、aof文件也会写在这个目录
### LIMITS ###
maxclients 10000 #设置能连上redis的最大客户端连接数量
maxmemory #redis配置的最大内存容量。当内存满了,需要配合maxmemory-policy策略进行处理。
maxmemory-policy noeviction #淘汰策略:volatile-lru, allkeys-lru, volatile-random, allkeys-random, volatile-ttl, noeviction
内存容量超过maxmemory后的处理策略:
① # volatile-lru:利用LRU算法移除设置过过期时间的key。
② # volatile-random:随机移除设置过过期时间的key。
③ # volatile-ttl:移除即将过期的key,根据最近过期时间来删除(辅以TTL)
④ # allkeys-lru:利用LRU算法移除任何key。
⑤ # allkeys-random:随机移除任何key。
⑥ # noeviction:不移除任何key,只是返回一个写错误。
# 上面的这些驱逐策略,如果redis没有合适的key驱逐,对于写命令,还是会返回错误。redis将不再接收写请求,只接收get请求。写命令包括:set setnx
maxmemory-samples 5 #淘汰算法运行时的采样样本数
### APPEND ONLY MODE ###
# 默认redis使用的是rdb方式持久化,这种方式在许多应用中已经足够用了。但是redis如果中途宕机,会导致可能有几分钟的数据丢失,根据save来策略进行持久化,Append Only File是另一种持久化方式,可以提供更好的持久化特性。Redis会把每次写入的数据在接收后都写入 appendonly.aof 文件,每次启动时Redis都会先把这个文件的数据读入内存里,先忽略RDB文件。
appendonly no #不启动aof模式
appendfilename "appendonly.aof" #据读入内存里,先忽略RDB文件,aof文件名(default: "appendonly.aof")
appendfsync
Redis supports three different modes:
no:redis不执行主动同步操作,而是OS进行;
everysec:每秒一次;
always:每语句一次
如果Redis只是将客户端修改数据库的指令重现存储在AOF文件中,那么AOF文件的大小会不断的增加,因为AOF文件只是简单的重现存储了客户端的指令,而并没有进行合并。对于该问题最简单的处理方式,即
当AOF文件满足一定条件时就对AOF进行rewrite,rewrite是根据当前内存数据库中的数据进行遍历写到一个临时的AOF文件,待写完后替换掉原来的AOF文件即可。
no-appendfsync-on-rewrite no
#在aof重写或者写入rdb文件的时候,会执行大量IO,此时对于everysec和always的aof模式来说,执行fsync会造成阻塞过长时间,no-appendfsync-on-rewrite字段设置为默认设置为no。如果对延迟要求很高的应用,这个字段可以设置为yes,否则还是设置为no,这样对持久化特性来说这是更安全的选择。设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入,默认为no,建议yes。Linux的默认fsync策略是30秒。可能丢失30秒数据。
auto-aof-rewrite-percentage 100 aof自动重写配置。当目前aof文件大小超过上一次重写的aof文件大小的百分之多少进行重写,即当aof文件增长到一定大小的时候Redis能够调用bgrewrite aof对日志文件进行重写。当前AOF文件大小是上次日志重写得到AOF文件大小的二倍(设置为100)时,自动启动新的日志重写过程。
auto-aof-rewrite-min-size 64mb #设置允许重写的最小aof文件大小,避免了达到约定百分比但尺寸仍然很小的情况还要重写。上述两个条件同时满足时,方会触发重写AOF;与上次aof文件大小相比,其增长量超过100%,且大小不少于64MB;
aof-load-truncated yes #指redis在恢复时,会忽略最后一条可能存在问题的指令。aof文件可能在尾部是不完整的,出现这种现象,可以选择让redis退出,或者导入尽可能多的数据。如果选择的是yes,当截断的aof文件被导入的时候,会自动发布一个log给客户端然后load。
如果是no,用户必须手动redis-check-aof修复AOF文件才可以。
注意:持久机制本身不能取代备份;应该制订备份策略,对redis库定期备份;Redis服务器启动时用持久化的数据文件恢复数据,会优先使用AOF;
我们继续来看 redis 的持久化:
RDB:snapshotting, 二进制格式;按事先定制的策略,周期性地将数据从内存同步至磁盘;数据文件默认为dump.rdb;
客户端显式使用SAVE或BGSAVE命令来手动启动快照保存机制;
SAVE:同步,即在主线程中保存快照,此时会阻塞所有客户端请求;
BGSAVE:异步;backgroud
AOF:Append Only File, fsync
记录每次写操作至指定的文件尾部实现的持久化;当redis重启时,可通过重新执行文件中的命令在内存中重建出数据库;
BGREWRITEAOF:AOF文件重写;
不会读取正在使用AOF文件,而是通过将内存中的数据以命令的方式保存至临时文件中,完成之后替换原来的AOF文件;
### SLOW LOG ###
slowlog-log-slower-than 10000 #当命令的执行超过了指定时间,单位是微秒;1s=10^6微秒
slowlog-max-len 128 #慢查询日志长度。当一个新的命令被写进日志的时候,最老的那个记录会被删掉。
ADVANCED配置:
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
设置ziplist的键数量最大值,每个值的最大空间;
服务端的相关命令:
time
:返回当前服务器时间client list
: 返回所有连接到服务器的客户端信息和统计数据 参见http://redisdoc.com/server/client_list.htmlclient kill ip:port
:关闭地址为 ip:port 的客户端save
:将数据同步保存到磁盘bgsave
:将数据异步保存到磁盘lastsave
:返回上次成功将数据保存到磁盘的Unix时戳shundown
:将数据同步保存到磁盘,然后关闭服务info
:提供服务器的信息和统计config resetstat
:重置info命令中的某些统计数据config get
:获取配置文件信息config set
:动态地调整 Redis 服务器的配置(configuration)而无须重启,可以修改的配置参数可以使用命令 CONFIG GET * 来列出config rewrite
:Redis 服务器时所指定的 redis.conf 文件进行改写monitor
:实时转储收到的请求slaveof
:改变复制策略设置debug
:sleep segfaultslowlog get
:获取慢查询日志slowlog len
:获取慢查询日志条数slowlog reset
:清空慢查询
Redis内部使用一个redisObject对象来表示所有的key和value,redisObject最主要的信息如上图所示:
type代表一个value对象具体是何种数据类型
encoding是不同数据类型在redis内部的存储方式
比如:type=string代表value存储的是一个普通字符串,那么对应的encoding可以是raw或者是int,如果是int则代表实际redis内部是按数值型类存储和表示这个字符串的,当然前提是这个字符串本身可以用数值表示,比如:“123” "456"这样的字符串。
Redis的键值可以使用物种数据类型:字符串,散列表,列表,集合,有序集合。
exists(key)
:确认一个key是否存在
del(key)
:删除一个key
type(key)
:返回值的类型
keys(pattern)
:返回满足给定pattern的所有key
randomkey
:随机返回key空间的一个
keyrename(oldname, newname)
:重命名key
dbsize
:返回当前数据库中key的数目
expire
:设定一个key的活动时间(s)
ttl
:获得一个key的活动时间
move(key, dbindex)
:移动当前数据库中的key到dbindex数据库
flushdb
:删除当前选择数据库中的所有key
flushall
:删除所有数据库中的所有key
set(key, value):给数据库中名称为key的string赋予值value
get(key):返回数据库中名称为key的string的valuegetset(key, value)
:给名称为key的string赋予上一次的valuemget(key1, key2,…, key N)
:返回库中多个string的valuesetnx(key, value)
:添加string,名称为key,值为valuesetex(key, time, value)
:向库中添加string,设定过期时间timemset(key N, value N)
:批量设置多个string的值msetnx(key N, value N)
:如果所有名称为key i的string都不存在incr(key)
:名称为key的string增1操作incrby(key, integer)
:名称为key的string增加integerdecr(key)
:名称为key的string减1操作decrby(key, integer)
:名称为key的string减少integerappend(key, value)
:名称为key的string的值附加valuesubstr(key, start, end)
:返回名称为key的string的value的子串