在过去的几年中,NoSQL数据库一度成为高并发、海量数据存储解决方案的代名词,与之相应的产品也呈现出雨后春笋般的生机。然而在众多产品中能够脱颖而出的却屈指可数,如Redis、MongoDB、BerkeleyDB和CouchDB等。由于每种产品所拥有的特征不同,因此它们的应用场景也存在着一定的差异,下面仅给出简单的说明:
1). BerkeleyDB是一种极为流行的开源嵌入式数据库,在更多情况下可用于存储引擎,比如BerkeleyDB在被Oracle收购之前曾作为 MySQL的存储引擎,由此可以预见,该产品拥有极好的并发伸缩性,支持事务及嵌套事务,海量数据存储等重要特征,在用于存储实时数据方面具有极高的可用价值。然而需要指出的是,该产品的Licence为GPL,这就意味着它并不是在所有情况下都是免费使用的。
2). 对MongoDB的定义为Oriented-Document数据库服务器,和BerkeleyDB不同的是该数据库可以像其他关系型数据库服务器那样独立的运行并提供相关的数据服务。从该产品的官方文档中我们可以获悉,MongoDB主要适用于高并发的论坛或博客网站,这些网站具有的主要特征是并发访问量高、多读少写、数据量大、逻辑关系简单,以及文档数据作为主要数据源等。和BerkeleyDB一样,该产品的License同为GPL。
3). Redis,典型的NoSQL数据库服务器,和BerkeleyDB相比,它可以作为服务程序独立运行于自己的服务器主机。在很多时候,人们只是将 Redis视为Key/Value数据库服务器,然而事实并非如此,在目前的版本中,Redis除了Key/Value之外还支持List、Hash、 Set和Ordered Set等数据结构,因此它的用途也更为宽泛。对于此种误解,Redis官网也进行了相应的澄清。和以上两种产品不同的是,Redis的License是 Apache License,就目前而言,它是完全免费。
4). memcached,数据缓存服务器。为什么在这里要给出该产品的解释呢?很简单,因为笔者认为它在使用方式上和Redis最为相似。毕竟这是一篇关于 Redis的技术系列博客,有鉴于此,我们将简要的对比一下这两个产品。首先说一下它们之间的最大区别,memcached只是提供了数据缓存服务,一旦服务器宕机,之前在内存中缓存的数据也将全部消失,因此可以看出memcached没有提供任何形式的数据持久化功能,而Redis则提供了这样的功能。再有就是Redis提供了更为丰富的数据存储结构,如Hash和Set。至于它们的相同点,主要有两个,一是完全免费,再有就是它们的提供的命令形式极为接近。
Redis的优势:
1). 和其他NoSQL产品相比,Redis的易用性极高,因此对于那些有类似产品使用经验的开发者来说,一两天,甚至是几个小时之后就可以利用Redis来搭建自己的平台了。
2). 在解决了很多通用性问题的同时,也为一些个性化问题提供了相关的解决方案,如索引引擎、统计排名、消息队列服务等。
目前版本中Redis存在的主要问题:
1). 在官方版本中没有提供Windows平台的支持,已发布的正式版本中只是支持类Unix和MacOSX平台。
2). 没有提供集群的支持,然而据官网所述,预计在2.6版本中会加入该特征。
3). Publication/Subscription功能中,如果master宕机,slave无法自动提升为master。
和关系型数据库的比较:
在目前版本(2.4.7)的Redis中,提供了对五种不同数据类型的支持,其中只有一种类型,既string类型可以被视为Key-Value结构,而其他的数据类型均有适用于各自特征的应用场景,至于具体细节我们将会在该系列后面的博客中予以说明。
相比于关系型数据库,由于其存储结构相对简单,因此Redis并不能对复杂的逻辑关系提供很好的支持,然而在适用于Redis的场景中,我们却可以由此而获得效率上的显著提升。即便如此,Redis还是为我们提供了一些数据库应该具有的基础概念,如:在同一连接中可以选择打开不同的数据库,然而不同的是,Redis中的数据库是通过数字来进行命名的,缺省情况下打开的数据库为0。如果程序在运行过程中打算切换数据库,可以使用Redis的select 命令来打开其他数据库,如select 1,如果此后还想再切换回缺省数据库,只需执行select 0即可。
在数据存储方面,Redis遵循了现有NoSQL数据库的主流思想,即Key作为数据检索的唯一标识,我们可以将其简单的理解为关系型数据库中索引的键,而Value则作为数据存储的主要对象,其中每一个Value都有一个Key与之关联,这就好比索引中物理数据在数据表中存储的位置。在Redis 中,Value将被视为二进制字节流用于存储任何格式的数据,如Json、XML和序列化对象的字节流等,因此我们也可以将其想象为RDB中的BLOB类型字段。由此可见,在进行数据查询时,我们只能基于Key作为我们查询的条件,当然我们也可以应用Redis中提供的一些技巧将Value作为其他数据的 Key,这些知识我们都会在后面的博客中予以介绍。
如何持久化内存数据
缺省情况下,Redis会参照当前数据库中数据被修改的数量,在达到一定的阈值后会将数据库的快照存储到磁盘上,这一点我们可以通过配置文件来设定该阈值。通常情况下,我们也可以将Redis设定为定时保存。如当有1000个以上的键数据被修改时,Redis将每隔60秒进行一次数据持久化操作。缺省设置为,如果有9个或9个以下数据修改是,Redis将每15分钟持久化一次。
从上面提到的方案中可以看出,如果采用该方式,Redis的运行时效率将会是非常高效的,既每当有新的数据修改发生时,仅仅是内存中的缓存数据发生改变,而这样的改变并不会被立即持久化到磁盘上,从而在绝大多数的修改操作中避免了磁盘IO的发生。然而事情往往是存在其两面性的,在该方法中我们确实得到了效率上的提升,但是却失去了数据可靠性。如果在内存快照被持久化到磁盘之前,Redis所在的服务器出现宕机,那么这些未写入到磁盘的已修改数据都将丢失。为了保证数据的高可靠性,Redis还提供了另外一种数据持久化机制–Append模式。如果Redis服务器被配置为该方式,那么每当有数据修改发生时,都会被立即持久化到磁盘。
命令原型 | 时间复杂度 | 命令描述 | 返回值 |
---|---|---|---|
APPEND key value | O(1) | 如果该Key已经存在,APPEND命令将参数Value的数据追加到已存在Value的末尾。如果该Key不存在,APPEND命令将会创建一个新的Key/Value | 追加后Value的长度 |
DECR key | O(1) | 将指定Key的Value原子性的递减1。如果该Key不存在,其初始值为0,在decr之后其值为-1。如果Value的值不能转换为整型值,如Hello,该操作将执行失败并返回相应的错误信息。注意:该操作的取值范围是64位有符号整型。 | 递减后的Value值。 |
INCR key | O(1) | 将指定Key的Value原子性的递增1。如果该Key不存在,其初始值为0,在incr之后其值为1。如果Value的值不能转换为整型值,如Hello,该操作将执行失败并返回相应的错误信息。注意:该操作的取值范围是64位有符号整型。 | 递增后的Value值。 |
DECRBY key decrement | O(1) | 将指定Key的Value原子性的减少decrement。如果该Key不存在, 其初始值为0,在decrby之后其值为-decrement。如果Value的值不能转换为整型值,如Hello,该操作将执行失 | 减少后的Value值 |
INCRBY key increment | O(1) | 将指定Key的Value原子性的增加increment。如果该Key不存在, 其初始值为0,在incrby之后其值为increment。如果Value的值不能转换为整型值,如Hello,该操作将执行失败并返回相应的错误信 息。注意:该操作的取值范围是64位有符号整型。 | 增加后的Value值 |
GET key | O(1) | 获取指定Key的Value。如果与该Key关联的Value不是string类型,Redis将返回错误信息,因为GET命令只能用于获取string Value。 | 与该Key相关的Value,如果该Key不存在,返回nil。 |
SET key value | O(1) | 设定该Key持有指定的字符串Value,如果该Key已经存在,则覆盖其原有值。 | 总是返回”OK” |
GETSET key value | O(1) | 原子性的设置该Key为指定的Value,同时返回该Key的原有值。和GET命令一样,该命令也只能处理string Value,否则Redis将给出相关的错误信息。 | 返回该Key的原有值,如果该Key之前并不存在,则返回nil |
STRLEN key | O(1) | 返回指定Key的字符值长度,如果Value不是string类型,Redis将执行失败并给出相关的错误信息。 | 返回指定Key的Value字符长度,如果该Key不存在,返回0 |
SETEX key seconds value | O(1) | 原子性完成两个操作,一是设置该Key的值为指定字符串,同时设置该Key在Redis服务器中的存活时间(秒数)。该命令主要应用于Redis被当做Cache服务器使用时 | |
SETNX key value | O(1) | 如果指定的Key不存在,则设定该Key持有指定字符串Value,此时其效果等价于SET命令。相反,如果该Key已经存在,该命令将不做任何操作并返回 | 1表示设置成功,否则0。 |
SETRANGE key offset value | O(1) | 替换指定Key的部分字符串值。从offset开始,替换的长度为该命令第三个参 数value的字符串长度,其中如果offset的值大于该Key的原有值Value的字符串长度,Redis将会在Value的后面补齐(offset - strlen(value))数量的0x00,之后再追加新值。如果该键不存在,该命令会将其原值的长度假设为0,并在其后添补offset个0x00后 再追加新值。鉴于字符串Value的最大长度为512M,因此offset的最大值为536870911。最后需要注意的是,如果该命令在执行时致使指定 Key的原有值长度增加,这将会导致Redis重新分配足够的内存以容纳替换后的全部字符串,因此就会带来一定的性能折损。 | 修改后的字符串Value长度 |
GETRANGE key start end | O(1) | 如果截取的字符串长度很短,我们可以该命令的时间复杂度视为O(1),否则就是O(N),这里N表示截取的子字符串长度。该命令在截取子字符串时,将以闭区间的方式同时包含start(0表示第一个字符)和end所在的字符,如果end值超过Value的字符长度,该命令将只是截取从start开始之后所有的字符数据。 | 子字符串 |
SETBIT key offset value | O(1) | 设置在指定Offset上BIT的值,该值只能为1或0,在设定后该命令返回该 Offset上原有的BIT值。如果指定Key不存在,该命令将创建一个新值,并在指定的Offset上设定参数中的BIT值。如果Offset大于 Value的字符长度,Redis将拉长Value值并在指定Offset上设置参数中的BIT值,中间添加的BIT值为0。最后需要说明的是 Offset值必须大于0。 | 在指定Offset上的BIT原有值 |
GETBIT key offset | O(1) | 返回在指定Offset上BIT的值,0或1。如果Offset超过string value的长度,该命令将返回0,所以对于空字符串始终返回0。 | 在指定Offset上的BIT值 |
MGET key [key …] | O(N) | N表示获取Key的数量。返回所有指定Keys的Values,如果其中某个Key不存在,或者其值不为string类型,该Key的Value将返回nil | 返回一组指定Keys的Values的列表 |
MSET key value [key value …] | O(N) | N表示指定Key的数量。该命令原子性的完成参数中所有key/value的设置操作,其具体行为可以看成是多次迭代执行SET命令。 | 该命令不会失败,始终返回OK。 |
MSETNX key value [key value …] | O(N) | N表示指定Key的数量。该命令原子性的完成参数中所有key/value的设置操作,其具体行为可以看成是多次迭代执行SETNX命令。然而这里需要明确说明的是,如果在这一批Keys中有任意一个Key已经存在了,那么该操作将全部回滚,即所有的修改都不会生效。 | 1表示所有Keys都设置成功,0则表示没有任何Key被修改。 |
获取所有key值
keys *
1. SET/GET/APPEND/STRLEN:
/> redis-cli #执行Redis客户端工具。
#判断该键是否存在,存在返回1,否则返回0。
redis 127.0.0.1:6379>exists mykey
(integer) 0
#该键并不存在,因此append命令返回当前Value的长度。
redis 127.0.0.1:6379> append mykey "hello"
(integer) 5
#该键已经存在,因此返回追加后Value的长度。
redis 127.0.0.1:6379>append mykey " world"
(integer) 11
#通过get命令获取该键,以判断append的结果。
redis 127.0.0.1:6379>get mykey
"hello world"
#通过set命令为键设置新值,并覆盖原有值。
redis 127.0.0.1:6379>set mykey "this is a test"
OK
redis 127.0.0.1:6379>get mykey
"this is a test"
#获取指定Key的字符长度,等效于C库中strlen函数。
redis 127.0.0.1:6379>strlen mykey
(integer) 14
2. INCR/DECR/INCRBY/DECRBY:
#设置Key的值为20
redis 127.0.0.1:6379>set mykey 20
OK
#该Key的值递增1
redis 127.0.0.1:6379>incr mykey
(integer) 21
#该Key的值递减1
redis 127.0.0.1:6379>decr mykey
(integer) 20
#删除已有键。
redis 127.0.0.1:6379>del mykey
(integer) 1
#对空值执行递减操作,其原值被设定为0,递减后的值为-1
redis 127.0.0.1:6379>decr mykey
(integer) -1
redis 127.0.0.1:6379>del mykey
(integer) 1
#对空值执行递增操作,其原值被设定为0,递增后的值为1
redis 127.0.0.1:6379> incr mykey
(integer) 1
#将该键的Value设置为不能转换为整型的普通字符串。
redis 127.0.0.1:6379>set mykey hello
OK
#在该键上再次执行递增操作时,Redis将报告错误信息。
redis 127.0.0.1:6379>incr mykey
(error) ERR value is not an integer or out of range
redis 127.0.0.1:6379>set mykey 10
OK
redis 127.0.0.1:6379>decrby mykey 5
(integer) 5
redis 127.0.0.1:6379>incrby mykey 10
(integer) 15
3. GETSET:
#将计数器的值原子性的递增1
redis 127.0.0.1:6379>incr mycounter
(integer) 1
#在取计数器原有值的同时,并将其设置为新值,这两个操作原子性的同时完成。
redis 127.0.0.1:6379>getset mycounter 0
"1"
#查看设置后的结果。
redis 127.0.0.1:6379>get mycounter
"0"
4. SETEX:
#设置指定Key的过期时间为10秒。
redis 127.0.0.1:6379>setex mykey 10 "hello"
OK
#通过ttl命令查看一下指定Key的剩余存活时间(秒数),0表示已经过期,-1表示永不过期。
redis 127.0.0.1:6379>ttl mykey
(integer) 4
#在该键的存活期内我们仍然可以获取到它的Value。
redis 127.0.0.1:6379>get mykey
"hello"
#该ttl命令的返回值显示,该Key已经过期。
redis 127.0.0.1:6379>ttl mykey
(integer) 0
#获取已过期的Key将返回nil。
redis 127.0.0.1:6379>get mykey
(nil)
5. SETNX:
#删除该键,以便于下面的测试验证。
redis 127.0.0.1:6379>del mykey
(integer) 1
#该键并不存在,因此该命令执行成功。
redis 127.0.0.1:6379>setnx mykey "hello"
(integer) 1
#该键已经存在,因此本次设置没有产生任何效果。
redis 127.0.0.1:6379>setnx mykey "world"
(integer) 0
#从结果可以看出,返回的值仍为第一次设置的值。
redis 127.0.0.1:6379>get mykey
"hello"
6. SETRANGE/GETRANGE:
#设定初始值。
redis 127.0.0.1:6379>set mykey "hello world"
OK
#从第六个字节开始替换2个字节(dd只有2个字节)
redis 127.0.0.1:6379>setrange mykey 6 dd
(integer) 11
#查看替换后的值。
redis 127.0.0.1:6379>get mykey
"hello ddrld"
#offset已经超过该Key原有值的长度了,该命令将会在末尾补0。
redis 127.0.0.1:6379>setrange mykey 20 dd
(integer) 22
#查看补0后替换的结果。
redis 127.0.0.1:6379>get mykey
"hello ddrld\x00\x00\x00\x00\x00\x00\x00\x00\x00dd"
#删除该Key。
redis 127.0.0.1:6379>del mykey
(integer) 1
#替换空值。
redis 127.0.0.1:6379>setrange mykey 2 dd
(integer) 4
#查看替换空值后的结果。
redis 127.0.0.1:6379>get mykey
"\x00\x00dd"
#设置新值。
redis 127.0.0.1:6379>set mykey "0123456789"
OK
#截取该键的Value,从第一个字节开始,到第二个字节结束。
redis 127.0.0.1:6379>getrange mykey 1 2
"12"
#20已经超过Value的总长度,因此将截取第一个字节后面的所有字节。
redis 127.0.0.1:6379>getrange mykey 1 20
"123456789"
7. SETBIT/GETBIT:
redis 127.0.0.1:6379>del mykey
(integer) 1
#设置从0开始计算的第七位BIT值为1,返回原有BIT值0
redis 127.0.0.1:6379> setbit mykey 7 1
(integer) 0
#获取设置的结果,二进制的0000 0001的十六进制值为0x01
redis 127.0.0.1:6379>get mykey
"\x01"
#设置从0开始计算的第六位BIT值为1,返回原有BIT值0
redis 127.0.0.1:6379>setbit mykey 6 1
(integer) 0
#获取设置的结果,二进制的0000 0011的十六进制值为0x03
redis 127.0.0.1:6379>get mykey
"\x03"
#返回了指定Offset的BIT值。
redis 127.0.0.1:6379>getbit mykey 6
(integer) 1
#Offset已经超出了value的长度,因此返回0。
redis 127.0.0.1:6379>getbit mykey 10
(integer) 0
8. MSET/MGET/MSETNX:
#批量设置了key1和key2两个键。
redis 127.0.0.1:6379>mset key1 "hello" key2 "world"
OK
#批量获取了key1和key2两个键的值。
redis 127.0.0.1:6379>mget key1 key2
1) "hello"
2) "world"
#批量设置了key3和key4两个键,因为之前他们并不存在,所以该命令执行成功并返回1。
redis 127.0.0.1:6379>msetnx key3 "stephen" key4 "liu"
(integer) 1
redis 127.0.0.1:6379>mget key3 key4
1) "stephen"
2) "liu"
#批量设置了key3和key5两个键,但是key3已经存在,所以该命令执行失败并返回0。
redis 127.0.0.1:6379>msetnx key3 "hello" key5 "world"
(integer) 0
#批量获取key3和key5,由于key5没有设置成功,所以返回nil。
redis 127.0.0.1:6379>mget key3 key5
1) "stephen"
2) (nil)
import redis
# r = redis.Redis(host="localhost", port=6379)
r = redis.Redis(host="192.168.128.128", port=6379)
class RedisStringClass(object):
@staticmethod
def set_value_str(key, value):
"""string 设置key value"""
res = r.set(key, value)
return res
@staticmethod
def get_value_str(key):
"""string 根据key 获取值 返回True"""
res = r.get(key)
return res
@staticmethod
def delete_by_key(key):
"""string 根据key 删除这个键值"""
res = r.delete(key)
return res
@staticmethod
def exists_by_key(key):
"""判断指定的key是否存在 存在返回True 否则 False"""
res = r.exists(key)
return res
@staticmethod
def append_value(key, value):
"""string 类型 追加字符串 返回 追加后的数据的长度"""
res = r.append(key, value)
return res
@staticmethod
def strlen_by_key(key):
"""根据key 获取 对应值的长度"""
res = r.strlen(key)
return res
@staticmethod
def incr_number(key):
""":key 的值 加1 返回 增加后的数值 此处是一个原子操作 如果开始没有key 的值"""
res = r.incr(key)
return res
@staticmethod
def decr_number(key):
""":key 的值减 1 返回减小后的数值"""
res = r.decr(key)
return res
@staticmethod
def incrby_num(key, num):
"""指定 key 对应值 增加num 数值"""
res = r.incrby(key, num)
return res
@staticmethod
def decrby_num(key, num):
"""指定key 对应值 减少num 数值"""
res = r.decr(key, num)
return res
@staticmethod
def setex_key_time_value(name, value, time_):
""" 设置值并且 设置过期时间 返回boolean"""
res = r.setex(name, value, time_)
return res
@staticmethod
def expire_key(name, time_):
""" 根据key 设置过期时间"""
res = r.expire(name, time_)
return res
@staticmethod
def setnx_key(name, value):
"""当键值不存在时候 设置成功, 不存在者失败 返回boolean 值"""
res = r.setnx(name, value)
return res
@staticmethod
def setrange_key(name, offset, value):
""" 从指定的位置设置值 """
res = r.setrange(name, offset, value)
return res
@staticmethod
def getrange_key(name, start, end):
"""从指定位置获取值 start 起始位置 end 结束位置"""
res = r.getrange(name, start, end)
return res
@staticmethod
def mset_keys(*args, **kwargs):
"""同事设置多个 key value 值 返回boolean"""
res = r.mset(*args, **kwargs)
return res
@staticmethod
def mget_keys(keys):
"""同事获取多个值"""
res = r.mget(keys)
return res
@staticmethod
def scan_iter_pattern(match=None, count=None):
"""同字符串操作,用于增量迭代获取key
yield 创建的是生成器
match 匹配指定key,默认None 表示所有的key
count 每次分片获取的个数, 默认None 表示采用redis的默认分片个数
eg: res = r.scan_iter_pattern("aa*")
记住: 返回的是迭代器
"""
res = r.scan_iter(match, count)
return res