[Python 实战] - No.14 Python-Redis中的编码问题
Python-Redis中的编码问题
最近在写代码的时候，因为redis的编码的问题，debug了一天，最后终于搞清楚了python-redis中遇到的那些坑。在这里记录一下：
python中如何连接redis：
在python中，我们使用python-redis库来连接redis数据库。我们采用如下方式连接redis：
import redis
pool = redis.ConnectionPool(host='localhost', port=6379)
r = redis.Redis(connection_pool=pool)
我们尝试向redis中添加两个键值对：
r.set('bob','123456')
r.set('alice','987654')
print(r.keys())
'''output
[b'alice', b'bob']
'''
我们会发现，打印出的key数组，每个字符串前面加了一个b。在python3.x中，这表示这个字符串是bytes。
如果我们希望判断'bob'是否在数据库中，并打印bob对应的值，通常我们会这样做：
if 'bob' in r.keys():
print(r.get('bob'))
else:
print('No such key!')
print(r.get('bob'))
'''output
No such key!
b'123456'
'''
我们会发现，明明我们已经在redis中存储了('bob','123456')键值，但是我们使用get()方法却无法获取到。这是因为：
- 在redis中，键和值都是以bytes方式存储的，r.keys（）返回键也是bytes形式的。
- 当我们判断str类型的字符串是否在 bytes类型的列表中时，结果是False
- 由于r.get()函数实现中会有encode()操作，所以r.get()可以接受bytes形式，也可以接受str形式
例如：
r.flushall()
r.set('bob','123456')
r.set('alice','987654')
for k in r.keys(): # r.get() 可以接受bytes()类型的输入
print(k,r.get(k))
if 'bob'.encode('utf-8') in r.keys():
print(r.get('bob'))
else:
print('No such key!')
k = 'bob'
print("Encode:",k,r.get(k).decode('utf-8')) # r.get()函数也可以直接传入str
'''output
b'alice' b'987654'
b'bob' b'123456'
b'123456'
Encode: bob 123456
'''
总结：
- 在redis中存储的键值对均为bytes类型
- 如果我们希望查询某一个str类型的键是否在数据库中，需要使用encode(),将str转换为bytes，看是否在r.keys()中；使用decode将查询出的bytes值转换为str
如果我们总是使用encode和decode来编码-解码键值对，会非常的麻烦。在python中，我们可以通过声明redis连接池的decode_responses字段来对键值对进行默认编码：
import redis
pool = redis.ConnectionPool(host='localhost', port=6379,decode_responses=True)
r = redis.Redis(connection_pool=pool)
r.flushall()
r.set('Monday','Sunny')
r.set('Tuesday','Rainy')
for k in r.keys():
print(k,r.get(k))
'''output
Tuesday Rainy
Monday Sunny
'''
我们发现，当我们声明了decode_responses=True 之后，我们从redis中使用get()和keys()获得的键值对就都是str类型的了。
那么我们是不是一直使用decode_responses=True 就好了呢？为什么redis要将decode_responses默认设置成False呢？。我们分别在两种情况下进行如下操作：
- 创建一个dict
- 使用pickle对dict打包存储到redis中
- 读取dict，并使用pickle加载
不使用decode_responses
import redis
import pickle
pool = redis.ConnectionPool(host='localhost', port=6379)
r = redis.Redis(connection_pool=pool)
r.flushall() # 清空redis
d = {'bob':'123456789','alice':'987654321'}
r.set('my_dict',pickle.dumps(d))
new_d = pickle.loads(r.get('my_dict'))
print(new_d)
'''output
{'bob': '123456789', 'alice': '987654321'}
'''
使用decode_responses
import redis
import pickle
pool = redis.ConnectionPool(host='localhost', port=6379,decode_responses=True)
r = redis.Redis(connection_pool=pool)
r.flushall() # 清空redis
d = {'bob':'123456789','alice':'987654321'}
r.set('my_dict',pickle.dumps(d))
new_d = pickle.loads(r.get('my_dict'))
print(new_d)
'''output
Traceback (most recent call last):
File "", line 9, in
new_d = pickle.loads(r.get('my_dict'))
File "C:\ProgramData\Anaconda3\lib\site-packages\redis\client.py", line 1264, in get
return self.execute_command('GET', name)
File "C:\ProgramData\Anaconda3\lib\site-packages\redis\client.py", line 775, in execute_command
return self.parse_response(connection, command_name, **options)
File "C:\ProgramData\Anaconda3\lib\site-packages\redis\client.py", line 789, in parse_response
response = connection.read_response()
File "C:\ProgramData\Anaconda3\lib\site-packages\redis\connection.py", line 637, in read_response
response = self._parser.read_response()
File "C:\ProgramData\Anaconda3\lib\site-packages\redis\connection.py", line 332, in read_response
response = self.encoder.decode(response)
File "C:\ProgramData\Anaconda3\lib\site-packages\redis\connection.py", line 133, in decode
value = value.decode(self.encoding, self.encoding_errors)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte
'''
这是因为，我们使用pickle存储的时候，pickle会将对象dumps成bytes类型的字符串，并且该字符串无法使用utf-8进行decode。由于我们使用了decode_responses, 执行r.get(‘my_dict’)的时候会尝试将pickle dumps的字符串deocde为utf8，所以会抛出异常。
总结：究竟我们什么时候需要使用decode_responses呢？
- 如果我们redis只是为了存储一些str字符串等键值对，推荐使用
decode_responses来避免在代码手动decode - 如果在redis使用中，会涉及对象，字典，列表等的存储，不使用
decode_responses