python3-redis数据库增量爬虫相关操作

关于Redis 做增量爬虫的相关问题.

Redis set属性的基本操作,这是转载链接.

---

代码

# 使用redis中集合做增量爬虫
import redis
from hashlib import md5
#转成md5的好...为啥好 百度一下把
#本地操作....连接redis数据库.
r = redis.Redis(host='localhost', port=6379, db=0)

def md5_url(url):
    """
    md5加密功能函数
    :param url: 传入相关URL
    :return: md5的唯一加密字符
    """
    s = md5()
    s.update(url.encode())
    return s.hexdigest()

item_url = md5_url('自定义内容')
finger = md5_url(item_url)
if r.sadd("自定义数据库名称", finger):
    pass

---

查看redis数据库的相关属性.

打码的为key.

试了下直接set keys 还不行..

用这个就出来了.感谢头顶上链接的作者.

---

再补充

是使用库 1

我添加的很多的测试Key.

删除单一key.

del key

#操作注意..................................................................
FLUSHDB
#清除当前库下的所有key

FLUSHALL
#清除所有库的数据

---

若有问题,欢迎指出.