用python写网络爬虫三：磁盘下载缓存

下载缓存：假设我们对同一个网站进行了多次下载，在百万个网页的情况下是不明智的，所以我们需要缓存，下过一次的不再重复下载，这样我们能够节省很多时间
为链接爬虫添加缓存支持：
在下载之前进行判断，该链接是否含有缓存，只在没有缓存发生下载是触发限速功能，

支持缓存功能的代码实现.png

完整代码地址
为 了支持缓存功能， 链接爬虫的代码也需要进行一些微调 ， 包括添
加 cache 参数、 移除限速以及将 download 函数替换为新的类等， 如下面的
代码所示。

def link_crawler(seed_url, link_regex=None, delay=5, max_depth=-1, max_urls=-1, user_agent='wswp', proxies=None, num_retries=1,scrape_callback=None, cache=None):
    '''crawl from the given seed URL following link matched by link_regex'''
    crawl_quene = [seed_url]
    seen = {seed_url: 0}
    num_urls = 0
    rp = get_robots(seed_url)
    D = Downloader(delay=delay, user_agent=user_agent, proxies=proxies, num_retries=num_retries, cache=cache)

    while crawl_quene:
        url = crawl_quene.pop()
        depth = seen[url]
        if rp.can_fetch(user_agent, url):
            html = D(url)
            links = []

磁盘缓存

将下载到的网页存储到文件系统中，实现该功能，需要将URL安全的映射为跨平台的文件名

主流文件系统的限制.png

为了保证在不同的文件系统中文件路径都是安全，我们需要限制其只能包含数字字母和基本符号，并将其他字符转换为下划线，
代码实现：

import re 
url = 'http://example.webscraping.com/default/view/Australia-1'
re.sub('[^/0-9a-zA-Z\-.,;_]', '_', url)

需要文件名及其父目录的长度不超过255个字符

filename = '/'.join(segment[:255] for segment in filename.split('/'))

还有一种边界情况，就是URL以斜杠结尾。这样分割URL后就会造成一个非法的文件名。例如：

• http://example.webscraping.com/index/
• http://example.webscraping.com/index/1
  对于第一个URL可以在后面添加index.html作为文件名，所以可以把index作为目录名，1为子目录名，index.html为文件名

       import urlparse
       components=urlparse.urlsplit ('http://example.webscraping.com/index/')
       print componts
       print components.path
       comonents = urlparse.urlsplit(url)
        path = comonents.path
        if not path:
            path = '/index.html'
        elif path.endswith('/'):
            path += 'index.html'
        filename = comonents.netloc+path+comonents.query

实现将URL到文件名的这些映射逻辑结合起来，

  def url_to_path(self, url):
        comonents = urlparse.urlsplit(url)
        path = comonents.path
        if not path:
            path = '/index.html'
        elif path.endswith('/'):
            path += 'index.html'
        filename = comonents.netloc+path+comonents.query
        filename = re.sub('[^/0-9a-zA-z\-.]', '_', filename)
        filename = '/'.join(segment[:255] for segment in filename.split('/'))
        return os.path.join(self.cache_dir, filename)

然后在
url to path 方法中应用 了前面讨论的文件名 限制。 现在， 我们还缺少根
据文件名存取数据的方法， 下面的代码实现了这两个缺失的方法。

  def __getitem__(self, url):
        path = self.url_to_path(url)
        if os.path.exists(path):
            with open(path, 'rb') as fp:
                data = fp.read()
                if self.compress:
                    data = zlib.decompress(data)
                result, timestamp = pickle.loads(data)
                if self.has_expired(timestamp):
                    raise KeyError(url + 'has expired')
                return result
        else:
            raise KeyError(url + 'doesnot exist')

    def __setitem__(self, url, result):
        path = self.url_to_path(url)
        folder = os.path.dirname(path)
        if not os.path.exists(folder):
            os.makedirs(folder)

        data = pickle.dumps((result, datetime.utcnow()))
        if self.compress:
            data = zlib.compress(data)
        with open(path, 'wb') as fp:
            fp.write(data)

通过测试发现有缓存（第二次）所需要的时间远远少于没有使用缓存(第一次)的时间
节省磁盘空间：
为了节省磁盘空间我们对下载得到的html进行压缩处理，使用zlib模块进行压缩

fp.write(zlib.compress(pickle.dumps(result)))

解压

return pickle.loads(zlib.decompress(fp.read()))

清理过期数据：
我们将为缓存数据添加过期时间 ， 以便爬虫知道何时需要重新下载网页，。在构造方法中，我们使用timedelta对象将默认过期时间设置为30天，在set方法中把当前时间戳保存在序列化数据中，在get方法中对比当前时间和缓存时间，检查是否过期。完整代码

class DiskCache:

    def __init__(self, cache_dir='cache', expires=timedelta(days=30), compress=True):
        self.cache_dir = cache_dir
        self.expires = expires
        self.compress = compress

    def __getitem__(self, url):
        path = self.url_to_path(url)
        if os.path.exists(path):
            with open(path, 'rb') as fp:
                data = fp.read()
                if self.compress:
                    data = zlib.decompress(data)
                result, timestamp = pickle.loads(data)
                if self.has_expired(timestamp):
                    raise KeyError(url + 'has expired')
                return result
        else:
            raise KeyError(url + 'doesnot exist')

    def __setitem__(self, url, result):
        path = self.url_to_path(url)
        folder = os.path.dirname(path)
        if not os.path.exists(folder):
            os.makedirs(folder)
        data = pickle.dumps((result, datetime.utcnow()))
        if self.compress:
            data = zlib.compress(data)
        with open(path, 'wb') as fp:
            fp.write(data)

    def __delitem__(self, url):
        path = self._key_path(url)
        try:
            os.remove(path)
            os.removedirs(os.path.dirname(path))
        except OSError:
            pass

    def url_to_path(self, url):
        comonents = urlparse.urlsplit(url)
        path = comonents.path
        if not path:
            path = '/index.html'
        elif path.endswith('/'):
            path += 'index.html'
        filename = comonents.netloc+path+comonents.query
        filename = re.sub('[^/0-9a-zA-z\-.]', '_', filename)
        filename = '/'.join(segment[:255] for segment in filename.split('/'))
        return os.path.join(self.cache_dir, filename)

    def has_expired(self, timestamp):
        return datetime.utcnow() > timestamp+self.expires

    def clear(self):
        if os.path.exists(self.cache_dir):
            shutil.rmtree(self.cache_dir)
if __name__ == '__main__':    link_crawler('http://example.webscraping.com/', '/(index|view)', cache=DiskCache())

用磁盘缓存的缺点
由于受制于文件系统的限制，之前我们将URL映射为安全文件名，然而这样又会引发一些问题：- 有些URL会被映射为相同的文件名。比如URL：.../count.asp?a+b
,.../count.asp?a*b
。- URL截断255个字符的文件名也可能相同。因为URL可以超过2000下字符。
使用URL哈希值为文件名可以带来一定的改善。这样也有一些问题：- 每个卷和每个目录下的文件数量是有限制的。FAT32文件系统每个目录的最大文件数65535，但可以分割到不同目录下。- 文件系统可存储的文件总数也是有限的。ext4分区目前支持略多于1500万个文件，而一个大型网站往往拥有超过1亿个网页。
要想避免这些问题，我们需要把多个缓存网页合并到一个文件中，并使用类似B+树的算法进行索引。但我们不会自己实现这种算法，而是在下一节中介绍已实现这类算法的数据库。