python分布式编程_python分布式爬虫中的rules有什么用

python分布式爬虫中的rules有什么用

发布时间：2020-11-30 14:04:49

来源：亿速云

阅读：100

作者：小新

这篇文章主要介绍python分布式爬虫中的rules有什么用，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

爬虫在找寻数据的时候，如果都随意把找到的数据搬运回来，不仅我们的内存装不下，而且会搬回来很多重复的数据，我们也没有办法一个个的进行筛选。这时候我们需要给爬虫制定带回来数据的规则，防止重复数据的产生。这样我们再来谈rules就很好理解了，可以看成是给爬虫制定的规则合集。

在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了特定操作。如果多个rule匹配了相同的链接，则根据规则在本集合中被定义的顺序，第一个会被使用。class scrapy.spiders.Rule(

link_extractor,

callback = None,

cb_kwargs = None,

follow = None,

process_links = None,

process_request = None

)

link_extractor：是一个Link Extractor对象，用于定义需要提取的链接(Link Extractor对象见下)。

callback： 从link_extractor中每获取到链接时，参数所指定的值作为回调函数，该回调函数接受一个response作为其第一个参数。

注意：当编写爬虫规则时，避免使用parse作为回调函数。由于CrawlSpider使用parse方法来实现其逻辑，如果覆盖了 parse方法，crawl spider将会运行失败。

follow：是一个布尔(boolean)值，指定了根据该规则从response提取的链接是否需要跟进。 如果callback为None，follow 默认设置为True ，否则默认为False。

process_links：指定该spider中哪个的函数将会被调用，从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤。

process_request：指定该spider中哪个的函数将会被调用， 该规则提取到每个request时都会调用该函数。 (用来过滤request)

有了rules给爬虫制定规范，我们就可以放心的把搜集数据的任务交给爬虫们了。

以上是“python分布式爬虫中的rules有什么用”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！