Python爬虫之scrapy跨页面爬取信息

昨天凌晨2点醒了看了下向右奔跑的文章，准备来个scrapy跨页面的数据爬取，以七日热门数据为例。

1 items.py代码

from scrapy.item import Item,Field

class SevendayItem(Item):
    article_url = Field()#文章链接在首页爬取
    author = Field()
    article = Field()
    date = Field()
    word = Field()
    view = Field()
    comment = Field()
    like = Field()
    gain = Field()

可以看出，我要爬取的数据不在一个页面，这时候就需要跨页面爬取了。