Python爬虫学习9-非登录爬取网站

以http://blog.jobbole.com/all-posts/页面为例

1、提取列表页

获取一个列表页

首页获得页面文章列表，使用css选择器进行：
article_list = response.css('#archive .floated-thumb .post-thumb a::attr(href)').extract()

Paste_Image.png

在文件中引入Request库
from scrapy.http import Request使用Request进行对上节函数的调用

    def parse(self, response):
        """
        1、获取文章列表页url并交给scrapy进行解析
        2、获取下一个文章列表页
        """
        article_list = response.css('#archive .floated-thumb .post-thumb a::attr(href)').extract()
        for article in article_list:
            yield Request(url=article, callback=self.parse_detail)

最后一句为对每个url调用parse_detail进行解析。这里的article的网址为带完整域名的格式，如果不是完整域名，则需要对域名进行拼接成完成域名进行解析。
首先要引入from urllib import parse，通过parse自带的parse.urljoin()进行拼接，代码为：yield Request(url=parse.urljoin(response.url, article), callback=self.parse_detail)

获取下一个列表 页

每个列表页都有“下一页”链接，通过extract_first("")来得到下一页链接，如果为空则表示完成。

        next_list = response.css('.next.page-numbers::attr(href)').extract_first("")
        if next_list:
            yield Request(url=parse.urljoin(response.url, next_list), callback=self.parse)

2、对具体内容页面提取

解析函数如下：

    def parse_detail(self, response):
        title = response.css('div.entry-header h1::text').extract_first()
        create_date = response.css('p.entry-meta-hide-on-mobile::text').extract()[0].replace('·','').strip()
        fav_nums = response.css("span.bookmark-btn::text").extract()[0]
        match_re = re.match(".*?(\d+).*", fav_nums)
        if match_re:
            fav_nums = match_re.group(1)
        comment_nums = response.css("a[href='#article-comment'] span::text").extract()[0]
        match_re = re.match(".*?(\d+).*", comment_nums)
        if match_re:
            comment_nums = match_re.group(1)
        content = response.css(".entry").extract()[0]
        tag_list = response.css('p.entry-meta-hide-on-mobile a::text').extract()
        tag_list = [e for e in tag_list if not e.strip().endswith("评论")]
        tags = ",".join(tag_list)
        print(title, create_date, fav_nums, comment_nums, tags)

通过以上代码，即可将相应内容提取出来了。

Paste_Image.png