Python爬虫学习7-xpath使用

以网页http://blog.jobbole.com/110691/为例提取：

目标

xpath基础知识：

xpath节点关系：

• 父节点 上一层节点
• 子节点
• 兄弟节点 同胞节点
• 先辈节点 父节点，爷爷节点
• 后代节点 儿子，孙子节点

xpath语法

表达式	说明
article	选取所有article元素的所有子节点
/article	选取根元素article
article/a	选取所有属于article的子元素的a元素
//div	选取所有div元素（不管出现在文档里的任何地方）
article//div	选取所有属于article元素的后代的div元素，不管它出现在article之下的任何位置
//@class	选取所有名为class的属性

表达式	说明
/article/div[1]	选取属于article子元素的第一个div元素
/article/div[last()]	选取属于article子元素的最后一个div元素
/article/div[last()-1]	选取属于article子元素的倒数第二个div元素
//div[@lang]	选取所有拥有lang属性的div元素
//div[@lang='eng']	选取所有lang属性值为eng的div元素
/div/*	选取属于div元素的所有子节点
//*	选取所有元素
//div[@*]	选取所有带属性的div 元素
//div/a 丨//div/p	选取所有div元素的a和p元素
//span丨//ul	选取文档中的span和ul元素
article/div/p丨//span	选取所有属于article元素的div元素的p元素以及文档中所有的 span元素

获得相应内容

在上节工程中，把start_urls更换为上面的地址。
为了调试方便，在cmd下输入:
scrapy shell http://blog.jobbole.com/110691/ 进入调试shell。

获得标题

输入
response.xpath('//*[@id="post-110691"]/div[1]/h1/text()').extract()或者
response.xpath('//*[@class="entry-header"]/h1/text()').extract()都可以得到文章标题列表。
第一种方法通过确定id，第二种方法通过标题class的属性得到标题列表，更加通用，然后通过数组的切片即可得到标题。详细查看上面的表格。

获得时间

response.xpath('//p[@class="entry-meta-hide-on-mobile"]/text()').extract()
注意，只能获得p标签下的文字内容，对于子节点内容无法获得。对于获得的数据通过strip() replace()函数进行清洗。

Paste_Image.png

获取点赞

对于含有多个属性的class如：class=" btn-bluet-bigger href-style vote-post-up register-user-only "，若只使用其中的一个属性得到值，可以使用contains。
response.xpath("//span[contains(@class, 'vote-post-up')]/h10/text()").extract()[0]

获得收藏数

fav_nums = response.xpath("//span[contains(@class, 'bookmark-btn')]/text()").extract()[0]
得到的内容为7 收藏，此时需要通过正则表达式进行清洗。

match_re = re.match(".*(\d+).*", fav_nums)
if match_re:
    fav_nums = match_re.group(1)

获得评论数

comment_nums = response.xpath("//a[@href='#article-comment']/text()").extract()[0]
获得相应内容后，使用同样的正则进行数据清洗。

获得正文

content = response.xpath("//div[@class='entry']").extract()[0]
注意此处没有加text()

获得tags

所有的tag都在a标签下，类似获得日期的方式，增加一个a标签路径即可。
tag_list = response.xpath('//p[@class="entry-meta-hide-on-mobile"]/a/text()').extract()
得到的内容为：
['其他', ' 3 评论 ', '创业', '程序员']

Paste_Image.png

此时需要对数据进行清洗去掉 3 评论

tag_list = [e for e in tag_list if not e.strip().endswith("评论")]
tags = ",".join(tag_list)

这样就可以将清洗后的数据放到tags字段中了。

        title = response.xpath('//*[@class="entry-header"]/h1/text()').extract()[0]
        create_date = response.xpath('//p[@class="entry-meta-hide-on-mobile"]/text()').extract()[0].replace('·','').strip()
        fav_nums = response.xpath("//span[contains(@class, 'bookmark-btn')]/text()").extract()[0]
        match_re = re.match(".*?(\d+).*", fav_nums)
        if match_re:
            fav_nums = match_re.group(1)
        comment_nums = response.xpath("//a[@href='#article-comment']/text()").extract()[0]
        content = response.xpath("//div[@class='entry']").extract()[0]
        tag_list = response.xpath('//p[@class="entry-meta-hide-on-mobile"]/a/text()').extract()
        tag_list = [e for e in tag_list if not e.strip().endswith("评论")]
        tags = ",".join(tag_list)