Python作业：BeatifulSoup和XPath比较（以糗百爬虫为例）

之前的作业已经实现了BeatifulSoup爬取糗事百科，这次用XPath实现，顺便做一次对比。

XPath表达式

• 常用Xpath表达式

  
  
  

  XPath常用表达式

• Xpath表达式通配符

  
  
  

  Xpath表达式通配符

• XPath表达式实例

  
  
  

  Xpath表达式实例

• XPath的text()与string()

string()

string()能获取当前捕获标签及其子代标签的文本信息。

text()

text()只能获取当前捕获标签的文本信息。

实例

实例html代码显示的内容

一般情况下XPath的获取直接用Chrome的开发者工具得到，选中要爬取的信息，右键 --> copy --> copy xpath，然后再根据情况适当修改。Chrome有一个第三方插件SelectorGadget可以很容易得到XPath表达式

XPath爬取糗事百科参考代码

# 解析网页内容，提取段子信息
def parse_html(html):
    selector = etree.HTML(html)
    # //*[@id="qiushi_tag_119074910"]
    # //*[@id="content-left"]
    jokes = []
    for joke in selector.xpath('//div[@class="article block untagged mb15"]'):
        joke_info = []
        author_name = joke.xpath('div/*/h2/text()')[0]        
        author_sex = joke.xpath('div/div/@class')[0].split()[-1][:-4] if joke.xpath('div/div/@class') else '不知道'        
        joke_content = joke.xpath('a/div[@class="content"]/span/text()')[0]
        vote_count = joke.xpath('div[@class="stats"]/span[@class="stats-vote"]/i/text()')[0]
        comment_count = joke.xpath('div[@class="stats"]/span[@class="stats-comments"]/*/i/text()')[0] if joke.xpath('div[@class="stats"]/span[@class="stats-comments"]/*/i/text()') else '0'
        joke_info.append(author_name)
        joke_info.append(author_sex)
        joke_info.append(joke_content)
        joke_info.append(vote_count)
        joke_info.append(comment_count)
        jokes.append(joke)
    return jokes

Beautiful爬取糗事百科参考代码

# 解析网页,获取需要的信息
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    for i in soup.find_all(name='div', class_='mb15'):
        print({
            'author_name': i.find(name='h2').text,
            # 根据div节点的class属性来判断性别,匿名用户不知道性别
            # 节点信息
21
            'author_sex': i.find(
                # get('class')获取到两个属性,一个是articleGender,另一个是manIcon(womanIcon)
                # get('class')[-1]取到manIcon(womanIcon)字符串后用切片取得man(woman)
                # get('class')[-1][:-4]表示取字符串第一个字符到倒数第5个字符,字符串最后一个字符串索引表示为-1
                name='div', class_='articleGender').get('class')[-1][:-4] if i.find(
                    name='div', class_='articleGender') is not None else '不知道',
            # 匿名用户不知道年龄
            'author_age': i.find(
                name='div', class_='articleGender').text if i.find(
                    name='div', class_='articleGender') is not None else '0',
            'joke_content': i.find(name='div', class_='content').text.strip(),
            'laugher_count': i.find(name='div', class_='stats').text.split()[0],
            'comment_count': i.find(name='div', class_='stats').text.split()[-2],
            })   

关于class，XPath与BeatifulSoup的不同点

• XPath获取class属性或根据class属性查询，参考代码如下

articles = selector.xpath('//div[@class="article block untagged mb15"]')

多个属性的class直接用空格隔开，非.号。

• 而使用BeatifulSoup根据class属性查询，需改为class_（class是Python关键字），参考代码如下：

soup.find_all(name='div', class_='mb15')

使用BeatifulSoup的xpath()方法需要用extract()、extract_first()才能提取到信息。