比较全面的百度百科爬虫

课题需要，写了一个百度百科的爬虫，暂时不能全面获取页面的内容，但是相比网上的大部分爬虫已经比较全面了，以“尼米兹级航空母舰”为例，可以获取的内容包含以下几个部分：


用红色方框框出来的部分，包括：词条名称、描述、基本信息、第二级标题、正文描述。
本人的爬虫使用beautifulsoup4解析网页，一共分为三步

1. 下载页面，伪造header，通过Py自带的request工具打开网页，设置10秒超时；
2. 搜索关键词，关键词一般是中文，放到url中需要用Py自带的quote工具编码，默认第一条结果就是目标词条，根据标签获取到词条的链接。
3. 获取词条内容，根据html标签逐一读取内容，将需要的信息存储到list中，奇数行是属性名，偶数行是属性值，最终存储到本地的txt文件中保存，存储到本体的代码没有放出来。第二张图的大段文本是一个难点，文本的上一级标题可能是h2也可能是h3，暂时没有想到好的方法同时保留两种标题，目前的方法去掉了h3的标题。有兴趣的朋友可以试试有没有好的方法，

#coding=utf8
import re
import string
import urllib.request
from urllib.parse import quote
from bs4 import BeautifulSoup

#下载网页内容
def download(url):
    if url is None:
        return None
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
        'Accept': 'text / html, application / xhtml + xml, application / xml;q = 0.9,image/webp, * / *;q = 0.8'}
    request = urllib.request.Request(url, headers=headers)
    try:
        response = urllib.request.urlopen(request, timeout=10)
    except:
        print('返回 ' + url + ' 失败')
    else:
        print('返回 ' + url + ' 成功')
        return response.read().decode()

#根据关键词定位到词条的链接
def search(keyword):
    url = 'https://baike.baidu.com/search?word=' + "尼米兹级航空母舰" + '&pn=0&rn=0&enc=utf8'
    #将汉字转为url可识别的编码
    url = quote(url, safe=string.printable)
    soup = BeautifulSoup(download(url),'lxml')
    #返回第一个结果
    first = soup.find('a',class_='result-title')
    return first.get('href')

#根据链接获取页面内容
def spider(url):
    htmlContent = download(url)
    if htmlContent is None:
        return
    soup = BeautifulSoup(htmlContent, 'lxml')
    result = []
    # 去除注释
    regex = re.compile('\[.{0,7}\]')
    # url
    result.append('url:')
    result.append(url)
    #名称
    title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
    result.append('名称:')
    item_name = title_node.get_text().strip()
    result.append(item_name)
    #描述
    summary_node = soup.find('div', class_='lemma-summary')
    result.append('描述：')
    text = regex.sub('',summary_node.get_text().strip()).replace('\n','').strip()
    result.append(text)
    #基本信息
    basic_name = soup.findAll('dt',class_='basicInfo-item name')
    basic_value = soup.findAll('dd',class_='basicInfo-item value')
    for i in range(len(basic_name)):
        name = str(basic_name[i].get_text()).replace('\xa0','').strip()+'：'
        value = str(basic_value[i].get_text()).replace('\xa0','').strip()
        #去掉[1][12-13]这样的注释
        value = regex.sub('',value).strip()
        result.append(name)
        result.append(value)

    #去除图片中的文字
    tags = soup.findAll('div',class_='lemma-picture text-pic layout-right')
    for tag in tags:
        tag.clear()
    #去掉前面的描述，防止对解析后面的文字造成干扰
    summary_node.clear()
    #大段的描述
    paras = soup.findAll('div', class_='para')
    #遍历para标签，寻找上一个h2标签作为属性名，h2之间的文字作为属性值
    temp_h2 = paras[0].find_previous('h2').get_text().replace(item_name,'')
    temp_para = ''
    result.append(temp_h2+':')
    for i in range(len(paras)):
        text = paras[i].get_text()
        text = regex.sub('',text).strip().replace('\n','')
        h2 = paras[i].find_previous('h2').get_text().replace(item_name,'')
        if h2 == temp_h2:
            temp_para += text
        else:
            result.append(temp_para)
            result.append(h2+':')
            temp_para = text
            temp_h2 = h2
        if i == len(paras) - 1:
            result.append(temp_para)

    return result

运行爬虫，在本地的结果如下图。

爬虫本身还有很多不足，缺失了词条的很多信息，后面还会进一步完善。