Requests + BeautifulSoup 实现简单爬虫

最近买了本英语单词书要下载音频，数量多下起来麻烦所以打算用爬虫来实现。网页如下：
http://download.dogwood.com.cn/online/stgdlx/index.html

第一步：获取网页信息

利用requests库实现一个获取网页信息的通用函数。

def get_url(url):

获取网页信息，url:网页链接

try:
    html = requests.get(url, headers=headers, timeout=30) # 用requests库向网页发送get请求
    html.raise_for_status() # 访问失败时raise状态码
    html.encoding = html.apparent_encoding # 用requests库判断的编码格式解码
    return html
except:
    print('fail')

get方法中的headers是访问时的http请求头，它是一个字典，用来伪装我们的爬虫，在浏览器开发者工具界面network中的request headers中可以找到当前浏览器的请求头。

headers = {'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}

timeout则是设置的最长响应时间。

第二步：从网页信息里定位音频链接

通过request.get()得到的html对象有一个text属性，打印它就能看到网页的源码。当然也可以直接在浏览器的开发者选项中查看源码。

print(html.text)

接下来就是从在源码中找到音频的链接了，可以看到所有的音频链接都在属性为"info"的div标签中。

然后就到了BeautifulSoup登场的时候了，它是一个用于解析HTML的库。首先将网页源码实例化为一个BeautifulSoup对象。

soup = BeautifulSoup(text, "html.parser") # 实例化网页代码为bs对象

使用find_all方法得到所有class="info"的div标签列表。

div = soup.find_all('div', attrs={'class' : 'info'}) # 找到所有class=info的div标签内容

对列表中的元素找到第一个a标签的herf属性就是需要的链接了

for elem in div:
    link = elem.find('a')['href'] # 找到每个音频链接

第三步，根据链接下载内容

下载还是用requests库实现，调用第一步的get_url()函数，返回的requests对象有个content属性，他就是二进制形式的网页内容，所以下载的实现方法如下：

link = get_url(link)
with open(filepath + str(i) + '.mp3', 'wb') as f:
    f.write(link.content)

完整代码

import requests
from bs4 import BeautifulSoup

link = 'http://download.dogwood.com.cn/online/stgdlx/index.html'
filepath = r'F:/'
headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}

def get_url(url):
# 获取网页信息，url:网页链接
    try:
        html = requests.get(url, headers=headers, timeout=30) # 用requests库向网页发送get请求
        html.raise_for_status() # 访问失败时raise状态码
        html.encoding = html.apparent_encoding # 用requests库判断的编码格式解码
        return html
    except:
        print('fail')

def find_mp3(text):
    soup = BeautifulSoup(text, "html.parser") # 实例化网页代码为bs对象
    div = soup.find_all('div', attrs={'class' : 'info'}) # 找到所有class=info的div标签内容
    for elem in div:
        link = elem.find('a')['href'] # 找到每个音频链接
        link = get_url(link)
        with open(filepath + str(i) + '.mp3', 'wb') as f:
            f.write(link.content)

text = get_url(link).text
find_mp3(text)