PythonShowMeTheCode(0008-9): 抓取网页

1. 题目

第 0008 题：一个HTML文件，找出里面的正文。
第 0009 题：一个HTML文件，找出里面的链接。

2. 介绍

Python的一大魅力就在于爬虫方向的应用。

这两题都是对于Python爬取网页， 解析网页的简单应用。 本篇就从一个实际的例子出发：爬取王垠博客里的所有文章， 介绍一下requests和Beautifulsoup库的应用。

pip install requests
pip install beautifulsoup4

【注意】beautifulsoup3已经停止开发， Python35版本使用beautifulsoup4时，引用格式为from bs4 import BeautifulSoup。

3. 抓取所需的链接

首先，分析网站的源码。包含所需链接的源码形如：

    两个计划的变动


    IT业给世界带来的危机

标签中，href属性的值为所需的链接， 文字信息为文章的标题。下面就可以先通过requests库获取网页， 然后通过BeautifulSoup库，选择出所需的信息。

import requests
from bs4 import BeautifulSoup


headers = {
    'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
    'Host': "www.yinwang.org",
    'Pragma': "no-cache"
}
requests = requests.Session()


def get_doc_urls():
    result = {}
    req = requests.get("http://www.yinwang.org/", headers=headers, verify=False)
    soup = BeautifulSoup(req.content, "lxml")
    tmp = soup.find_all("li", class_="list-group-item title")
    for block in tmp:
        title = block.a.text
        url = block.a.get("href")
        result[title] = url
    return result

这样， 我们就得到了一个标题和连接的映射dict， 下面就可以挨个下载这些网页了。

【注意】很多时候直接调用requests.get(url)无法得到想要的结果，需要写一个headers来伪装成浏览器的调用。

def download_html(url_dict):
    if len(url_dict) < 1:
        return

    for name, url in url_dict.items():
        req = requests.get(url, headers=headers, verify=False)
        with open(name + ".html", "wb") as file:
            for chunk in req.iter_content(100): 
               file.write(chunk)

在向本地写入文件时候，最好采用我这样的方法，也是requests官方文档中所建议的。

4. Beautifulsoup库中find()的几种用法

• 抓取标签中的文字

    为了账号安全，请及时绑定邮箱和手机

str = soup.find("div", class_="pr").text

• 抓取href属性的链接

最近学习

str = soup.find("a", class_="sort-item active").get("href")

• 子标签不好标识的情况下，抓取父标签在抓子标签

    tyroneli

str = soup.find("h3", class_="user-name clearfix").find(span)