Python Scraping学习记录

待更新

安装BeautifulSoup4

Linux

$sudo apt-get install python-bs4

macOS

$sudo easy_install pip
$pip3 install beautifulsoup4

导入

from bs4 import BeautifulSoup

尝试运行

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page1.html")
bsObj = BeautifulSoup(html.read())
print(bsObj.body.h1)

其中的bsObj可以通过标签来指定获取HTML代码中的一段。

简单异常处理

爬虫运行中可能会遇到各种异常，需要相应做好异常处理。

HTTPError

网页在服务器上不存在时触发，触发时，urlopen函数会抛出HTTPError异常。

try:
    html = urlopen("http://www.pythonscraping.com/pages/page1.html")
except HTTPError as e:
    print(e)
else:
    #程序继续

AttributeError

当调用一个标签时，增加一个检查条件保证标签确实存在是不错的做法。如果调用的标签不存在，BeautifulSoup会返回None对象。如果程序调用了None的子标签，就会发生AttributeError。

try:
    badContent = bsObj.body.h1
except AttributeError as e:
    print("Tag was not found.")
else:
    if badContent == None:
        print("Tag was not found.")
    else:
        printf(badContent)

整理

from urllib.request import urlopen
from urllib.error import HTTPError, URLError
from bs4 import BeautifulSoup

def getTitle(url):
    try:
        html = urlopen(url)
    except (HTTPError, URLError) as e:
        return None
    try:
        bsObj = BeautifulSoup(html.read())
        title = bsObj.body.h1
    except AttributeError as e:
        return None
    return title

title = getTitle(input()) #输入网址
if title = None:
    print("Title could not be found")
else:
    print(title)

从网页中摘取需要的数据

不应当简单粗暴地针对网页来取用数据。

使用CSS来获取信息

可以抓出整个页面，然后创建一个BeautifulSoup对象。
通过BeautifulSoup对象，用findAll方法抽取信息。
示例网页

from urllib.request import urlopen
from urllib.error import HTTPError, URLError
from bs4 import BeautifulSoup

html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")
bsObj = BeautifulSoup(html)
nameList = bsObj.findAll("span", {"class":"green"})
for name in nameList:
    print(name.get_text())

find``findAll方法

findAll(tag, attributes, recursive, text, limit, keywords)
find(tag, attributes, recursive, text, keywords)
很多时候我们只会用到前两个参数：tag和attributes。
tag表示需要取得的标签名称，也可以传入多个标签名组成的列表。
attributes是用一个Python字典封装一个标签的若干属性。
recursive是递归参数，如果设置为True，函数就会查找子标签的子标签，一直向下查找。
text是文本参数，用标签的文本内容去匹配。
limit是范围限制参数。
keyword是关键词参数，可以选择有指定属性的标签。这个参数在一些场景中很有用，但是这个功能是完全多余的。
例如这种情况，两行代码完全相同

bsObj.findAll(id = "text")
bsObj.findAll("", {"id": "text"})

而且keyword偶尔也会出现问题，尤其是用class属性查找标签的时候。

导航树

子标签和后代标签

子标签表示下一级，后代标签表示下面左右级别的标签。
一般情况下，BeautifulSoup函数总是处理当前标签的后代标签。例如，bsObj.body.h1选择了body标签后代里的第一个h1标签，不会去找body外面的标签，bsObj.div.findAll(“img”)会找出文档中第一个div标签，然后回去后代里所有的img标签列表。
如果只想找子标签，可以用.children。

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html)
for child in bsObj.find("table", {"id":"giftList"}).children:
    print(child)

兄弟标签

BeautifulSoup中的next_siblings()函数可以让收集表格数成为简单的事情，尤其是处理带标题行的表格：

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html)

for sibling in bsObj.find("table",{"id":"giftList"}).tr.next_siblings:
    print(sibling)

父标签

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html)
print(bsObj.find("img",
                 {"src":"../img/gifts/img1.jpg"}
                 ).parent.previous_sibling.get_text())

这段代码找到当前图片的父标签的前一个兄弟标签，获取价格。

获取属性

myTag.attrs可以获取所有属性。
myTag.attrs[“src”]可以获取src属性。

爬取Wiki网址

词条关联

用一个函数爬取指定Wiki网页中内联的其他Wiki词条。

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

def getlinks(articleUrl,):
    html = urlopen("https://en.wikipedia.org"+articleUrl)
    bsObj = BeautifulSoup(html)
    return bsObj.find("div", {"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?![:%]).)*S"))

全面爬取去重

爬取网址中的所有链接，用一个集合来去重。

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

urls = set()
def getlinks(articleUrl):
    global urls
    html = urlopen("https://en.wikipedia.org"+articleUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in urls:
                newUrl = link.attrs['href']
                print(newUrl)
                urls.add(newUrl)
                getlinks(newUrl)

采集页面信息

获取页面里面的标题和一些信息。

urls = set()
def getlinks(articleUrl):
    global urls
    html = urlopen("https://en.wikipedia.org"+articleUrl)
    bsObj = BeautifulSoup(html)
    try:
        print(bsObj.h1.get_text())
        print(bsObj.find(id="mw-content-text").findAll("p")[0])
        print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href'])
    except AttributeError:
        print("Some Informations are lost.")

    for link in bsObj.findAll("a",href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in urls:
                newUrl = link.attrs['href']
                print("----------------\n"+newUrl)
                urls.add(newUrl)
                getlinks(newUrl)

跳跃爬虫

这个爬虫可以顺着链接从一个链接跳到另一个，跟着外链跳转。但不同网站的布局截然不同。这就意味着寻找信息和查找方式上都必须极具灵活性。
但是因为网站环境复杂，所以需要包含完整的检查和异常处理。
例如：如果爬虫遇到网站中一个外链都没有，这是程序就会一直在这个网站中运行跳不出去，知道递归爆栈位置。

示例

from urllib.request import urlopen
from urllib.parse import urlparse
from bs4 import BeautifulSoup
import re
import datetime
import random

urls = set()
random.seed(datetime.datetime.now())

#获取页面所有内链
def getInternalLinks(bsObj, includeUrl):
    includeUrl = urlparse(includeUrl).scheme+"://"+urlparse(includeUrl).netloc
    internalLinks = []

    for link in bsObj.findAll("a",href=re.compile("^(/|.*"+includeUrl+")")):
        if link.attrs['href'] is not None:
            if link.attrs['href'] not in internalLinks:
                if (link.attrs['href'].startswith('/')):
                    internalLinks.append(includeUrl+link.attrs['href'])
                else:
                    internalLinks.append(link.attrs['herf'])

    return internalLinks

#获取页面所有外链
def getExternalLinks(bsObj, excludeUrl):
    externalLinks = []
    #找出所有以'http'或'www'开头并且不包含当前URL的链接
    for link in bsObj.findAll("a", href=re.compile("^(http|www)((?!"+excludeUrl+").)*$")):
        if link.attrs['href'] is not None:
            if link.attrs['href'] not in externalLinks:
                externalLinks.append(link.attrs['href'])

    return externalLinks

def getRandomExternalLink(startPage):
    html = urlopen(startPage)
    bsObj = BeautifulSoup(html)
    externalLinks = getExternalLinks(bsObj, urlparse(startPage).netloc)
    if len(externalLinks) == 0:
        print("No external links, looking around the site for one")
        domain = urlparse(startPage).scheme+"://"+urlparse(startPage).netloc
        internalLinks = getInternalLinks(bsObj, domain)
        return getRandomExternalLink(
            internalLinks[random.randint(
                    0, len(internalLinks)-1)])
    else:
        return externalLinks[random.randint(0, len(externalLinks)-1)]

def followExternalOnly(startingSite):
    externalLink = getRandomExternalLink(startingSite)
    print("Random external link is: "+externalLink)
    followExternalOnly(externalLink)
    
followExternalOnly(input())

改进

把任务分解成像“获取页面上所有外链”这样的小函数是不错的做法，以后可以方便地修改代码以满足另一个采集任务的需求。例如，如果我们的目标是采集一个网站所有的外链，并且记录每一个外链，我们可以增加下面的函数：

#收集网站上所有发现的外链
allExtLinks = set()
allIntLinks = set()
def getAllExternalLinks(siteUrl):
    html = urlopen(siteUrl)
    bsObj = BeautifulSoup(html)
    internalLinks = getInternalLinks(bsObj, splitAddress(siteUrl)[0])
    externalLinks = getExternalLinks(bsObj, splitAddress(siteUrl)[0])
    for link in externalLinks:
        if link not in allExtLinks:
            allExtLinks.add(link)
            print(link)
    for link in internalLinks:
        if link not in allIntLinks:
            print("This Link's URL is: "+link)
            allIntLinks.add(link)
            getAllExternalLinks(link)
getInternalLinks(input())

Tips：最好在写爬虫之前写一下提纲，以免自己看不懂自己写的爬虫

用Scrapy采集

写网络爬虫意味着你需要经常不断地重复一些简单任务：找出页面上的所有链接、区分内链与外链、跳转到新的页面。这些基本模式一定要掌握，有几个工具可以帮助自动处理这些细节。
Scrapy就是一个能够大幅度降低网页链接查找和识别工作复杂度的Python库，它还可以让你轻松地采集一个或多个域名的信息。
目前Scrapy已经支持Python3了。
macOS只要在控制台键入pip3 install Scrapy即可安装。
Win平台参考blog Scrapy Python3 安装。

创建Scrapy项目

$ scrapy startproject wikiSpider //新建项目wikiSpider
创建之后，会在当前目录生成一个wikiSpider文件夹，在wikiSpider/wikiSpider/spiders/中新建一个articleSpider.py文件。
在items.py中定义一个Article类。

# wikiSpider/items.py
from scrapy import Item, Field
class Article(Item):
    title = Field()

articleSpider.py中的类名和爬虫包的名称是不同的，这个类只是目录中的一员，仅仅用于维基词条页面采集，对于一些信息类型较多的大网站，可以为每种不同的信息撤职独立的Scrapy条目。每个条目有不同的子段，但在一个Scrapy项目中运行。

# wikiSpider/spiders/articleSpider.py
from scrapy.selector import Selector
from scrapy import Spider
from wikiSpider.items import Article
class ArticleSpider(Spider):
    name = "article"
    allowed_domains = ["en.wikipedia.org"]
    start_urls = ["http://enwikipedia.org/wiki/Main_Page",
                  "http://enwikipedia.org/wiki/Python_%28programming_language%29"]

    def parse(self, response):
        item = Article()
        title = response.xpath('//h1/text()')[0].extract()
        item['title'] = title
        return item

运行Scrapy项目

$ scrapy crawl article
这条命令会用条目名称acrticle来调用爬虫，
这个爬虫会先进入start_urls里面的两个页面，收集信息，然后停止。虽然这个爬虫很简单，但是如果你有很多URL需要采集，那Scrapy这种用法会很适合。为了让爬虫更完善，需要定义一些规则来让Scrapy可以在每个页面查找URL链接。

阅读/python