经典爬虫:爬取高校排名
前言
本文介绍北京理工大学崇天老师的一篇爬虫,爬取的目标站点是"最好大学网".附上课程URL=‘http://www.icourse163.org/course/BIT-1001870001’.
HTML下载器
HTML下载器注意到get函数的两个方法,raise_for_status()和apparent_encoding,
raise_for_status()可以在我们发送了一个错误请求(一个 4XX 客户端错误，或者 5XX 服务器错误响应)的时候抛出异常,返回错误信息,如下图:
而apparent_encoding使用可以让你选择网站给你备用的编码方式,如本例子中的使用场景:
其中的’ISO’为国际码,不能为人类识别,感兴趣的同学可以拿本例试试.最后附上下载器:
def getHTML(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
HTML解析器
解析器的代码非常健壮,各个语法使用非常精准.
def parseHTML(html, ulist):
soup = BeautifulSoup(html, 'html.parser')
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
ulist.append([tr('td')[0].string, tr('td')[1].string, tr('td')[3].string])
排行格式化输出器
这里主要要解决中西文的格式化输出问题,用chr(12288)可以让输出的字符规整对其,这个方法非常行之有效.
def printUlist(ulist, num):
tplp = "{0:^10}\t{1:{3}^10}\t{2:^10}"
print(tplp.format("排名", "学校", "评分", chr(12288)))#采用中文字符的空格填充chr(12288)
for i in range(num):
u = ulist[i]
print(tplp.format(u[0], u[1], u[2], chr(12288)))
总结
麻雀虽小,五脏俱全.这个代码的许多技巧都非常重要,可以成为我们以后解决问题的利器.最后附上全部代码:
import bs4
import requests
from bs4 import BeautifulSoup
def getHTML(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parseHTML(html, ulist):
soup = BeautifulSoup(html, 'html.parser')
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
ulist.append([tr('td')[0].string, tr('td')[1].string, tr('td')[3].string])
def printUlist(ulist, num):
tplp = "{0:^10}\t{1:{3}^10}\t{2:^10}"
print(tplp.format("排名", "学校", "评分", chr(12288)))#采用中文字符的空格填充chr(12288)
for i in range(num):
u = ulist[i]
print(tplp.format(u[0], u[1], u[2], chr(12288)))
def main():
ulist = []
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
html = getHTML(url)
parseHTML(html, ulist)
printUlist(ulist, 20)
main()