【实例】爬取2018中国最好大学排名

前言

在准备对一个网站进行信息爬取时，我们需要注意两个问题：

1. 网站是否允许爬取？若可以则能够爬取什么内容？
2. 网站类型？静态or动态网页？

爬取可行性

理论上，每个网站都会有网络爬虫排除标准文件robots.txt，这一文件内说明了网站是否可以进行爬取以及可以爬取什么内容。

一般网站的robots.txt放置在根目录下，所以我们可以直接在浏览器地址栏输入网站地址加上robots.txt进行查看。
本次爬取网页地址为爬取数据来源：http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html，则网络爬虫标准文件查看地址即http://www.zuihaodaxue.com/robots.txt，结果显示404未找到文件，说明此网站是可以爬取的。

网页类型

网页分为静态网页和动态网页，两者是相对的网页编程技术。静态网页随着html代码的生成，页面的内容和显示效果基本上就不会发生变化了，除非修改页面代码。但动态网页则不然，页面代码虽然没有变，但是显示的内容却可以随着时间、环境或者数据库操作的结果而发生变化。

简单识别方法：右键-【查看网页源代码】。
若源代码中包括网页中所有文本信息，则说明是静态网页；否则为动态网页。
动态网页。

本次爬取的网页为静态网页。

爬虫实现

功能描述

1. 输入：大学排名url链接

2. 输出：大学排名信息

   由于本次爬取网页为静态网页，仅对输入的url进行爬取，不扩展爬取，所以称为定向爬虫。

技术路线：
requests-bs4库

程序结构设计

步骤一：利用requests获取网页内容
步骤二：利用bs4提取网页内容信息到合适的数据结构
步骤三：在屏幕上打印出来

为此，我们针对上述三个步骤，建立三个函数，将其分为三个模块。这样能够使代码更加清晰易读，维护方便。
函数一：getHTMLText（）- 获取网页内容
函数二：fillUnivList（）-获取网页大学信息到合适的数据结构
函数三：printUnivList（）-利用数据结构打印到屏幕上

下面是代码结构框架：

import requests
from bs4 import BeautifulSoup

def getHTMLText(url):    #获取网页内容
    return""

def fillUnivList(ulist,html):   #提取信息,ulist列表用于储存学校信息，html为getHTMLText返回值
    pass

def printUnivList(ulist,num):    #打印，num为要打印多少学校
    print()

def main():
    url="http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html"
    html=getHTMLText(url)
    ulist=[]
    fillUnivList(ulist,html)
    printUnivList(ulist,30) # 打印30所学校排名

main()

框架搭建完之后，就可以填充具体实现代码了。

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):    #获取网页内容
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "获取内容失败。"

def fillUnivList(ulist,html):   #提取信息,ulist列表用于储存学校信息，html为getHTMLText返回值
    soup=BeautifulSoup(html,"html.parser")  #将getHTMLText获取的内容放到一锅汤里
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[3].string])

def printUnivList(ulist,num):    #打印，num为要打印多少学校
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))


def main():
    url="http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html"
    html=getHTMLText(url)
    ulist=[]
    fillUnivList(ulist,html)
    printUnivList(ulist,30) # 打印30所学校排名

main()

运行结果：

我们发现输出结果的排版比较乱，不是对其的。
这是因为当中文字符宽度不够时，默认采用英文字符填充，但是中英文文字符占用宽度不同。所以我们采用中文字符空格来填充，chr（12288）。我们只需修改一下printUnivList函数即可。
修改如下：

def printUnivList(ulist, num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

这样就可以正常显示了。

此文是对中国大学MOOC《python网络爬虫与信息提取》实例内容的整理。