爬取大学排名

程序的结构设计：

  -

一、从网络上获取大学排名网页内容

二、提取网页内容中信息到合适的数据结构

希望提取的结果是列表的形式，所以选择二维列表

三、利用数据结构展示并输出结果

 

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()  #用来产生异常信息
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "" 

def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:   #每个tr是一所大学的信息，
        if isinstance(tr,bs4.element.Tag):#子节点tr有可能是字符串所以要过滤掉字符串，只要tr标签
            tds = tr('td')#将td标签的内容存入tds
            ulist.append([tds[0].string,tds[1].string,tds[2].string])#将td标签里的内容存入列表，分别是大学排名、名称
    pass

def printUnivList(ulist,num):
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))


def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.com/ARWU2019.html'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)  #20 universities
main()

 

这时候报错，显示NoneType类型没有处理，所以在printUnivList函数里，输出之前需要加上一个判断为空的If