爬虫：大学排名爬取

大学排名爬取

技术路线

使用技术

定向爬取最好大学排名

使用requests + bs4

输出大学排名

编辑代码思路

代码方法

思路

标题

获得网页文本方法

获得需要的二维数据

打印合适的数据到

从网络上获取大学排名的网页内容

提取网页内容中信息到合适的数据结构

利用数据结构展示并输出结构

程序的结构设计

发现和解决问题

解决的方法2

解决的方法1

问题

可以提取内容

tds1.a.string

tds0.contents0

replace old, new,可选最大次数

使用tds0.string获取结果--None

提取的内容中出现大量的换行和空格

参考博客

关于None问题的博客文章
https://blog.csdn.net/qq_43544492/article/details/84869155?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control

代码实现

# 定向爬虫，爬取中国最好大学排名
import requests
# 引用bs4库中的BeautifulSoup类
from bs4 import BeautifulSoup
# 引用bs4库
import bs4

# 定义获得网页文本的函数
# 需要的参数是网页的url
# 返回的是网页信息
def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        # 改变文档为信息体的合适的编码
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""
# 需要网页数据和list表（这个数据结构用于存取目标数据）
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    # 获得数据 （在）
    for tr in soup.find('tbody').children:
        # 这里进行对非标签进行排除
        if isinstance(tr, bs4.element.Tag):
            # 解析tr行中包含数据的td
            tds = tr('td')
            ulist.append([tds[0].contents[0], tds[1].a.string, tds[4].contents[0]])

# 将list数据打印出来
def printUnivList(ulist,num):
    tplr = "{0:^10}\t{1:^10}\t{2:^10}"
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplr.format("排名","学校","分数",chr(12288)))
    for i in range(num):
        u = ulist[i]
        # replace(待替换，替换，最多次数)
        print(tplt.format(u[0].replace(' ','').replace("\n",""), u[1], u[2].replace(' ','').replace("\n",""),chr(12288)))


def main():
    # 预先安置的一个列表对象，用于存储大学名称和排名还有分数的数据
    uinfo = []
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)
# 程序开始的地方
main()