python爬虫 2021中国大学排名定向爬虫

最近的几篇博客来源是之前我下载的一个课件 

在网上搜索了一下是一下这个课程的，可以结合视频博客以及代码去更好地学习

Python网络爬虫与信息提取_北京理工大学_中国大学MOOC(慕课) (icourse163.org)

但是课程内容的案列已经很久了，很多网址已更新或者网络框架已经更新

“中国大学排名定向爬虫”实例介绍
最好大学网：【软科排名】2021年最新软科中国大学排名|中国最好大学排名 (shanghairanking.cn)
功能描述
输入：大学排名URL链接
输出：大学排名信息的屏幕输出（排名，大学名称，总分）
技术路线：requestsbs4
定向爬虫：仅对输入URL进行爬取，不扩展爬取

程序的结构设计
步骤1：从网络上获取大学排名网页内容 getHTMLText()
步骤2：提取网页内容中信息到合适的数据结构 fillUnivList()
步骤3：利用数据结构展示并输出结果 printUnivList()

可参考下列步骤，可以成功爬取到你想要的数据

1、进入 网址 ，可参考的下面的步骤，找到这些信息存储的地方：

2、在浏览器输入网址 ：https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2020

参考博客python爬虫小案例_中国大学排名（2021.04.11）_不祈求 ~ ~-CSDN博客

看到数据是json格式

import requests
from bs4 import BeautifulSoup
import bs4
import json
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'}
url='https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021'
def getHTMLText(url):
    '''从网络上获取大学排名网页内容'''
    try:
        r = requests.get(url, headers=headers,timeout=40) 
        # #如果状态不是200，就会引发HTTPError异常
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def fillUnivList(text, num):
    # response = requests.get(url, timeout=40)
    # text = response.text
    data = json.loads(text)
    content = data['data']['rankings']
    ulist = []
    for i in range(num):
        index = content[i]['rankOverall']
        name = content[i]['univNameCn']
        score = content[i]['score']
        category = content[i]['univCategory']
        ulist.append([index, name, score, category])
    return ulist
def printUnivList(ulist):
    # 打印前 num 名的大学
    #tplt ="{0:^10}\t{1:^10}\t{2:^10}\t{3:^10}"
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}\t{4:^10}"   # {1:{3}^10} 中的 {3} 代表取第三个参数
    print(tplt.format("排名 ", "学校名称", "总分", chr(12288), "类型"))  # chr(12288) 代表中文空格
    for i in range(100):
        u = ulist[i]
        # chr(12288) 代表中文空格
        print(tplt.format(u[0], u[1], u[2], chr(12288), u[3]))
if __name__ == '__main__':
    text=getHTMLText(url)
    ulist=fillUnivList(text, 100)
    printUnivList(ulist)
    

 排名     	　　　学校名称　　　	    总分    	    类型    
    1     	　　　清华大学　　　	  969.2   	    综合    
    2     	　　　北京大学　　　	  855.3   	    综合    
    3     	　　　浙江大学　　　	  768.7   	    综合    
    4     	　　上海交通大学　　	  723.4   	    综合    
    5     	　　　南京大学　　　	  654.8   	    综合    
    6     	　　　复旦大学　　　	  649.7   	    综合    
    7     	　中国科学技术大学　	   577    	    理工    
    8     	　　华中科技大学　　	  574.3   	    综合    
    9     	　　　武汉大学　　　	  567.9   	    综合    
    10    	　　西安交通大学　　	  537.9   	    综合    
    11    	　哈尔滨工业大学　　	  522.6   	    理工    
    12    	　　　中山大学　　　	  519.3   	    综合    
    13    	　　北京师范大学　　	  518.3   	    师范    
    14    	　　　四川大学　　　	  516.6   	    综合    
    15    	　北京航空航天大学　	  513.8   	    理工    
    16    	　　　同济大学　　　	  508.3   	    理工    
    17    	　　　东南大学　　　	  488.1   	    综合    
    18    	　　中国人民大学　　	  487.8   	    综合    
    19    	　　北京理工大学　　	   474    	    理工    
    20    	　　　南开大学　　　	  465.3   	    综合    
    21    	　　　山东大学　　　	   447    	    综合    
    22    	　　　天津大学　　　	  444.3   	    理工    
    23    	　　　中南大学　　　	  442.2   	    综合    
    24    	　　　吉林大学　　　	  435.7   	    综合    
    25    	　　西北工业大学　　	  430.5   	    理工    
    26    	　　　厦门大学　　　	  427.8   	    综合    
    27    	　　华南理工大学　　	  419.8   	    理工    
    28    	　　大连理工大学　　	  418.2   	    理工    
    29    	　　华东师范大学　　	  401.8   	    师范    
    30    	　　中国农业大学　　	  400.4   	    农业    
    31    	　　电子科技大学　　	  398.8   	    理工    
    32    	　　　湖南大学　　　	  393.5   	    综合    
    33    	　　北京科技大学　　	  379.4   	    理工    
    34    	　　　重庆大学　　　	  365.5   	    综合    
    35    	　南京航空航天大学　	  358.6   	    理工    
    36    	　　　东北大学　　　	  356.1   	    理工    
    37    	　　南京理工大学　　	   356    	    理工    
    38    	　西安电子科技大学　	  355.1   	    理工    
    39    	　　　兰州大学　　　	  353.4   	    综合    
    40    	　　北京交通大学　　	  349.9   	    理工    
    41    	　　南方科技大学　　	  345.8   	    综合    
    42    	　　华中农业大学　　	  338.5   	    农业    
    43    	　　　上海大学　　　	   333    	    综合    
    44    	　　　苏州大学　　　	   327    	    综合    
    45    	　　华东理工大学　　	  324.5   	    理工    
    46    	　　华中师范大学　　	   322    	    师范    
    47    	　　南京师范大学　　	  321.3   	    师范    
    48    	中国地质大学（武汉）	  320.2   	    理工    
    49    	　　东北师范大学　　	  319.7   	    师范    
    50    	　哈尔滨工程大学　　	   319    	    理工    
    51    	　　西南交通大学　　	   318    	    理工    
    52    	　　南京农业大学　　	  316.1   	    农业    
    53    	　　　郑州大学　　　	  312.8   	    综合    
    54    	　　北京邮电大学　　	  312.5   	    理工    
    55    	　　武汉理工大学　　	  312.2   	    理工    
    56    	　　中国海洋大学　　	   311    	    综合    
    57    	　　　暨南大学　　　	  307.4   	    综合    
    58    	中国石油大学（北京）	  307.3   	    理工    
    59    	　　北京工业大学　　	   306    	    理工    
    60    	　　　河海大学　　　	  303.4   	    理工    
    61    	　　中国矿业大学　　	  301.6   	    理工    
    62    	　　北京化工大学　　	  296.7   	    理工    
    63    	中国地质大学（北京）	  295.5   	    理工    
    64    	　　　西北大学　　　	   293    	    综合    
    65    	　　　江南大学　　　	  292.9   	    综合    
    66    	　　上海科技大学　　	  288.7   	    综合    
    67    	中国石油大学（华东）	  287.4   	    理工    
    68    	　　　西南大学　　　	  286.5   	    综合    
    69    	中国矿业大学（北京）	  285.5   	    理工    
    70    	　　　深圳大学　　　	  280.4   	    综合    
    71    	　　陕西师范大学　　	  280.1   	    师范    
    72    	　　　江苏大学　　　	  276.9   	    综合    
    73    	　　浙江工业大学　　	  275.6   	    理工    
    74    	　　北京林业大学　　	   275    	    林业    
    75    	　　华南师范大学　　	  274.7   	    师范    
    76    	　西北农林科技大学　	  273.7   	    农业    
    77    	　　　扬州大学　　　	  269.5   	    综合    
    78    	　　　南昌大学　　　	  268.9   	    综合    
    79    	　　　福州大学　　　	  267.7   	    理工    
    80    	　　华北电力大学　　	  263.2   	    理工    
    81    	　　　东华大学　　　	  262.8   	    理工    
    82    	　　合肥工业大学　　	  262.7   	    理工    
    83    	　　　云南大学　　　	  262.1   	    综合    
    84    	　　　宁波大学　　　	  261.4   	    综合    
    85    	　　首都师范大学　　	  261.1   	    师范    
    86    	　　湖南师范大学　　	  259.6   	    师范    
    87    	　　南京工业大学　　	  259.5   	    理工    
    88    	　　　长安大学　　　	  250.2   	    理工    
    89    	　　福建师范大学　　	  248.2   	    师范    
    90    	　　　安徽大学　　　	  243.1   	    综合    
    91    	　南京信息工程大学　	  240.9   	    理工    
    92    	　　上海理工大学　　	  240.7   	    理工    
    93    	　　华南农业大学　　	  238.3   	    农业    
    94    	　　　广西大学　　　	   237    	    综合    
    95    	　　南京邮电大学　　	  235.7   	    理工    
    95    	　　　燕山大学　　　	  235.7   	    理工    
    97    	　　　河南大学　　　	  234.6   	    综合    
    98    	　　　湖北大学　　　	  232.9   	    综合    
    99    	　　　广州大学　　　	  232.7   	    综合    
   100    	　　　青岛大学　　　	  231.4   	    综合