python爬虫获取国内大学排名

@TOC

整体思路

首先需要找到一个可以看排名的网站，同时他允许我们爬取信息。https://www.shanghairanking.cn/rankings/bcur/2020
然后获取到网站信息，对信息提取处理后呈现出来。
获取网站信息需要用到requests库，处理信息用到bs4库。

获取网站信息

requests库作为python的第三方库，用以从网页上获取信息。使用前需要先下载，轮到pip出场了！

pip install requests

requests库提供了get方法像服务器请求资源。get方法第一个参数url传入我们想要获取信息的网址，params为链接中额外的参数。第三个参数为一些控制访问的参数。

requests.get(url, params=None, **kwargs)

例如，如果您想将key1=value1和传递 key2=value2给httpbin.org/get，则可以使用以下代码：

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('https://httpbin.org/get', params=payload)
>>>> print(r.url)
https://httpbin.org/get?key2=value2&key1=value1

这里我们把网址直接传进去就行。

import　requests
url='https://www.shanghairanking.cn/rankings/bcur/2020'
r=requests.get(url,timeout=30)      #设置超时时间30s
r.raise_for_status()                #返回响应码不是200就报异常
r.encoding=r.apparent_encoding      #设置响应文本编码为实际编码
html=r.text                         #将返回的信息放在变量里

处理获取到的信息

这里需要用到Beautiful Soup库，也叫beautifulsoup4 或bs4，使用pip下载bs4库。
bs4库提供了html解析器，通过对html标签树的遍历，我们可以得到我们想要的某个标签下的信息。

标签树

html是以<>…构成所属关系，形成了标签的树形结构。标签下套着标签，根据标签的所属关系，可以画出一个树形的结构。在对树形结构遍历时，分为自上而下，自下而上，平行遍历。我们可以通过bs4库的属性获取到某一个标签的父类，子类或者兄弟节点来定位我们需要的信息。

分析具体网址

查看学校排名网址的源代码，找到我们需要的信息的位置。我们要找的就是学校排名，名称，还有总分。通过观察可以看到这几个信息都在tr标签下，每一个tr就是一行信息。那要找到tr的老板，找到了tbody。tbody只有一个，那找到他下面所有的tr，就找到了我们要的排名信息。

网页源代码部分截图

开动吧！

import bs4
ulist=[]
soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:      #find所有tbody下面节点
        if isinstance(tr, bs4.element.Tag):     #如果获取到的tr是标签才继续
            tds=tr('td')                        #把td标签下信息放到列表tds里
            ulist.append([tds[0].string,tds[1].string,tds[4].string])       #将我们想打印的信息放在列表ulist里

输出爬取的信息

先输出一个表头，再依次输出前十名的排序。

print("{:^10}\t{:^10}\t{:^10}".format("排名","学校","总分"))
    for i in range(10):
        u=ulist[i]
        print("{:^10}\t{:^10}\t{:^10}".format(u[0],u[1],u[2]))

成功了吗？没有

输出以后发现只有序号和总分，没有学校名称，输出u查看下获取到的信息具体是啥。

在这里插入图片描述

可以看到学校名称获取到的是空，返回查看源代码，发现在学校名称的td下面还有a标签，然后才是名称。那要回去到名称就需要找到a标签，然后获取a标签下的字符串就行了。

        tds=tr('td')
        a=tr.find('a')
        ulist.append([tds[0].string,a.string,tds[4].string])

重新出发

这次获取到了名称，但是格式不对了。不管怎么调整宽度，这三个字符就是不在一行。那只能看看他的真面目了！
[图片上传失败...(image-fa3d06-1639534928239)]
输出后发现每个获取到的数据都有空格和换行，那当然不在一行了（摊手）

在这里插入图片描述

情况就是这么个情况，只能在获取时把空格换行这些都去掉。

ulist.append([tds[0].string.strip(' \n'),a.string,tds[4].string.strip('\n ')])

编辑输出格式，添加中文占位符，输出前10排名的大学

在这里插入图片描述