requests，BS4 爬取2016-2019中国大学排名并存储为csv格式文件
最好大学网url：
http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html
http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html
http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html
http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html
我们可以看到每个年份的url的规律
首先我们需要导入bs4模块和requests模块
import requests
from bs4 import BeautifulSoup
import bs4
然后我们使用requests模块得到页面内容
def get_content(url,):
try:
user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36"
response = requests.get(url, headers={'User-Agent': user_agent})
response.raise_for_status() # 如果返回的状态码不是200， 则抛出异常;
response.encoding = response.apparent_encoding # 判断网页的编码格式， 便于respons.text知道如何解码;
except Exception as e:
print("爬取错误")
else:
print(response.url)
print("爬取成功!")
return response.content #response.content是bytes数据类型的数据
然后使用bs4模块解析页面内容，获取需要的信息
def getUnivList(html):
"""解析页面内容， 需要获取: 学校排名， 学校名称， 省份， 总分"""
soup = BeautifulSoup(html, 'lxml')
# 该页面只有一个表格， 也只有一个tbody标签;
# 获取tbosy里面的所有子标签, 返回的是生成器： soup.find('tbody').children
# 获取tbosy里面的所有子标签, 返回的是列表： soup.find('tbody').contents
uList = [] # uList用来存储我们获得的所有信息，方便我们存储
for tr in soup.find('tbody').children:
# 有可能没有内容， 获取的tr标签不存在, 判断是否为标签对象?
if isinstance(tr, bs4.element.Tag):
# print(tr.td)
# 返回tr里面的所有td标签;
tds = tr('td')
# print(tds)
# 将每个学校信息以元组的方式存储到列表变量uList中;
uList.append((tds[0].string, tds[1].string, tds[2].string, tds[3].string))
return uList
保存获取到的信息（csv格式)
def saveUnivData(uList, year):
import csv
with open('doc/ranking-%s.csv' %(year), 'w') as f:
writer = csv.writer(f)
# 将列表的每条数据依次写入csv文件， 并以逗号分隔
writer.writerows(uList)
print("写入完成....")
主函数
if __name__ == '__main__':
start_year = int(input("开始爬取的年份:"))
end_year = int(input("结束爬取的年份:"))
for year in range(start_year, end_year+1):
url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming%s.html" %(year)
content = get_content(url)
uList = getUnivList(content)
# printUnivList(uList)
saveUnivData(uList, year)
print("%s年信息爬取成功......" %(year))
运行结果：
