Python爬虫教程:爬取800多所大学学校排名、星级等

前言

国内大学最新排名,北大反超,浙大仅第四,中科大跌至第八

时隔五年,“双一流”大学即将迎来首次大考,这也是继改变高校评断标准之后,第一次即将以官方对外发布,自然是引来了许多人的关注。最近,有许多不同机构发布的国内高校排名,但彼此之间的差异很大,网友之间的争议也很大。

项目目标

爬取高三网大学排名,并保存

目标网址

http://m.gaosan.com/gaokao/265440.html

Python爬虫教程:爬取800多所大学学校排名、星级等_第1张图片

基本环境配置

python 3.6 pycharm

爬虫代码

导入工具
新手学习,Python 教程/工具/方法/解疑+V:itz992
import requests
import parsel
import csv
请求网页数据

url = 'http://m.gaosan.com/gaokao/265440.html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' }
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding


爬取数据
selector = parsel.Selector(response.text)
trs = selector.css('#page tr') for tr in trs:
    dit = {}
    ranking = tr.css('td:nth-child(1)::text').get()
    dit['名次'] = ranking
    school = tr.css('td:nth-child(2)::text').get()
    dit['学校名称'] = school
    score = tr.css('td:nth-child(3)::text').get()
    dit['综合得分'] = score
    star = tr.css('td:nth-child(4)::text').get()
    dit['星级排名'] = star
    level = tr.css('td:nth-child(5)::text').get()
    dit['办学层次'] = level
    csv_writer.writerow(dit)


Python爬虫教程:爬取800多所大学学校排名、星级等_第2张图片

保存数据
f = open('排名.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['名次', '学校名称', '综合得分', '星级排名', '办学层次'])
f.close()

运行代码,效果如下图

Python爬虫教程:爬取800多所大学学校排名、星级等_第3张图片

Python爬虫教程:爬取800多所大学学校排名、星级等_第4张图片

Python爬虫教程:爬取800多所大学学校排名、星级等_第5张图片

你可能感兴趣的:(python,人工智能,数据挖掘,数据分析,大数据)