Python爬虫练习（爬取OJ题目和学校信息通知）

---

一、爬取南阳理工OJ题目

爬取网站：http://www.51mxd.cn

1. 初步分析

通过切换页数可发现，第n页网址为:
http://www.51mxd.cn/problemset.php-page=n.htm

我们需要爬取其题号,难度,标题,通过率,通过数/总提交数：

右击查看网页源代码：

在其中 Ctrl + F 搜索该页的某一个题目（此处以三国志为例）：

能够搜索到，说明此数据不是动态加载，可直接get该页面以获取：

按 F12 打开开发者工具，在Element中点击箭头工具（如下图②所示），点击一个题目，可在Element中显示：

可发现，每一行信息都在一个标签中，每个小信息都在一个标签的字符串里面，在Element中 Ctrl + F 搜索，可发现有700个。
一页有100个题目，一行有7个，正好是700个，因此只需要获取所有标签：


分析完成后，开始编写代码。

2. 代码编写

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
# tqdm作业：以进度条方式显示爬取进度
# 爬取11页所有题目信息
for pages in tqdm(range(1, 11 + 1)):
    # get请求第pages页
    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={
       pages}.htm', Headers)
    # 判断异常
    r.raise_for_status()
    # 设置编码
    r.encoding = 'utf-8'
    # 创建BeautifulSoup对象，用于解析该html页面数据
    soup = BeautifulSoup(r.text, 'lxml')
    # 获取所有td标签
    td = soup.find_all('td')
    # 存放某一个题目的所有信息
    subject = []
    # 遍历所有td
    for t in td:
        if t.string is not None:
            subject.append(t.string) # 获取td中的字符串
            if len(subject) == 5:   # 每5个为一个题目的信息
                subjects.append(subject)
                subject = []

# 存放题目
with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)  # 写入表头
    fileWriter.writerows(subjects)   # 写入数据

print('\n题目信息爬取完成！！！')

运行测试：

---

二、爬取学校信息通知

爬取网站：http://news.cqjtu.edu.cn/xxtz.htm

爬取内容：日期 + 标题

1. 每页url分析

第一页url为http://news.cqjtu.edu.cn/xxtz.htm，第二页为http://news.cqjtu.edu.cn/xxtz/65.htm，第三页为http://news.cqjtu.edu.cn/xxtz/64.htm

一共66页，由此可表示如下：

base_url = "http://news.cqjtu.edu.cn/xxtz/"
for i in range(1, 67):
    if(i == 1):
        url = 'http://news.cqjtu.edu.cn/xxtz.htm'
    else:
        url = base_url + str(67 - i) + '.htm'
    print(url)

打印如图：

2. 每页内容爬取

以第一页为例，右击打开网页源代码，搜索一个新闻标题，发现存在，则可直接以get请求获取数据：

在开发者工具中，找到需要爬取的内容，每组日期和标题存在于

标签中：

所有

都在class="left-list"的div下的

下，搜索得只有一个class="left-list"的元素，该元素下只有一个
，因此爬取一页的数据如下：

# 获取每页内容
def get_one_page(url):
    headers = {
     
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
    }
    try:
        info_list_page = []  # 一页的所有信息
        resp = requests.get(url, headers=headers)
        resp.encoding = resp.status_code
        page_text = resp.text
        soup = BeautifulSoup(page_text, 'lxml')
        li_list = soup.select('.left-list > ul > li')  # 找到所有li标签
        for li in li_list:
            divs = li.select('div')
            date = divs[0].string.strip()
            title = divs[1].a.string
            info = [date, title]
            info_list_page.append(info)
    except Exception as e:
        print('爬取' + url + '错误')
        print(e)
        return None
    else:
        resp.close()
    print('爬取' + url + '成功')
    return info_list_page

测试爬取第一页：

print(get_one_page('http://news.cqjtu.edu.cn/xxtz.htm'))






总代码




import requests
from bs4 import BeautifulSoup
import csv


# 获取每页内容
def get_one_page(url):
    headers = {
     
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
    }
    try:
        info_list_page = []  # 一页的所有信息
        resp = requests.get(url, headers=headers)
        resp.encoding = resp.status_code
        page_text = resp.text
        soup = BeautifulSoup(page_text, 'lxml')
        li_list = soup.select('.left-list > ul > li')  # 找到所有li标签
        for li in li_list:
            divs = li.select('div')
            date = divs[0].string.strip()
            title = divs[1].a.string
            info = [date, title]
            info_list_page.append(info)
    except Exception as e:
        print('爬取' + url + '错误')
        print(e)
        return None
    else:
        resp.close()
    print('爬取' + url + '成功')
    return info_list_page


# main
def main():
    # 爬取所有数据
    info_list_all = []
    base_url = 'http://news.cqjtu.edu.cn/xxtz/'
    for i in range(1, 67):
        if i == 1:
            url = 'http://news.cqjtu.edu.cn/xxtz.htm'
        else:
            url = base_url + str(67 - i) + '.htm'
        info_list_page = get_one_page(url)
        info_list_all += info_list_page
    # 存入数据
    with open('教务新闻.csv', 'w', newline='', encoding='utf-8') as file:
        fileWriter = csv.writer(file)
        fileWriter.writerow(['日期', '标题'])  # 写入表头
        fileWriter.writerows(info_list_all)  # 写入数据


if __name__ == '__main__':
    main()




运行结果：



---




三、总结




学习爬虫之后，可以让我们方便地获取更多的数据源，从而进行更深层次更有效的数据分析，获得更多的价值。

---

参考

raise_for_status()方法