爬虫练习：爬取ycltest.com青少年人工智能技术水平测试考试大纲

爬虫练习：爬取ycltest.com青少年人工智能技术水平测试考试大纲

资源地址：https://www.ycltest.com/portal/index.html?type=5&id=668

代码

import urllib.request
import urllib.error
from lxml import etree
import time


def download_img(title, img_url_list):
    i = 0
    while i < len(img_url_list):  # for循环改不了i的值，所以用了while循环
        filename = f"{title}考试大纲-{i + 1}.png"
        try:
            urllib.request.urlretrieve(img_url_list[i], filename)
        except urllib.error.HTTPError:
            i -= 1  # 如果下载失败则重新下载该张图片
            print(f"{title}考试大纲的第{i + 1}张图片出错了，正在重新下载")
        i += 1
        time.sleep(1)  # 下好一张停1秒，我真怕把服务器搞炸了
    print("下载完成")


if __name__ == '__main__':
    url = "https://www.ycltest.com/portal/index.html?type=5&id=668"
    response = urllib.request.urlopen(url)
    content = response.read().decode("utf-8")
    # 很常规的请求，连UA反爬都没有
    tree = etree.HTML(content)
    title = tree.xpath("//a[@class='on']/text()")[0]
    img_url_list = tree.xpath("//p[@style='text-align:center;']/img/@src")
    # 很常规的xpath解析
    download_img(title, img_url_list)

结果

写在后面

编程的时候我对这个网站真的无话可说，动不动就报503错误。由于图片比较多，下载函数中做了异常处理。如果在请求网页时报错，重新执行程序就好。

写出来好玩而已，没有锻炼到任何知识点。如果非说有的话就是对这种不稳定的网站如何使用异常处理这一个知识点。

我把所有图片合并成一个PDF了，有需要的各位可以自行下载。

下载链接（0积分免费下）：https://download.csdn.net/download/shangdafen_GD/87259447

至于为什么没有把其他几个大纲一起爬了呢？唉说多了都是泪，每个页面的结构都是不一样的，也不知道是有意反爬还是单纯在胡写。