使用Python批量爬取并下载具有防盗链保护的文件
封面图片：《Python程序设计实验指导书》，董付国编著，清华大学出版社
=================
第一步：确定要爬取的目标页面，以http://jwc.sdtbu.edu.cn/info/2002/5418.htm为例，使用浏览器打开，如下：
第二步：分析网页源代码，得到要下载的文件链接地址，如图：
第三步：编写代码，尝试直接获取文件地址并下载，出错，因为该网站有反爬设置，如图：
第四步：参考Python使用标准库urllib模拟浏览器爬取网页内容文中的描述，修改代码，模拟浏览器，如图：
运行代码下载到的文件：
打开下载后的文件，内容如下，这说明网站有防盗链功能：
第五步：继续修改代码，假装是使用浏览器从页面正常下载，完整代码如下：
下载的文件可以正常打开：
温馨提示
关注本公众号“Python小屋”，通过菜单“最新资源”==>“历史文章”可以快速查看分专题的800篇技术文章列表（可根据关键字在页面上搜索感兴趣的文章），通过“最新资源”==>“微课专区”可以免费观看300节Python微课，通过“最新资源”==>“培训动态”可以查看近期Python培训安排，通过“最新资源”==>“教学资源”可以查看Python教学资源。
--------董付国老师Python系列图书--------
友情提示：不建议购买太多，最好先通过京东、当当、天猫查阅图书了解目录和侧重点，然后再选择购买适合自己的书。
1）《Python程序设计（第2版）》清华大学出版社，2016年8月
2）《Python可以这样学》清华大学出版社，2017年2月
3）《Python程序设计基础（第2版）》清华大学出版社，2018年1月
4）《中学生可以这样学Python》清华大学出版社，配套微课：《中学生可以这样学Python》84节微课免费观看地址
5）《Python程序设计开发宝典》清华大学出版社，2018年10月
6）《玩转Python轻松过二级》清华大学出版社，2018年5月
7）《Python程序设计基础与应用》机械工业出版社，2018年9月
8）《Python程序设计实验指导书》清华大学出版社，2019年4月
9）《Python编程基础与案例集锦（中学版）》电子工业出版社，2019年4月
10）《大数据的Python基础》机械工业出版社，预计2019年5月出版
11）译作《Python程序设计》，机械工业出版社（华章），2018年11月出版
12）繁体版《Python也可以这样学》，台湾博硕文化股份有限公司，2017年10月出版，本书为《Python可以这样学》在台湾发行的繁体版，两本书内容一样，不建议重复购买。
《中学生可以这样学Python》84节微课免费观看地址
非计算机专业《Python程序设计基础》教学参考大纲
计算机相关专业“Python程序设计”教学大纲（参考）
《Python程序设计》实验指导书（30个实验）
《Python程序设计基础与应用》课后习题答案
Python课程期末考试编程题自动批卷原理与实现模板
“Python小屋”免费资源汇总（截至2018年11月28日）
Python课堂上我与学生斗智斗勇已8个学期
技术要点|Python监控学生端电脑屏幕自动识别学习状态
课后习题答案
《Python程序设计基础（第2版）》习题答案
《Python程序设计基础与应用》课后习题答案
实验指导书
《Python程序设计》实验指导书（30个实验）
Python实验项目1例：使用进程池统计指定范围内素数的个数
教学大纲
非计算机专业《Python程序设计基础》教学参考大纲
计算机相关专业“Python程序设计”教学大纲（参考）
课件
1900页Python系列PPT分享一：基础知识（106页）
1900页Python系列PPT分享二：Python序列（列表、元组、字典、集合）（154页）
1900页Python系列PPT分享三：选择与循环结构语法及案例（96页）
1900页Python系列PPT分享四：字符串与正则表达式（109页）
1900页Python系列PPT分享五：函数设计与应用（134页）
1900页Python系列PPT分享六：面向对象程序设计（86页）
1900页Python系列PPT分享七：文件操作（132页）
1900页Python系列PPT分享八：异常处理结构与程序调试、测试（70页）
2000页Python系列PPT分享九：（GUI编程）（122页）
报告PPT
报告PPT（163页）：基于Python语言的课程群建设探讨与实践
报告PPT（123页）：Python编程基础精要
（PPT）Python程序设计课程教学内容组织与教学方法实践