Python爬取某平台付费文档，确定不来薅羊毛吗？
导语：
哈喽，哈喽~当代大学生写作业时，emmmm…先看一眼，ok有点印象。
想翻书时，这是第几页？怎么这么干净，是这里吗…
这时“学小易”就很友好了，但是唯一不足的一点是，只有答案，没有过程。
浏览器也很友好，浏览到关键地方要钱，更别说想下载下来复习了…
今天呢，小编教大家用python如何免费下载付费文档资料，我再也不用担心下载资料要钱啦！也不用担心期末复习啦！
正文：
基本开发环境
Python 3.6
Pycharm
相关模块的使用
import os
import requests
import time import re
import json from docx
import Document from docx.shared
import Cm
目标网页分析
网站的文档内容，都是以图片形式存在的。它有自己的数据接口
接口链接：
https://openapi.book118.com/getPreview.html?&project_id=1&aid=272112230&t=f2c66902d6b63726d8e08b557fef90fb&view_token=SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1&page=1&callback=jQuery18304186406662159248_1614492889385&_=1614492889486
接口的请求参数
第一页：
第二页：
第三页：
如上图所示，翻页参数改变的是page 每次加6。
整体思路
请求网页返回response数据（字符串）
通过re模块匹配提取中间的数据（列表）索引取0（字符串）
通过json模块是把提取出来的数据转换成json模块
通过遍历获取每张图片的url地址
保存图片到本地文件夹
把图片保存到word文档
def download():
content = 0
for page in range(1, 96, 6):
# 给定 2秒延时
time.sleep(2)
# 获取时间戳
now_time = int(time.time() * 1000)
url = 'https://openapi.book118.com/getPreview.html'
# 请求参数
params = {
'project_id': '1',
'aid': '272112230',
't': 'f2c66902d6b63726d8e08b557fef90fb',
'view_token': 'SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1',
'page': f'{page}',
'_': now_time,
}
# 请求头
headers = {
'Host': 'openapi.book118.com',
'Referer': 'https://max.book118.com/html/2020/0427/8026036013002110.shtm',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, params=params, headers=headers)
# 使用正则表达式提取内容
result = re.findall('jsonpReturn\((.*?)\)', response.text)[0]
# 字符串转json数据
json_data = json.loads(result)['data']
# 字典值的遍历
for value in json_data.values():
content += 1
# 拼接图片url
img_url = 'http:' + value
print(img_url)
headers_1 = {
'Host': 'view-cache.book118.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
# 请求图片url地址 获取content二进制数据
img_content = requests.get(url=img_url, headers=headers_1).content
# 文件名
img_name = str(content) + '.jpg'
# 保存路径
filename = 'img\\'
# 以二进制方式保存 （图片、音频、视频等文件都是以二进制的方式保存）
with open(filename + img_name, mode='wb') as f:
f.write(img_content)
爬虫部分的代码还是比较简单的，没有什么特别的难度。
爬取这些文档，都是需要打印或者查询所以要把这些单张的图片都保存到word文档里面。
写入word文档
1、文件夹中所有图片的文件名。
正常的操作大家都是知道使用os模块就可以获取了，但是这里有一个问题
path = './img/'
lis = os.listdir(path)
print(lis)
>>>['1.jpg', '10.jpg', '11.jpg', '12.jpg', '13.jpg', '14.jpg', '15.jpg', '16.jpg', '17.jpg', '18.jpg', '19.jpg', '2.jpg', '20.jpg', '21.jpg', '22.jpg', '23.jpg', '24.jpg', '3.jpg', '4.jpg', '5.jpg', '6.jpg', '7.jpg', '8.jpg', '9.jpg']
在文件夹中都是有序排列循序的，但是用os模块读取出来的文件名，都是无序的，这样保存的话会导致文档内容循序错乱，这不是我们想要的。
所以需要把文件名都排序输出。
path = './img/'
lis = os.listdir(path)
c = []
for li in lis:
index = li.replace('.jpg', '')
c.append(index)
c_1 = sorted(list(map(int, c)))
new_files = [(str(i) + '.jpg') for i in c_1]
print(new_files)
>>>['1.jpg', '2.jpg', '3.jpg', '4.jpg', '5.jpg', '6.jpg', '7.jpg', '8.jpg', '9.jpg', '10.jpg', '11.jpg', '12.jpg', '13.jpg', '14.jpg', '15.jpg', '16.jpg', '17.jpg', '18.jpg', '19.jpg', '20.jpg', '21.jpg', '22.jpg', '23.jpg', '24.jpg']
排序好之后，通过docx模块对其进行写入。
document.add_picture(img_path, width=Cm(17), height=Cm(24))
document.save('tu.doc') # 保存文档
一定要设置写入图片的大小，不然图片太大，排版不好看。
写完之后把图片都删除掉
os.remove(img_path)
完整实现效果
最后我们下载下来的每一页都是一张图片。
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、Python学习大纲
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
三、入门学习视频
四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
五、python副业兼职与全职路线
[[CSDN大礼包：《python兼职资源&全套学习资料》免费分享]]（安全链接，放心点击）