Python爬取某平台付费文档,确定不来薅羊毛吗?

导语:

哈喽,哈喽~当代大学生写作业时,emmmm…先看一眼,ok有点印象。
在这里插入图片描述
想翻书时,这是第几页?怎么这么干净,是这里吗…

这时“学小易”就很友好了,但是唯一不足的一点是,只有答案,没有过程。

浏览器也很友好,浏览到关键地方要钱,更别说想下载下来复习了…
Python爬取某平台付费文档,确定不来薅羊毛吗?_第1张图片
今天呢,小编教大家用python如何免费下载付费文档资料,我再也不用担心下载资料要钱啦!也不用担心期末复习啦!
Python爬取某平台付费文档,确定不来薅羊毛吗?_第2张图片

正文:

基本开发环境

Python 3.6

Pycharm

相关模块的使用

import os

import requests

import time import re

import json from docx

import Document from docx.shared

import Cm

目标网页分析
Python爬取某平台付费文档,确定不来薅羊毛吗?_第3张图片
网站的文档内容,都是以图片形式存在的。它有自己的数据接口

接口链接:

https://openapi.book118.com/getPreview.html?&project_id=1&aid=272112230&t=f2c66902d6b63726d8e08b557fef90fb&view_token=SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1&page=1&callback=jQuery18304186406662159248_1614492889385&_=1614492889486

Python爬取某平台付费文档,确定不来薅羊毛吗?_第4张图片

接口的请求参数

第一页:
Python爬取某平台付费文档,确定不来薅羊毛吗?_第5张图片

第二页:
Python爬取某平台付费文档,确定不来薅羊毛吗?_第6张图片

第三页:
Python爬取某平台付费文档,确定不来薅羊毛吗?_第7张图片
如上图所示,翻页参数改变的是page 每次加6。

整体思路

请求网页返回response数据(字符串)

通过re模块匹配提取中间的数据(列表)索引取0(字符串)

通过json模块是把提取出来的数据转换成json模块

通过遍历获取每张图片的url地址

保存图片到本地文件夹

把图片保存到word文档

def download():

    content = 0

    for page in range(1, 96, 6):

        # 给定 2秒延时

        time.sleep(2)

        # 获取时间戳

        now_time = int(time.time() * 1000)

        url = 'https://openapi.book118.com/getPreview.html'

        # 请求参数

        params = {

            'project_id': '1',

            'aid': '272112230',

            't': 'f2c66902d6b63726d8e08b557fef90fb',

            'view_token': 'SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1',

            'page': f'{page}',

            '_': now_time,

        }

        # 请求头

        headers = {

            'Host': 'openapi.book118.com',

            'Referer': 'https://max.book118.com/html/2020/0427/8026036013002110.shtm',

            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'

        }

        response = requests.get(url=url, params=params, headers=headers)

        # 使用正则表达式提取内容

        result = re.findall('jsonpReturn\((.*?)\)', response.text)[0]

        # 字符串转json数据

        json_data = json.loads(result)['data']

        # 字典值的遍历

        for value in json_data.values():

            content += 1

            # 拼接图片url

            img_url = 'http:' + value

            print(img_url)

            headers_1 = {

                'Host': 'view-cache.book118.com',

                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'

            }

            # 请求图片url地址 获取content二进制数据

            img_content = requests.get(url=img_url, headers=headers_1).content

            # 文件名

            img_name = str(content) + '.jpg'

            # 保存路径

            filename = 'img\\'

            # 以二进制方式保存 (图片、音频、视频等文件都是以二进制的方式保存)

            with open(filename + img_name, mode='wb') as f:

                f.write(img_content)

爬虫部分的代码还是比较简单的,没有什么特别的难度。

爬取这些文档,都是需要打印或者查询所以要把这些单张的图片都保存到word文档里面。

写入word文档

1、文件夹中所有图片的文件名。

正常的操作大家都是知道使用os模块就可以获取了,但是这里有一个问题

path = './img/'

lis = os.listdir(path)

print(lis)

>>>['1.jpg', '10.jpg', '11.jpg', '12.jpg', '13.jpg', '14.jpg', '15.jpg', '16.jpg', '17.jpg', '18.jpg', '19.jpg', '2.jpg', '20.jpg', '21.jpg', '22.jpg', '23.jpg', '24.jpg', '3.jpg', '4.jpg', '5.jpg', '6.jpg', '7.jpg', '8.jpg', '9.jpg']

Python爬取某平台付费文档,确定不来薅羊毛吗?_第8张图片
在文件夹中都是有序排列循序的,但是用os模块读取出来的文件名,都是无序的,这样保存的话会导致文档内容循序错乱,这不是我们想要的。

所以需要把文件名都排序输出。

path = './img/'

lis = os.listdir(path)

c = []

for li in lis:

    index = li.replace('.jpg', '')

    c.append(index)

c_1 = sorted(list(map(int, c)))

new_files = [(str(i) + '.jpg') for i in c_1]

print(new_files)

>>>['1.jpg', '2.jpg', '3.jpg', '4.jpg', '5.jpg', '6.jpg', '7.jpg', '8.jpg', '9.jpg', '10.jpg', '11.jpg', '12.jpg', '13.jpg', '14.jpg', '15.jpg', '16.jpg', '17.jpg', '18.jpg', '19.jpg', '20.jpg', '21.jpg', '22.jpg', '23.jpg', '24.jpg']

排序好之后,通过docx模块对其进行写入。

document.add_picture(img_path, width=Cm(17), height=Cm(24))

document.save('tu.doc')  # 保存文档

一定要设置写入图片的大小,不然图片太大,排版不好看。

写完之后把图片都删除掉

os.remove(img_path)

完整实现效果
Python爬取某平台付费文档,确定不来薅羊毛吗?_第9张图片
Python爬取某平台付费文档,确定不来薅羊毛吗?_第10张图片
最后我们下载下来的每一页都是一张图片。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、Python学习大纲

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

二、Python必备开发工具

在这里插入图片描述

三、入门学习视频

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。在这里插入图片描述

五、python副业兼职与全职路线

在这里插入图片描述

在这里插入图片描述

[[CSDN大礼包:《python兼职资源&全套学习资料》免费分享]]安全链接,放心点击

你可能感兴趣的:(Python入门,编程,python,python,爬虫,开发语言,Python入门,Python教程)