python爬虫进阶篇(异步)

        学习完前面的基础知识后,我们会发现这些爬虫的效率实在是太低了。那么我们需要学习一些新的爬虫方式来进行信息的获取。

异步

        使用python3.7后的版本中的异步进行爬取,多线程虽然快,但是异步才是爬虫真爱。

基本概念讲解

1.什么是异步?

        异步是指在程序执行过程中,当遇到耗时的操作时,不会等待这个操作完成才继续执行后面的代码,而是先去执行其他的操作,等到耗时的操作完成后再处理它的结果。这种方式能够提高程序的并发性响应性。在传统的同步编程中,当程序执行到一个耗时的操作时(比如文件读写、网络请求等),程序会被阻塞,直到这个操作完成才会继续往下执行。这样会导致程序不能充分利用计算资源,同时也会降低程序的响应速度。而在异步编程中,当遇到耗时操作时,程序会先切换到执行其他任务,等到耗时操作完成后再回来处理结果。这样可以让程序在等待耗时操作的同时继续执行其他任务,提高了程序的并发能力和整体性能。

        Python中的异步编程通常使用async/await关键字来定义异步事件,配合asyncio模块和一些第三方库(比如aiohttp、aiofiles等)来实现异步IO操作。异步编程在网络编程、Web开发、爬虫等领域有着广泛的应用。

并发性

        并发性是指在同一时间段内,有多个任务在同时执行。在计算机领域,这通常是指多个线程或进程在同时执行,从而提高了程序的效率和性能。在传统的单线程编程中,程序只能按照顺序执行代码,不能同时执行多个任务,这会导致程序效率低下,特别是当遇到大量IO操作时更为明显。

        而在多线程或多进程编程中,多个任务可以同时运行,从而可以充分利用计算机的多核处理器和其他硬件资源,提高了程序的效率和性能。同时,多线程/多进程编程也可以使得程序更加稳定,因为如果某个线程/进程崩溃或阻塞,其他线程/进程仍然可以继续执行。
        需要注意的是,并发性不同于并行性。并发性是指多个任务在同一时间段内交替执行,而并行性是指多个任务在同一时刻同时执行。并行性需要硬件支持,例如多核处理器、分布式系统等。

I/O操作的概念
        I/O操作是指输入/输出操作,是计算机领域中用来描述数据从外部设备(如磁盘、网络、键盘、显示器等)到内存或相反方向的数据传输过程。在计算机程序中,I/O操作通常涉及到读取或写入文件、网络通信、用户输入输出等操作。

常见的I/O操作
  • - 从磁盘读取文件到内存
  • - 从网络接收数据
  • - 向磁盘写入文件
  • - 向网络发送数据
  • - 从键盘获取用户输入
  • - 向屏幕输出数据

异步与多线程的区别

        多线程和异步都可以提高程序的并发性和响应性,但在不同的场景下可能会有不同的表现。

        多线程适合CPU密集型计算任务,因为它可以充分利用计算机的多核处理器,同时执行多个任务,从而提高程序的效率和性能。但是,在多线程编程中,线程之间需要共享内存,这可能会带来线程安全等问题,需要开发者自己管理线程之间的同步和互斥。

        异步适合I/O密集型任务,因为它可以在等待I/O操作的同时,继续执行其他任务,从而充分利用时间片,提高程序的并发性和响应性。异步编程通常使用事件循环机制,在一个线程中执行多个任务,并通过回调函数等方式处理异步事件。但是,在异步编程中,需要使用特定的异步库和语法,如async/await关键字、协程等,对新手来说有一定的学习。

python中的异步

准备工作

导包,准备好工具

异步
pip install asyncio
异步的文件操作
pip install aiofiles
异步的网路请求
pip install aiohttp

装好之后我们需要学习一些基本的方法。

学习基本语法

1.asyncio的使用

  1. await关键字:

    • await用于暂停当前协程的执行,等待一个异步操作的完成,并获取其结果。
    • 在使用await时,必须将其放在一个async修饰的函数内部,以指示该函数是一个协程函数。
    • await只能在协程函数内部使用,不能在普通函数或全局作用域中使用。
  2. async关键字:

    • async用于修饰一个函数,表示该函数是一个协程函数。
    • 协程函数可以通过await关键字来暂停执行,并在等待异步操作完成后继续执行。
    • 协程函数内部可以包含多个await语句,用于等待不同的异步操作。
  3. asyncio.wait()函数:

    • asyncio.wait()函数用于等待一组协程的完成。
    • 该函数接受一个可迭代对象(如列表或集合),其中包含要等待的协程对象。
    • asyncio.wait()函数返回两个集合,分别表示已完成和未完成的任务。
  4. loop.run_until_complete()方法:
    • loop.run_until_complete()方法用于执行一个协程,直到它完成。
    • 在使用该方法时,必须将协程对象作为参数传递给它。
    • run_until_complete()方法会阻塞当前线程,直到协程执行完成或发生异常。
  5. loop.create_task()方法:
    • loop.create_task()方法用于创建一个协程任务,并将它加入事件循环中等待执行。
    • 该方法接受一个协程函数作为参数,并返回一个Task对象。
    • Task对象表示一个可调度的协程,可以通过await语句来等待其执行完成。

aiofiles

aiofiles是一个用于在异步代码中进行文件 I/O 操作的库。它提供了异步版本的文件读取和写入操作,与标准库中的open()函数不同,aiofiles中的函数返回awaitable对象,可以在异步函数中使用await关键字来等待文件操作完成。

import asyncio
import aiofiles

async def read_and_print_file():
    async with aiofiles.open('example.txt', mode='r') as file:
        content = await file.read()
        print(content)

async def write_to_file():
    async with aiofiles.open('example.txt', mode='w') as file:
        await file.write('Hello, aiofiles!')

# 在事件循环中执行异步文件读写操作
async def main():
    await write_to_file()
    await read_and_print_file()

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

记得文件操作属于i/o阻塞

aiohttp

aiohttp是一个用于在异步代码中进行HTTP请求的库。它提供了异步的HTTP客户端和服务器,能够高效地处理大量的并发请求。和request的使用一样

import aiohttp
import asyncio

async def fetch_content(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    url = 'https://jsonplaceholder.typicode.com/posts/1'
    content = await fetch_content(url)
    print(content)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

实战:只看不练假把式,直接干!基础没啥讲的,爬虫会用就行

这次案例,随意教学了,找一个新的网站实现爬取。中间出现错误的情况我也会直接列出来(我也是菜鸡,只是帮助大家入门的)。给大家分享一下我的思路和解决。

本博客只用于教学爬虫,决定爬取一个:

极简壁纸_海量电脑桌面壁纸美图_4K超高清_最潮壁纸网站

合理使用,这个网站是免费的并且还是免登录(良心网站,请求一两次就行,别一直搞(哭了,现在看我写这句话真是讽刺)),较为容易(容易个der,给我看懵逼了)

兄弟们这个案例当乐子看。

1.准备工作,了解网站结构,查看是否可以直接爬取。

这个主要是看源码中是否和前端调试工具中的结构一样,我们发现,调试工具中有的 是一个a中存在一个链接,但是我们点击打开发现是一个404页面

python爬虫进阶篇(异步)_第1张图片

python爬虫进阶篇(异步)_第2张图片

此时我以为这个是无效链接,然后我直接去看了网络请求,发现网络请求是可以获得图片的,但是在找url的关系时,我发现直接请求a中的地址也是可行的。

我们试一下发送请求,看看能不能获取到这张图片。

直接一顿操作

import requests


url = "https://api.zzzmh.cn/bz/v3/getUrl/c071cdc46f0c4867a1d52d0cb51fc6d629"

headers = {
    
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
}
response = requests.get(url,headers=headers).content

print(response)

我们发现出现了403界面源码,这就有点不对劲了。

那么我们学过的东西无法解决,表明需要学习新的知识了

在网页请求的头部中,包含了一个名为"Referer"的字段,这个字段通常用来标识当前请求是从哪个页面跳转过来的,即上一个网页的地址。这对于网站分析和统计访问来源非常有用,同时也可以在一定程度上用于防盗链和安全验证。在实际开发中,服务器端可以通过检查"Referer"字段来确定请求的来源,并做出相应的处理,例如允许或拒绝特定来源的请求。同时,网站管理员也可以利用这个字段来分析用户的访问行为和流量来源,为网站运营和优化提供参考依据。

搜嘎,现在我们在headers中加入Referer来测试一下

python爬虫进阶篇(异步)_第3张图片

直接出现,现在把他写入文件中试一下,

import requests


url = "https://api.zzzmh.cn/bz/v3/getUrl/c071cdc46f0c4867a1d52d0cb51fc6d629"

headers = {
    "Referer":"https://bz.zzzmh.cn/",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
}
response = requests.get(url,headers=headers).content

with open("壁纸.jpg",'wb') as file:
    file.write(response)

直接成功:网页请求也是可行的,但是在拼接url的时候还得来到这里。

python爬虫进阶篇(异步)_第4张图片

为什么我们点击页面链接发现时进入一个404呢,我感觉是因为点击后的并没有发送请求,无法访问。

如何批量获取这些数据? 我们复制链接进源码看一下,发现并没有这段链接,那么这个需要找js代码,观察是否需要进行解密。寄了,我看蒙蔽了,大哥这是个人站?这么难吗?给我直接看蒙蔽了,js学是学过,但是那都是基础,后悔了早知道选哪个需要登录的了,不行我都干了四千多字了,怎么说也得爬几个。哥几个别爬了,我找半小时了。太难看了,我纯纯弱智,找这个爬。这反爬比爬网易云免费音乐还难,看这个过过眼瘾。看不懂没关系,我也不会。等我后续把js逆向学明白再带大家做这个。(其实后面介绍的selenium完全可以爬取这些链接,但是缺点就是速度太慢了。)
爬虫案例1:js逆向获取极简壁纸的高清壁纸_爬虫爬取极简壁纸_活火石的博客-CSDN博客

补充,使用自动化工具也可以爬取,就是速度太慢了。(其实也不算很慢,这里就打开的时候比较慢 有2秒等待时间,但是获取图片采用的是异步获取和处理,速度还是很快的。)

import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import requests

import asyncio
import aiofiles
import aiohttp

headers = {
    'Referer': 'https://bz.zzzmh.cn/',
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
}
async def download(href,count):
    print(f"第{count}图片开始缓存")
    try:
        async with aiohttp.ClientSession() as session:
            async with session.get(href,headers=headers) as p:
                data = await p.read()
                async with aiofiles.open(f"D:\桌面\pythoncode\爬虫案例\Selenium入门\极简壁纸\{count}.jpg",'wb') as file:
                    await file.write(data)
                print(f"第{count}图片缓存成功")
    except:
        print(f"第{count}图片缓存失败")


async def main():
    web = webdriver.Chrome()
    web.get("https://bz.zzzmh.cn/index")
    time.sleep(3)
    img_List  = web.find_elements(by="xpath",value='//div[@class="img-box"]')
    count = 1
    task = []
    for i in img_List:
        src = i.find_element(by="xpath",value='./span[@class="down-span"]/a')
        src= src.get_attribute('href')
        print(src)
        t = asyncio.create_task(download(src,count))
        task.append(t)
        count+=1
    return await asyncio.wait(task)
if __name__=="__main__":
    asyncio.run(main())    


案例2

上面那个案例给我整吐了,不行了,换回老朋友笔趣阁。

神秘复苏最新章节_神秘复苏全文在线阅读_佛前献花的小说_笔趣阁

1.查看网页源代码和检查中的链接是否一致 

python爬虫进阶篇(异步)_第5张图片

直接爬取每个章节的内容,然后装填进一个数组中,我们爬取这些章节小说可以使用异步来进行。所以现在只需要解析出链接,然后交给异步即可。

注意此时的编码方式

python爬虫进阶篇(异步)_第6张图片

获取请求链接
 

import requests
import aiofiles
import aiohttp
from lxml import etree
import asyncio




async def main():
    url = "https://www.bige3.cc/book/66/"
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
    }
    response = requests.get(url)
    response.encoding = 'utf-8'
    en = etree.HTML(response.text)
    title_List = en.xpath("//div[@class='listmain']/dl//dd")
    print(title_List)
if __name__=="__main__":
    asyncio.run(main())

解析链接和上个一样,区别在于此次获取每个章节的内容采用aiohttp 写入文件使用aiofiles 需要再阻塞前加入等待 await

装填链接

import requests
import aiofiles
import aiohttp
from lxml import etree
import asyncio



async def download(url):
    pass


async def main():
    url = "https://www.bige3.cc/book/66/"
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
    }
    response = requests.get(url)
    response.encoding = 'utf-8'
    en = etree.HTML(response.text)
    task = []
    title_List = en.xpath("//div[@class='listmain']/dl//dd")
    for i in title_List:
        src = i.xpath("./a/@href")[0]
        src = "https://www.bige3.cc/" + src
        t = asyncio.create_task(download(src))
        task.append(t)
    return await asyncio.wait(task)
if __name__=="__main__":
    asyncio.run(main())

 我们要注意asyncio.wait()这个过程需要等待所以加入了await 

下载内容

直接看界面,源码中存在小说内容,所以直接爬取就行。

python爬虫进阶篇(异步)_第7张图片

 直接爬取:注意i/o阻塞的位置加入await即可,就是和之前的相比加入了一个async而已,没啥区别

import requests
import aiofiles
import aiohttp
from lxml import etree
import asyncio

async def download(url):
    try:
        print("小说开始下载")
        async with aiohttp.ClientSession() as session:
            async with session.get(url) as r:
                response = await r.text()
                en = etree.HTML(response)
                file_Title = en.xpath('//h1[@class="wap_none"]/text()')[0]
                file_Content = en.xpath('//*[@id="chaptercontent"]/text()')
                file_Content = ("".join(file_Content)).replace("\u3000","\n")
                file_Title = f"D:\桌面\pythoncode\爬虫教学\神秘复苏\{file_Title}.txt"
                async with aiofiles.open(file_Title,'w',encoding='utf-8') as file:
                    await file.write(file_Content)
                print("小说下载成功")
    except:
        print("下载失败")

async def main():
    url = "https://www.bige3.cc/book/66/"
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
    }
    response = requests.get(url)
    response.encoding = 'utf-8'
    en = etree.HTML(response.text)
    task = []
    title_List = en.xpath("//div[@class='listmain']/dl//dd")
    for i in title_List:
        src = i.xpath("./a/@href")[0]
        src = "https://www.bige3.cc/" + src
        t = asyncio.create_task(download(src))
        task.append(t)
    return await asyncio.wait(task)
if __name__=="__main__":
    asyncio.run(main())

直接轻轻松松爬取一本小说且顺序是有序的。期待下次更新。

你可能感兴趣的:(python爬虫,python,爬虫,selenium)