Python爬虫实战（6）单线程、多线程、多进程、多协程对比

前言

• 蛋肥学习了如何提升爬虫速度，打算分别尝试单线程爬虫、多线程爬虫、多进程爬虫、多协程爬虫来进行数据抓取，并对比其实际抓取速度。

准备

爬取时间：2021/03/10
系统环境：Windows 10
所用工具：Jupyter Notebook\Python 3.0
涉及的库：requests\lxml\selenium\time\threading\queue\multiprocessing\gevent\sys

获取网址信息

优设导航
https://hao.uisdc.com/

import requests
from lxml import etree

def getinfo(xpath):
    url="https://hao.uisdc.com/"
    headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"}
    r=requests.get(url,headers=headers,timeout=10)
    html=etree.HTML(r.text)
    info=html.xpath(xpath)
    return(info)

link=getinfo('//div[@class="item"]/a/@href')
title=getinfo('//div[@class="item"]/a/h3/text()')

获取网页截图

单线程爬虫

from selenium import webdriver
import time

def getshot(url,name):
    driver=webdriver.Chrome(executable_path=r"C:\Users\Archer\AppData\Local\Google\Chrome\Application\chromedriver")
    driver.maximize_window()
    start=time.time()
    for i in range(len(url)):
        try:
            driver.get(url[i])
            #等待页面加载完成
            time.sleep(1)
            driver.save_screenshot(r"C:\Users\Archer\Desktop\网页截图\img"+name[i]+".png")
        except:
            continue
    end=time.time()
    print("单线程爬虫所用时间：",end-start)

getshot(link,title)

多线程爬虫

参考资料
Python多线程

import threading
import time
import queue as Queue
from selenium import webdriver

start=time.time()
#截图函数，设置get的超时，以防一直取不到卡死
def getshot(name,url):
    url=url.get(timeout=2)
    picname=name+" "+str(time.time())
    driver=webdriver.Chrome(executable_path=r"C:\Users\Archer\AppData\Local\Google\Chrome\Application\chromedriver")
    driver.maximize_window()
    try:
        driver.get(url)
        #等待页面加载完成
        time.sleep(1)
        driver.save_screenshot(r"C:\Users\Archer\Desktop\网页截图\img"+picname+".png")
        driver.quit()
    except:
        print(name+"出错")

class myThread(threading.Thread):
    def __init__(self,name,url):
        threading.Thread.__init__(self)
        self.name=name
        self.url=url
    def run(self):
        while True:
            try:
                getshot(self.name,self.url)
            except:
                break

threadlist=["Thread-1","Thread-2","Thread-3","Thread-4","Thread-5"]
workQueue=Queue.Queue(200)
threads=[]

#创建新线程
for tName in threadlist:
    thread=myThread(tName,workQueue)
    thread.start()
    threads.append(thread)
#填充队列
for i in range(len(link)):
    workQueue.put(link[i])
#等待所有线程完成
for t in threads:
    t.join()

end=time.time()
print("Queue多线程爬虫所用时间：",end-start)

多进程爬虫

参考资料
多进程在运行的时候只有一个子进程会运行，怎么解决
用python进行多进程编程时，只有主进程可以运行，子进程貌似没有运行是什么原因
面试总结，多进程和多线程的区别

#如果CPU是单核，就无法进行多进程并行，需要先了解计算机CPU的核心数量
from multiprocessing import cpu_count
print(cpu_count()) #蛋肥的电脑是8核

#Windows 以下代码需写成.py文件，然后用cmd启动（蛋肥用的Anaconda Powershell Prompt）
from multiprocessing import Process,Queue
import time
from selenium import webdriver

start=time.time()
#截图函数，设置get的超时，以防一直取不到卡死
def getshot(name,url):
    url=url.get(timeout=2)
    picname=name+" "+str(time.time())
    driver=webdriver.Chrome(executable_path=r"C:\Users\Archer\AppData\Local\Google\Chrome\Application\chromedriver")
    driver.maximize_window()
    try:
        driver.get(url)
        #等待页面加载完成
        time.sleep(1)
        driver.save_screenshot(r"C:\Users\Archer\Desktop\网页截图\img"+picname+".png")
        driver.quit()
    except:
        print(name+"出错")

class myProcess(Process):
    def __init__(self,name,url):
        Process.__init__(self)
        self.name=name
        self.url=url
    def run(self):
        while True:
            try:
                print(self.name)
                getshot(self.name,self.url)
            except:
                break
 
#要写if，具体原因还没完全搞懂               
if __name__=="__main__": 
    processlist=["Process-1","Process-2","Process-3","Process-4","Process-5"]
    workQueue=Queue(200)
    processes=[]
    
    #填充队列
    for i in range(len(link)):
        workQueue.put(link[i])
    #创建新进程
    for pName in processlist:
        process=myProcess(pName,workQueue)
        processes.append(process)
    for t in processes:
        t.start()
    for t in processes:
        t.join()

    end=time.time()
    print("Queue多进程爬虫所用时间：",end-start)

多协程爬虫

参考资料
Python中gevent模块使用及出现MonkeyPatchWarning
Python的最大递归深度错误maximum recursion depth exceeded while calling a Python object

#monkey必须放在最前面，必须在获取网址信息代码（requests）的前面
import gevent
from gevent import monkey
monkey.patch_all()
#设置最大递归深度限制
import sys  
sys.setrecursionlimit(1000000) 

from gevent.queue import Queue,Empty
import time
from selenium import webdriver

start=time.time()
#截图函数，设置get的超时，以防一直取不到卡死
def getshot(index):
    while not workQueue.empty():
        url=workQueue.get(timeout=2)
        picname="Process-"+str(index)+str(time.time())
        driver=webdriver.Chrome(executable_path=r"C:\Users\Archer\AppData\Local\Google\Chrome\Application\chromedriver")
        driver.maximize_window()
        try:
            driver.get(url)
            #等待页面加载完成
            time.sleep(1)
            driver.save_screenshot(r"C:\Users\Archer\Desktop\网页截图\img"+picname+".png")
            driver.quit()
        except:
            print("出错")

def boss():
    #填充队列
    for i in range(len(link)):
        workQueue.put_nowait(link[i])

if __name__=="__main__": 
    workQueue=Queue(10000)
    gevent.spawn(boss).join()
    jobs=[]
    for i in range(5):
        jobs.append(gevent.spawn(getshot,i))
    gevent.joinall(jobs)

    end=time.time()
    print("Queue多协程爬虫所用时间：",end-start)

爬取结果

爬取时长对比

部分网页截图

进一步学习

进程、线程和协程之间的区别和联系
面向对象基本概念

总结

• 可通过多线程、多进程、多协程的方式提升数据爬取的速度，但需合理选择数量，一味地增加可能会适得其反。