python基础爬虫——单线程多线程爬取图片

困于心衡于虑而后作
今天的学习目标是：单线程与多线程爬取网页图片
python单线程：

# 指定一个网站，可以爬取这个网站中的所有的图像文件，同时把这些文件保存到程序所在文件夹的images子文件夹中
# 首先设计一个单线程爬取程序，这个程序会因网站的某个图像下载过程而效率缓慢
# 此外设计一个多线程爬取程序，在多线程程序中如果一个图像下载缓慢，
# 那么也就是爬取它的那个线程缓慢，而不影响其他的爬取过程

# 单线程爬取图像程序

from bs4 import BeautifulSoup
from bs4 import UnicodeDammit
import urllib.request


def imageSpider(start_url):
    try:
        urls = []
        req = urllib.request.Request(start_url, headers=headers)
        data = urllib.request.urlopen(req)
        data = data.read()
        dammit = UnicodeDammit(data, ['utf-8', 'gbk'])
        data = dammit.unicode_markup
        soup = BeautifulSoup(data, 'lxml')
        images = soup.select('img')
        for images in images:
            try:
                src = images['src']
                url = urllib.request.urljoin(start_url, src)
                if url not in urls:
                    urls.append(url