爬虫实战 爬取谷歌图片 Google images

目标

#date：2020.5.25
#author:pmy
#aim:爬取google图片
本次爬取主要是为了练习selenium。

分析

爬取的目标如下图，爬取猫猫图片

将google图片顺利爬下来。
由于google图片界面是属于那种往下划会在本页面中加载出更多信息，但未刷新的机制，但是它又并未使用ajax。
所以这里我们使用selenium。selenium是一个能够模拟浏览器的工具，如果你没有安装，请pip install 一下。
然后是下载符合你的浏览器的驱动，我这里用的是Chrome，所以下载了ChromeDriver，将其放在D:\python\Scripts（你的python安装目录）。
用这两个来模拟用户的浏览器操作。

---

每次往下滑动500个单位，然后将当前窗口的所有图片的url抓取出来。
这里直接用selenium将tag_name为img的抓取出来就好了。
虽然可以先返回html文档，再用beautifulsoup来处理，但是这样繁琐，没有必要。同时因为该网页结构比较清晰，基本tag_name为img的就是我们的目标。

---

也存在一些问题，最前面几张图会抓取不了，因为它们的url并不是图片，而是打开是下图的界面

这和下面的所有图片不一样，下面的所有图片都是打开只有图片，这最前面的几张的url也特别特别长，无法下载图片，所以计算字符串的长度将其过滤。

同时，会将google的图标也抓下来。通过分析其他正常图片的url，发现其共性是其中都有images字符串，所以通过有无这个字符串来过滤。

---

因为每次抓取的图片只是当前窗口上显示的图片（selenium的特点），所以我们要设置一个列表，将抓取的url放进去，每次抓取时与列表进行比对，从而避免了重复爬取，不过效率偏低，不过用python还管啥效率（代码中写了可以修改的地方，我懒得改了，生命短暂）

---

因为对python其实也没怎么正式学过，所以这次用了面向对象的模式来写的代码，面向对象还是依然好用，下次需要的话可以直接调这个包。

完整代码

#date：2020.5.25
#author:pmy
#aim:爬取google图片

from selenium import webdriver
import time
import os
import requests

# 使用代理的方法 ，可以直接windows使用代理，不用这么麻烦
# browserOptions = webdriver.ChromeOptions()
# browserOptions.add_argument('--proxy-server=ip:port)
# browser = webdriver.Chrome(chrome_options=browserOptions)

#修改keyword便可以修改搜索关键词
keyword = 'cat'
url = 'https://www.google.com.hk/search?q='+keyword+'&tbm=isch'


class Crawler_google_images:
    # 初始化
    def __init__(self):
        self.url = url

    # 获得Chrome驱动，并访问url
    def init_browser(self):
        chrome_options = webdriver.ChromeOptions()
        chrome_options.add_argument("--disable-infobars")
        browser = webdriver.Chrome(chrome_options=chrome_options)
        # 访问url
        browser.get(self.url)
        # 最大化窗口，之后需要爬取窗口中所见的所有图片
        browser.maximize_window()
        return browser

    #下载图片
    def download_images(self, browser,round=2):
        picpath = './cat'
        # 路径不存在时创建一个
        if not os.path.exists(picpath): os.makedirs(picpath)
        # 记录下载过的图片地址，避免重复下载
        img_url_dic = []

        count = 0 #图片序号
        pos = 0
        for i in range(round):
            pos += 500
            # 向下滑动
            js = 'var q=document.documentElement.scrollTop=' + str(pos)
            browser.execute_script(js)
            time.sleep(1)
            # 找到图片
            # html = browser.page_source#也可以抓取当前页面的html文本，然后用beautifulsoup来抓取
            #直接通过tag_name来抓取是最简单的，比较方便

            img_elements = browser.find_elements_by_tag_name('img')
            #遍历抓到的webElement
            for img_element in img_elements:
                img_url = img_element.get_attribute('src')
                # 前几个图片的url太长，不是图片的url，先过滤掉，爬后面的
                if isinstance(img_url, str):
                    if len(img_url) <= 200:
                        #将干扰的goole图标筛去
                        if 'images' in img_url:
                            #判断是否已经爬过，因为每次爬取当前窗口，或许会重复
                            #实际上这里可以修改一下，将列表只存储上一次的url，这样可以节省开销，不过我懒得写了···
                            if img_url not in img_url_dic:
                                try:
                                    img_url_dic.append(img_url)
                                    #下载并保存图片到当前目录下
                                    filename = "./cat/" + str(count) + ".jpg"
                                    r = requests.get(img_url)
                                    with open(filename, 'wb') as f:
                                        f.write(r.content)
                                    f.close()
                                    count += 1
                                    print('this is '+str(count)+'st img')
                                    #防止反爬机制
                                    time.sleep(0.2)
                                except:
                                    print('failure')

    def run(self):
        self.__init__()
        browser = self.init_browser()
        self.download_images(browser,10)#可以修改爬取的页面数，基本10页是100多张图片
        browser.close()
        print("爬取完成")


if __name__ == '__main__':
    craw = Crawler_google_images()
    craw.run()

爬取结果

只爬了十轮，122张图片，可以修改main函数中的参数，爬取更多。
也可以修改keyword，爬取你想要的爬取的图片