【python&爬虫】selenium爬取淘宝商品图片

一.说明

淘宝商品的爬取，主要用到selenium和css选择器，本案例难度较低可以用作selenium的入门。
注意：扫码登录是手动操作

二.代码演示

from selenium import webdriver
from selenium.webdriver.common import keys
import time
import requests
import os

# 创建浏览器
browser = webdriver.Chrome(r'D:\ChromeCoreDownloads\chromedriver.exe')
# 让浏览器打开淘宝
browser.get("https://www.taobao.com/")

# 找到搜索框输入内容并搜索
browser.find_element_by_xpath('//*[@id="q"]').send_keys("男鞋", keys.Keys.ENTER)
time.sleep(1)
# 切换成二维码登录
browser.find_element_by_xpath('//*[@id="login"]/div[1]/i').click()

# 判断当前页面是否为登录页面
while browser.current_url.startswith("https://login.taobao.com/"):
    print("等待用户输入")
    time.sleep(1)

print("登录成功!!!")
n = 1
count = 1

# 创建淘宝目录
os.mkdir(".\\淘宝图片")

while True:
    items = browser.find_elements_by_css_selector('.m-itemlist .items > div')
    for item in items:
        # 获取这张图片的下载地址
        img = item.find_element_by_css_selector(".pic-box .pic img").get_attribute("data-src")
        # 拼接完成的下载地址
        img_url = "http:" + img
        print(img_url)
        # 通过requests下载这张图片
        file = open(f".\\淘宝图片\\{n}.jpg", "wb")
        file.write(requests.get(img_url).content)
        n += 1

    # 翻页操作
    browser.find_element_by_css_selector('.wraper:nth-last-child(1) .next > a').click()
    time.sleep(2)
    count += 1
    # 爬取 4 页内容
    if count == 4:
        # file.close()
        break

# 关闭浏览器
browser.quit()

三.运行结果