selenium+pyquery 获取淘宝商品信息

from selenium import webdriver
from selenium.webdriver.common.by import By  # 按照什么方式查找,比如By.ID,By.CSS_SELECTOR
from selenium.webdriver.support.ui import WebDriverWait  # 等待页面加载某些元素
from selenium.webdriver.support import expected_conditions as EC  # 预期条件
from selenium.common.exceptions import TimeoutException  # 加载超时异常
from pyquery import PyQuery as pq
import re


def search():
    try:
        browser.get('https://www.taobao.com/')   # 访问url
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))) # 等待(条件为是否存在(通过CSS选择器查找class='q'的搜索框)),最大延时为10s
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,"#J_TSearchForm > div.search-button > button"))) # 等待(条件为是否可点击(通过CSS选择器查找 //button 的按钮)), 最大延时为10s
        input.send_keys(u'鞋子')  # 在输入框输入鞋子
        submit.click()  # 点击搜索按钮
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.total")))   # 等待(条件为是否存在(通过CSS选择器查找 //*[@class='total'] 页数)), 最大延时为10s
        get_products()
        return total.text   # 返回页数的文本内容
    except TimeoutException:    # 如果访问延时,则再次访问
        return search()

# 跳转到下一页
def next_page(page_number):
    try:
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > input")))    # 等待(条件为是否存在(通过CSS选择器查找 页面输入框)), 最大延时为10s
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit"))) #  等待(条件为是否可点击(通过CSS选择器查找 //button 的按钮)), 最大延时为10s
        input.clear()   # 清除页数输入框内的文本内容
        input.send_keys(page_number)    # 输入页数
        submit.click()  # 点击确定,进行翻页
        # EC.text_to_be_present_in_element(locator, text) 判断元素中存在指定文本
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > ul > li.item.active > span"), str(page_number)))  # 等待(判断是否存在文本(在CSS选择器找到的位置中, 页面数字字符串)) 就是查看页面数字是否高亮
        get_products()
    except TimeoutException:    # 如果访问延时,则再次访问
        next_page(page_number)

# 得到淘宝商品信息
def get_products():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-itemlist .items .item"))) # 等待(条件为是否存在(通过CSS选择器查找 第一个商品信息)), 最大延时为10s
    html = browser.page_source  # 将网页源代码赋值给html
    doc = pq(html)  # 使用pq格式化网页
    items = doc("#mainsrp-itemlist .items .item").items()   # 用 items() 方法遍历并返回对象列表
    for item in items:
        product = {
            'image': item.find('.pic .img').attr('src'),  # 图片 使用find()函数查找class为pic(不完全匹配)和img的标签,获取元素的src属性
            'price': item.find('.price').text(),    # 价格 寻找class为price(这里是不完全匹配)的标签,并获取其文本信息(这里是获取包括后代节点的所有文本)
            'deal': item.find('.deal-cnt').text()[:-3],  # 人数 寻找class为deal-cnt的标签,并获取其文本内容(这里去掉了'人付款')
            'title': item.find('.title').text(),    # 标题 寻找class为title(不完全匹配)的标签
            'shop': item.find('.shop').text(),  # 店名 寻找class为shop的标签,并获取其文本信息(这里是获取包括后代节点的所有文本)
            'location': item.find('.location').text(),  # 地点 寻找class为location的标签
        }
        print(product)

def main():
    total = search()
    # total = int(re.compile('(\d+)').search(total).group(1))   # 这一步返回的是最大页数100,暂时用不上
    # 爬取所有数据用total+1
    for i in range(2, 10):
        next_page(i)

if __name__ == '__main__':
    browser = webdriver.Chrome()
    wait = WebDriverWait(browser, 10)   # 设置最大等待时间为10s
    main()