Python Selenium + PhantomJS爬取考拉海购商品数据

爬完QQ音乐以后打算爬网易云音乐的，中间出了一点小状况，就改爬考拉海购了（什么状况你猜呀❛˓◞˂̶✧以后会爬完网易云音乐的！）
今天写近段时间的最后一篇，写完这篇就要开始期末复习了，寒假再来更新

进入正题，准备工作如下：
Selenium、Selenium官方文档、PhantomJS
下载了pip的话也可以用

pip install selenium

下载selenium

这次用到的东西官方文档都可以查到，我就不细说了，直接上代码

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException#用来处理超时异常
from pyquery import PyQuery as pq#用来解析网页源码
from sqlalchemy import create_engine,MetaData#引入数据库引擎create_engine以及引入MetaData来创建表格
from sqlalchemy.orm import sessionmaker#引入sessionmaker（用来创建数据工厂）
from sqlalchemy import Table,Column,Text#引入我们需要用到的属性
from sqlalchemy.sql import insert#引入插入语句

#创建一个数据库引擎，调用create_engin方法，连接postgresql数据库，用户名为postgres，密码为123456，储存地址为本地存储，端口为5432数据库名为postgres
engine = create_engine('postgresql://postgres:123456@localhost:5432/postgres')
meta = MetaData(bind = engine)#将MetaData绑定到引擎上
Session = sessionmaker(bind = engine)#将sessionmaker绑定到引擎上，创建一个session工厂
session = Session()#调用工厂方法来创建一个session对象
KaoLa_table = Table('KaoLa', meta,  # 表名为KaoLa,数据库内一定不能有相同表名！！！
                          Column('good_name', Text),  # 将good_name作为列名（key）,并用primary设置为主key，用Text类型显示
                          Column('price', Text),
                          Column('comment', Text),
                          Column('origin', Text),
                          Column('store', Text),
                          Column('url', Text))
meta.create_all()  # 建立表格

choice = ['--load-images=false','--disk-cache=true']#PhantomJS的api，不加载图片，开启缓存
browser = webdriver.PhantomJS(service_args=choice)#选择PhantomJS浏览器并加入参数
browser.set_window_size(1400,900)#设置浏览器窗口大小，便于selenium运行
waite = WebDriverWait(browser, 10)#设置等待时间
key = '彩妆'#设置需要搜索的关键字
def search():
    print('搜索中')
    try:
        browser.get('https://www.kaola.com')
        # 用来关闭弹窗
        close = waite.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, "#index-netease-com > table > tbody > tr > td > div > div > div > div > div.modal-body > div > div.u-close"))
            )
        # 用来输入搜索内容
        input = waite.until(
                EC.presence_of_element_located((By.CSS_SELECTOR, "#topSearchInput"))#用css_selector检索
            )
        #用这个方法去点击，select会受上一次select的影响，从而使click失效
        #submit = waite.until(
                #EC.element_to_be_clickable((By.XPATH, "//*[@id='topSearchBtn']"))
            #)
        close.click()
        input.send_keys(key)
        #submit.click()
        # 上面click点击失效的问题用此法解决了   js大法好
        #用来点击搜索
        js = 'document.getElementsByClassName("w-icon w-icon-27")[0].click();'
        browser.execute_script(js)
        print('当前正在第 1 页')
        get_products()
    except TimeoutException:
        return search()

def next_page():
    try:
        click_next = waite.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, "#resultwrap > div.splitPages > a.nextPage"))
            )
        click_next.click()
        now_page = browser.find_element_by_xpath("//*[@id='resultwrap']/div[3]/span[1]").text#用xpath方法检索
        print('当前正在第', now_page, '页')
        time.sleep(1)
        get_products()
        return next_page()
    #这里最后一页不存在下一页按钮，所以处理必定超时，可以用这个超时来判断是否翻页完毕
    except TimeoutException:
        end_page = browser.find_element_by_xpath("//*[@id='resultwrap']/div[3]/span[1]").text
        print('翻页完毕，第',end_page,'页')
        print('存储完毕')

def get_products():
    waite.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#result > li > div"))
        )
    html = browser.page_source#用这个语句拿到整个网页的源代码
    doc = pq(html)#用PyQuery解析
    goods = doc("#result > li > div").items()
    kaola_url = 'https://www.kaola.com'
    for good in goods:
        #用find方法检索
        product = {
            'good_name': good.find('.title').text(),
            'price': good.find('.cur').text(),
            'comment':good.find('.comments').text(),
            'origin':good.find('.proPlace.ellipsis').text(),
            'store':good.find('.selfflag').text(),
            'url':kaola_url + good.find('.title').attr('href')
        }
        save_data(product)

def save_data(data):
    try:
        i = insert(KaoLa_table)
        # 插入数据
        i = i.values({'good_name': data['good_name'],
                      'price': data['price'],
                      'comment': data['comment'],
                      'origin': data['origin'],
                      'store': data['store'],
                      'url': data['url']})
        session.execute(i)  # 将数据插入表格
        session.commit()  # 提交到数据库中
        print('存储成功：',data)
    except Exception:
        print('存储失败：',data)

if __name__ == "__main__":
    try:
        search()
        next_page()
    except Exception:
        print('出错啦')
    finally:
        browser.close()#记得关闭浏览器

中间出了个小bug，就是我注释掉的这一段

这里click失效了，百度到了解决方法
js解决click失效问题参考博客

开始爬

爬完

看一下数据库里的情况

完美

参考视频教程：Python3爬虫三大案例实战分析

到这里就结束啦~寒假见
冷…