5.python + selenium 爬取京东动态加载数据

1.selenium的安装(百度可以找到详细的安装过程)

1.1使用命令: pip install selenium
1.2下载对应版本的驱动:http://selenium-release.storage.googleapis.com/index.html

2.使用示例(爬取京东手机数据)

from lxml import etree
from selenium import webdriver
import time


# 使用selenium模拟人为访问页面,获取数据
def spider_jd(url):
    # ChromeOptions() 函数中有谷歌浏览器的一些配置
    options = webdriver.ChromeOptions()
    # 告诉谷歌这里用的是无头模式
    options.add_argument("headless")
    # 创建谷歌浏览器对象
    driver = webdriver.Chrome(options=options)
    # 打开谷歌浏览器,进入指定网址的页面
    driver.get(url)
    # 模拟下拉页面动作,是动态页面加载
    driver.execute_script("window.scrollTo(0,document.body.scrollHeight);")
    # 停顿5秒等待页面加载完毕！！！（必须留有页面加载的时间，否则获得的源代码会不完整。）
    time.sleep(5)
    source = driver.page_source   # 相当于 request.get(url, headers=header)
    html = etree.HTML(source)    # 创建xpath对象
    goods_li = html.xpath('//ul[@class="gl-warp clearfix"]/li')    # 获取页面商品列表li
    with open('JD_Phone.txt', 'a', encoding='utf-8')as fp:
        for li in goods_li:
            try:
                p_title = li.xpath("div/div[4]/a/em/text()")[0]    # 标题
                p_price = li.xpath("div/div[3]/strong/i/text()")[0]    # 手机价格
                p_shop = li.xpath('./div/div[7]/span/a/@title')   # 直卖店
                string = 'title:%s,price:%s,shop:%s' % (p_title, p_price, p_shop)
                fp.write(string + '\n')
                fp.flush()
            except Exception as e:
                print(e)
    print('爬取完毕关闭浏览器')
    driver.quit()   # 爬取完毕关闭浏览器


if __name__ == '__main__':
    for num in range(1, 97):
        print('开始爬取数据')
        url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&' \
              'enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page={}'.format(num*2-1)
        spider_jd(url)
        print('crawl_first:%s结束' % num)