selenium爬虫 苏宁易购元素更新问题

第一次写博客,记录小白成长事迹,多多见谅啦
工具pycharm 和python
selenium是一个web的自动化测试工具,和其它的自动化工具相比来说其最主要的特色是跨平台、跨浏览器。
支持windows、linux、MAC,支持ie、firefox、safari、opera、chrome等。
导入部分模块为 from selenium import webdriver 爬虫工具所需导入的包。

代码块

import  time
#import seven.until #连接数据库函数
from selenium import webdriver #爬虫所需导入的包
    
options=webdriver.FirefoxProfile()
options.set_preference('permissions.default.image',2)#禁止加载图片
firefox=webdriver.Firefox(options)
firefox.get("https://search.suning.com/洗面奶/.html")#苏宁洗面奶页面网址
target = firefox.find_element_by_css_selector("#bottom_pager")#获取页面最底部标签
firefox.execute_script("arguments[0].scrollIntoView();", target)  # 爬虫将页面下拉至底部休息5秒等待数据加载
time.sleep(5)#等待5秒加载网页元素,即爬取元素的速度小于网页元素更新完的速度即可正常获取元素标签
li=firefox.find_elements_by_css_selector(".general li")
for one in li:
    try:
        firefox.execute_script("arguments[0].scrollIntoView();", one)  # 向下滑动滚动条,跳转到目标元素处
        title = one.find_element_by_css_selector(".title-selling-point a").text
        price = one.find_element_by_css_selector(".res-info").text.replace("¥","")
        price=price.split("\n")[0]
        comment_num = one.find_element_by_css_selector(".info-evaluate").text.replace("评价","")
        comment_num = comment_num.replace(".","")
        comment_num = comment_num.replace("万","0000")
        comment_num = comment_num.replace("+","")
        print(title, price, comment_num)
        except Exception as  e:
            print(e)
            print("错误,跳过")
firefox.close()

你可能感兴趣的:(爬虫selenium,爬虫,AJax动态更新,标签已更新)