python爬虫爬取京东商品评价_python爬取京东商品信息及评论

'''

爬取京东商品信息:

功能: 通过chromeDrive进行模拟访问需要爬取的京东商品详情页(https://item.jd.com/100003196609.html)并且程序支持多个页面爬取,输入时以逗号分隔,

思路: 创建webdriver对象并且调用get方法请求url,进入页面根据dom结构爬取一些简要信息,之后

通过模拟点击商品评价按钮,再分别解析没个用户的评价信息,到每页的底部时,模拟点击下一页按钮

获取新的一页数据。

提取商品信息:

商品名称: {goods_name}

商品价格: {goods_price}

好评度: {percent_con}

评价标签: {tags}

评价类型

姓名:{username}

星级:{star}

文字:{word}

评价图片: {picList}

购买类型: {order_type}

购买日期:{order_date}

点赞人数: {likes}

评论人数: {

'''

from selenium import webdriver

from selenium.common.exceptions import NoSuchElementException

from selenium.webdriver.common.keys import Keys

import time

# 根据类名用来判断元素是否存在

def isElementPresent(driver, element):

"""

用来判断元素标签是否存在,

"""

try:

driver.find_element_by_class_name(element)

# 原文是except NoSuchElementException, e:

except NoSuchElementException as e:

# 发生了NoSuchElementException异常,说明页面中未找到该元素,返回False

return F

你可能感兴趣的:(python爬虫爬取京东商品评价_python爬取京东商品信息及评论)