京东商品评论爬虫

2017/1/2 22:21:40


京东商品评论爬虫

针对京东不同的商品的评价进行爬虫然后再分析

实例:魅族手机魅族Pro6 Plus###

抓包地址:

    https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv266&productId=3681471&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0

分析:

    请求方式:GET
    请求参数:
    callback:fetchJSON_comment98vv266
    productId:3681471
    score:0
    sortType:5
    page:0
    pageSize:10
    isShadowSku:0

关键词

    callback:测试发现可以取消
    productId:对应具体商品
    ...
    其余参数测试可以发现都一样

返回数据类型:

JSON

请求:

    data={
    'productId':'3742076',
    'score':'0',
    'sortType':'5',
    'page':'0',
    'pageSize':'10',
    'isShadowSku':'0'
    }

    url='https://club.jd.com/comment/productPageComments.action'

    reponse=requests.get(url,data)
    print(reponse.text)

返回数据如下:

    JSON 太长    

下面只需要获取商品id:productId 就可以在京东上获取需要的商品的评论了~

    一抬头:可以看见地址栏如下:此处为京东小米5s
    https://item.jd.com/3742076.html

    这里就有我们需要的productId

就是这么简单!~

你可能感兴趣的:(京东商品评论爬虫)