python爬取京东评论(二)

1.获取js请求

上一篇我们只抓取了一页的评论，今天我们多抓点

抓包的三个评论js请求

---

2.比较异同

import requests
import json
import threading
import time
import re

class cpu:
    def __init__(self):
        self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}

   
    def get_json(self,url):
        res = requests.get(url, headers=self.headers).text
        s = re.compile(r'fetchJSON_comment.*?\(')
        #我第二天准备爬多页的时候发现这个无关字符竟然改变了！所以我迫不得已又改了点，利用正则进行匹配
        uesless = str(s.findall(res))
        #要变成字符串不然lstrip会翻脸
        jd = json.loads(res.lstrip(uesless).rstrip(');'))
        com_list = jd['comments']
        for i in com_list:
            print(i['productColor'],i['productSize'])


if __name__ == '__main__':
    pa = cpu()
    for i in range(8):
        js_url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv12370&productId=19523497981&score=0&sortType=5&page=%d&pageSize=10&isShadowSku=0&rid=0&fold=1' % i
        time.sleep(1)
        t = threading.Thread(target=pa.get_json, args=(js_url,))
        t.start()

3.分析结果

淡粉色 85C=38C(配XL码内裤)
黑色 70A=32A(配S码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 80B=36B(配L码内裤)
淡粉色 75A=34A(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75A=34A(配M码内裤)
黑色 80B=36B(配L码内裤)
淡粉色 85A=38A(配XL码内裤)
黑色 80B=36B(配L码内裤)
黑色 80A=36A(配L码内裤)
黑色 85B=38B(配XL码内裤)
黑色 80B=36B(配L码内裤)
淡粉色 75C=34C(配M码内裤)
黑色 80A=36A(配L码内裤)
黑色 75B=34B(配M码内裤)
淡粉色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 80C=36C(配L码内裤)
淡粉色 80B=36B(配L码内裤)
淡粉色 75B=34B(配M码内裤)
白色 75B=34B(配M码内裤)
黑色 75A=34A(配M码内裤)

目前我只爬了8页评论里面买的大小，一眼就看出不是B就是A, 特喜欢性感黑，C就3个，中国妹子的罩杯不行啊，要是有个C的女朋友可要珍惜，她是为数不多的一部分，作为一个单身工科男是A我也不在乎啊

未完待续