利用scrapy抓json(一)

例如想抓取  下的商品评价详情。

1.利用firebug分析出商品评价的JSON文件。

利用scrapy抓json(一)_第1张图片

2. 根据报文确定相应的JSON URL是 http://www.aliexpress.com/cross-domain/detailevaluationproduct/index.html?productId=32255632756&type=default&page=1&_=1433225585325 

3.仔细看json的URL就能发现他的“?”后面的查询字符串很有规律。ProductId就是商品编号,type是不变的,page就是商品评价的页码,至于后面那个13位数字,经测试它的存在不影响我们访问json源文件。

4.通过先从HTML中抓取ProductId,就能构造出JSON的URL

5.通过python解析JSON,取到需要的数据

6.把数据入库。


你可能感兴趣的:(js,scrapy,动态)