利用scrapy抓json(二)

# -*-coding:utf-8-*-
__author__ = 'James Chow'
import json
import urllib2
myresponse=urllib2.urlopen('http://www.aliexpress.com/cross-domain/\
                            detailevaluationproduct/index.html?productId=\
                            32255632756&type=default&page=1&_=1433225585325')
res=myresponse.read()
whodict=json.loads(res)
recdict= whodict['records']
pagdict=whodict['page']
for i in  range(1,int(pagdict['total'])):
    url='http://www.aliexpress.com/cross-domain/'+\
         'detailevaluationproduct/index.html?'+\
         'productId=32255632756&type=default&'+\
         'page='+str(i)+'&_=1433225585325'
    eve_response=urllib2.urlopen(url)
    eve_res=eve_response.read()
    eve_whodict=json.loads(eve_res)
    eve_recdict=eve_whodict['records']
    for rec in recdict:
        print rec['id']
        print rec['price']
        print rec['quantity']
        print rec['date']

以上代码已经能解析到单个产品的所有评价详情中的买家ID,单价,数量和日期,当然其它的信息也能解析出来。

参考listing:

             https://docs.python.org/2/library/json.html#module-json

             http://www.zhihu.com/question/22195963


你可能感兴趣的:(json,python,scrapy)