【pyspider】爬取ajax请求数据(post),如何处理python2字典的unicode编码字段?
情景:传统的爬虫只需要设置fetch_type=js即可,因为可以获取到整个页面。但是现在ajax应用越来越广泛,所以有的网页不能用此种爬虫类型来获取页面的数据,只能用slef.crawl()来发起http请求来抓取数据。直接上例子:可以看到,该网页的每一页的数据是通过ajax请求获取到的,方式为POST,所以不能用传统方法。可以看到该请求的请求体,我们需要把请求体和请求方法写到crawl函数的参