使用scrapy爬数据遇到的那些error坑~~

error 1：

Spider error processing (referer: None)

ValueError('Missing scheme in request url :%s'%self._url')

解决方法：

主要看ValueError('Missing scheme in request url :%s'%self._url')这一部分的提示错误。我在网上找了很多解决方法都说什么start_urls应该是个list而不是string。但是我不是这个问题，照改了还是有同样的错误。

所以我自己理解了一下这个错误说明，意思应该是说我返回的URL是 //www.58che.com/6055/，程序找不到这个地址。很明显， //www.58che.com/6055/缺少了https:的前缀，所以它找不到。

原来的程序：

subclass_link=subclass.xpath('@href').extract_first() #获取车型链接

所以我在程序里返回的URL加上了https:的判别：

subclass_link=subclass.xpath('@href').extract_first() #获取车型链接
subclass_link=subclass_link if 'https:' in subclass_link else ('https:' + subclass_link)
# 在原来的基础上加上了第二句

error 2：

TypeError: Object of type 'Selector' is not JSON serializable 

error原因：有一个数据类型不是json格式的，从Traceback再往上看一下报错误的是第几行，然后看看那个对象，是不是一个可以转换成json的对象。

我一看，还真是！这里的错误显示我有一个叫“u_brick”的变量没有extract出来 还是selector对象~~ 把这个变量的内容.extract()就好了！