scrapy爬虫错误笔记------twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection

今天使用scrapy爬虫的时候，运行时报了下面的错：

Traceback (most recent call last):
  File "d:\python\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
    defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.web._newclient.ResponseNeverReceived: []

原因是没有设置请求头，所以在middlewares.py中修改了USER_AGENT的请求头。然后在我运行问题解决。