python爬虫_连接断开_10054错误码

这两天在写一个豆瓣爬取电影排行的程序，在写完程序执行时，发现执行爬取了一部分数据后就开始报错；

报错信息：ChunkedEncodingError: ('Connection broken: OSError("(10054, \'WSAECONNRESET\')")', OSError("(10054, 'WSAECONNRESET')"))

一开始上网找了很多解决的方法，各种各样的说法都有；

1、修改python报错的源码，把报错去掉（去掉后如果你的代码没有问题，就可以传输了）

2、使用http1.0来进行request

3、更新python的requests库

但都不解决问题；

最后重新学习了下爬虫的基础，发现了问题！即我们在获取网页信息后，使用完成没有将其关闭，

当连接数达到一定量，就会导致报各种问题，所以程序在get后面，使用完后需要加上response.close() ；

切记！切记！！切记！！！