爬取豆瓣图书遇到的问题

功能:爬取所有tag下所有图书信息,每个tag下分页爬取。
遇到的问题:一开始我用session进行爬取,每次分页都会出现错误
HTTPSConnectionPool(host='book.douban.com', port=443): Max retries exceeded with url: /tag/%E5%B0%8F%E8%AF%B4?start=20 (Caused by ConnectTimeoutError(, 'Connection to 27.159.167.45 timed out. (connect timeout=10)'))
解决方法:然后将session全部换成requests,结果不报错。
原因:不知道

你可能感兴趣的:(爬取豆瓣图书遇到的问题)