ConnectionError

描述:爬取TED网站页面主题和网址
方法:requests + bs4
问题:(1)爬取第一页还没问题,第二页出现如下显示:
ConnectionError_第1张图片
(2)技术菜鸟的做法就是百度,然后试试,先运行然后再学习;
添加timeout=(timeout=(3,7))

def getHtml(url):
  
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0'}
    page = requests.get(url, headers=headers, timeout=(3,7))
    page.encoding= page.apparent_encoding
    html = page.text          

(3)然后问题依旧
在这里插入图片描述
参考:https://blog.csdn.net/wdh315172/article/details/80491668
ConnectionError_第2张图片
这样,接下来完全看运气了,运气好的时候爬几十页,差的时候只有几页,不过还是有进步的,后续再慢慢改进,毕竟先完成任务再说…

你可能感兴趣的:(Error,爬虫)