声明:知识点源于小甲鱼python学习视频,仅作为个人学习笔记。
方法1:
调用time包,每爬一次time.slepp(10)强制暂停10s使爬虫更像是一个人在操作
方法2:调用代理
步骤
1.参数是一个字典{‘类型’:‘代理ip:端口号’}
proxy_support=urllib.request.ProxyHandler({})
2.定制创建一个opener
opener=urllib.request.build_opener(proxy_support)
3.安装opener
urllib.request.install_opener(opener)
4.调用opener
opener.open(url)