Python爬虫隐藏

声明:知识点源于小甲鱼python学习视频,仅作为个人学习笔记。
方法1:
调用time包,每爬一次time.slepp(10)强制暂停10s使爬虫更像是一个人在操作
方法2:调用代理
步骤
1.参数是一个字典{‘类型’:‘代理ip:端口号’}

proxy_support=urllib.request.ProxyHandler({})

2.定制创建一个opener

 opener=urllib.request.build_opener(proxy_support)

3.安装opener

urllib.request.install_opener(opener)

4.调用opener

  opener.open(url)

你可能感兴趣的:(python)