Python常见bug

urllib.error.HTTPError: HTTP Error 418:

当爬虫遭到反爬机制的时候 会爆这个错误

一、场景

爬取豆瓣网站前十页数据 

二、检查思路

三个步骤中的方法 每写好一个方法 进行print 测试 

Python常见bug_第1张图片

Python常见bug_第2张图片

 三、解决

经过检查  这个请求头headers 中的UA 多了一个空格 奇奇怪怪 明明直接复制浏览器的......

四、场景案例

 ValueError: unknown url type: 'urllib.request.Request object at 0x0000017D4A19B438'

Python常见bug_第3张图片

 将url的把http变为https

 AttributeError: 'OpenerDirector' object has no attribute 'type'

Python常见bug_第4张图片

urllib.error.URLError:

遇到这种情况可以百度搜索快代理进行代理购买 不贵 新用户加上优惠券即可   

  1. 在主页面有四个按钮分别是私密代理 隧道代理 独享代理 开放代理 选择 独享代理 包天 
  2. 或者选择私密代理 包天 
  3. 点击购买代理 订单金额的下方有一个优惠劵框框 选择全产品通用 无金额门槛劵
  4. 个人信息认证之后 就可以进行支付了
  5. 购买成功之后 进入到订单列表中查看自己购买的代理 在列表中 最右手边有一个生成API链接的超链接 点击进入 点击生成链接 复制链接到浏览器打开 效果如下图

Python常见bug_第5张图片

lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: meta line 4 and head, line 6, column 8

Python常见bug_第6张图片

你可能感兴趣的:(Python,python,爬虫,开发语言)