python3.X爬虫针对拉钩，直聘，大街等招聘网站的简历爬虫抓取心得总结一 （ide pycharm运行）##卖简历的别来骚扰##

在面对登陆问题的网站例如向拉钩，大街网，直聘等需要进行模拟登陆的问题，

这里我才用的selenium+chrome的方式，进行获取cookies 然后转化成requests中的cookie 再进行具体的内容的抓取

这里里面遇到问题如下：

                1.登陆时候的验证码识别，这里我遇到的是滑块验证码与点击式验证码主要的解决方式借助第三方的平台识别，后面上传具体的代码 以及识别的原理

                 2.在进行requests访问的抓取的时候，需要进行代理ip的处理，这个地方我做的处理是采用第三方的ip的api接口，一次下载100个ip，然后存在本地文档，用的时候进行读取当中的随即一个，对ip的更新是每一个小时更新一次，这里不建议直接每次从ip代理的api 接口前去取ip，后面的问题会截图说明具体原因

                3.关于请求头的书写问题，useragent 采用fake_useragent进行随机处理，然后就是refer 不建议处理，因为每一个的简历爬取的时候都有可能不一样！

                4.关于所有的requests 中出现的请求 ，因为要持续大量的爬取，要注意关闭http请求

                5.页面元素的提取时候，可能会出现提取出现不显示的问题，这个时候考虑到要先设置预先的判断该变量存不存在 例如 if X:  然后 在书写你要提取的页面元素代码；在元素提取的时候注意分情况讨论，设置try except机制

               6.抓取元素设置时间间隔尽量采用随机random.randint(1,6)

                 今天针对登录 破解验证码问题进行讨论

由于boss 跟智联的登录 我这边是使用selenium 来进行破解 的后来发现 后台检测 这里我 使用pypeteer 来进行破解