java 有没有类似于 requests 爬虫_爬虫框架selenium实战案例

自动化爬虫框架selenium

selenium中文文档: https://selenium-python-zh.readthedocs.io/en/latest/getting-started.html

selenium可以模拟真实浏览器进行自动化测试的工具，支持多种浏览器，主要来解决js渲染的问题。使用selenium也可以很好的应对很多网站的反爬措施，一些网站的跳转url并不会直接放到审查元素中，而是通过js嵌入其他特征来阻止requests类爬虫，而使用selenium可以解决大部分的问题，但是selenium的效率整体来说要比requests低。

前言

今天的实战案例就是通过搜狗微信模块来爬取大学公众号最近文章，本次实战会使用requests+bs4和selenium两种方式来爬取。选择搜狗微信的原因在于搜狗微信的反爬做的比较好，请求时会在计算机中存储cookie以及一些sessionid和token等相关信息，想使用day2学的基础爬虫远远不够，需要了解一些web后端的相关知识，这就给初学者带来了很大的挑战。下边开始分别介绍两个例子。

案例

案例一：使用requests+bs4爬取最近文章

1.问题：首先使用普通爬虫尝试爬取网站（即day2所学的爬虫方法）

人机验证的页面源码

人机验证页面

2.分析：很明显这是一个反爬虫的页面，大概的原因是由于直接对链接发起请求的时候Referer是空的，Referer是标识从哪个网站跳转过来的，如果是空的很明显就被识别为爬虫，当然也有其他的原因，包括一些session或者cookie的原因，session生存周期是浏览器打开到关闭浏览器这个时间，同时也含有一些token和uuid等的拼接。

3.爬取目标分析：我们需要获的是最近文章的真实链接，即红色边框内的内容

审查元素中的链接

但是我们看一下爬取的源码发现，源码中的链接和审查元素中的链接是不一样的。

源码中的链接

4.目标：我们通过爬虫返回的数据是源代码中的内容，因此我们只要在源代码中找到类似审查元素的真实链接，任务就完成了。因此，这次使用requests+bs4爬取的难点就是在于寻找真实的链接。

在浏览器点击最近文章会先跳转到类似a中的href之后再跳转到推文的链接

推理大概是因为js的缘故，有类似点击事件的方法，回到源代码寻找之后发现果然存在一个方法重新构造了url

js中重构url的方法

这个重构的url与href中的url相比较多了一个&k和一个&h，k就是一个随机数字，而h是在href中获取一个字符。通过这个重构便可以得出真正的url。

构造真链接代码

之后再次发起请求测试

1处是构建的新的url；2处出现人机验证，估计是cookie出现了问题。

只要解决cookie的拼接就能完成，下期仔细介绍该部分的拼接问题。

案例二：使用selenium爬取最近文章

通过上述案例一可以看出使用requests+bs4来爬取该类网站非常的麻烦，难点主要在与url的构造和cookie等的拼接，而使用selenium就不会出现类似的问题，下边开始实例操作。

操作步骤就是打开网页，之后点击最近的推文，获取推文的源码。

通过selenium自动打开之后自动点击

定位点击

打开后的内容

推文的源代码

通过Xpath定位以及各种事件的触发就可以比较轻松地获取到数据。

总结

通过以上两个案例可以看出来对于反爬做的比较好的网站使用selenium要比普通的爬虫方便的多，普通爬虫涉及到js的加密以及各种数据url的拼接解决起来比较麻烦，而selenium可以非常轻松地绕过数据加密、网站验证等等。但是在爬取效率上selenium是远不如requests+bs4组合的，并且selenium也并非识别不出来，在自动化下的浏览器中会暴露webdriver的相关特征。因此遇到不同的网站使用不同的工具非常重要。对于效率要求不高、数据量不大、网站反爬做的比较好的网站可以使用selenium，对效率要求中等并且反爬措施做得一般的网站可以使用requests+bs4的方法，对于超大量数据可以使用scrapy框架，对于数据量巨大并且网站做反爬做的比较好的可以使用scrapy+selenium组合的方法来爬取，在之后的文章中将会介绍scrapy框架的使用方法。

嘿嘿嘿！最后再推一下自己的公众号！！！！Bert的理想国！！！！！！里边有五天爬虫实战，基本覆盖了常见的网络爬虫，包括实战案例！！！！以后慢慢会推出各种干货！！

http://weixin.qq.com/r/dDnN1XzE9CGLrTi292xm (二维码自动识别)