4种爬虫方案

请自行验证

1.WEB 自动化测试工具 Selenium 简介及其应用 https://my.oschina.net/leejun2005/blog/267990

 

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建衰退测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。Selenium 是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。

2、Web 自动化测试与智能爬虫利器：PhantomJS 简介与实战

https://cloud.tencent.com/developer/article/1043912

phantomjs介绍：PhantomJS是一个基于WebKit的服务器端JavaScript API，它无需浏览器的支持即可实现对Web的支持。

 

phantomjs安装方法参考如下网址:

http://www.pyspider.cn/book/pyspider/phantomjs-install-10.html

 

用过的同学估计都有感受，就是Selenium本质上是依赖于浏览器的，每一步操作都是直接操纵图形化的浏览器，这样无论是从性能还是可编程性上来说都差多了，而今天介绍的 PhantomJS 则不然，它除了拥有 Selenium 的绝大部分功能之外，更强大的地方在于他是一个“无头浏览器”，没有图形化界面，直接面向程序 API 接口，性能和可操作性比 Selenium 高了很多。这两个工具最重要的就是能执行页面 JS。

 

3、PhantomJS + Selenium

PhantomJS + Selenium教程参考:  

https://zty.js.org/post/2017/04/28/phantomjs.html

 

4、python中selenium使用chrome无头浏览器执行JavaScript（js）

https://blog.csdn.net/chasejava/article/details/79677246