【网络爬虫教学】浏览器自动化操作系列（一）

Hi，大家好，欢迎观看【网络爬虫教学】浏览器自动化操作系列教学文章，本系列教学将围绕由本站所开发的基于Chromium二次开发的浏览器来作为整套教学的介质，欢迎大家继续参阅，大家在学习过程中遇到任何问题，欢迎加入我们的QQ技术交流群探讨： 544185435

概述

相信做爬虫开发的小伙伴们或多或少都会遇到过一些以个人能力无法解开的加密吧，为了能顺利完成任务，通常会采用各种手段去完成，而浏览器是其中一种既简单又暴力的方式，但使用它既有优点亦有缺点，优点嘛肯定就是省去了逆向JS的繁琐，可以轻松绕过安防，但相对的缺点就是效率极低，极耗资源；但它在某些场景下还是十分有用的，后续我们将通过分享一系列技巧教大家如何去更有效率的使用它。

浏览器自动化测试

说到自动化测试，不得不说一下大名鼎鼎的Selenimu自动化测试框架，它是一款可运行于Windows、Linux、以及MAC系统下的基于web浏览器自动化测试的一款神器，它支持多种常见浏览器，亦可在多种编程语言之间轻松的部署，它主要依赖JavaScript对浏览器进行模拟人为操作，以便于减少工作的成本。

市面上有着许许多多的自动化测试组件，功能也五花八门，不过它们的原理几乎都是一样的，都是通过端口与浏览器建立通信的。

为了解决资源高消耗的问题，一种名为Headles Browser （俗称：无头浏览器）的工具应运而生，它有着与真实浏览器一样的功能，工作原理也几乎与有界面的一致，不过它是不带界面的，所以我们看不到浏览器的窗口， 通过它，我们可以在悄无声息之间轻松地拿到我们需要的数据。

Extensions插件机制

虽然市面上有着各式各样的自动化测试工具，且它们功能也相对较为完善，但也因其知名度原因，以致于其特征被众多安全脚本给抓获，从而导致获取数据失败，而我们这一系列文章主要以Chromium作为主要浏览器通过extensions插件机制巧妙的组合成一套高效的自动化测试组件。

浏览器扩展是一个扩展网页浏览器功能的插件。一些扩展是使用诸如HTML、JavaScript和CSS之类的网络技术来编写。有些则是使用网页浏览器提供的机器代码和应用程序接口开发，如NPAPI和PPAPI。扩展可以改变网页浏览器的使用接口，而不会直接影响网页的可视内容，如增加工具栏。 （摘自：wiki自由百科全书）

Extensions插件通信的优势

Extensions作为Chromium的扩展的一部分，等级优先于其它调用者，之所以选择它，因为它能做到毫秒级别的响应，并且它是真正的不借助任何第三方类似于webdriver之类的工具去操控浏览器的，所有基于插件协议的操作，网页端都无法知晓，也没有明显的特征，因在加载时，Chromium有个沙盒安全机制会将dom划分成了两个独立体，网页端dom是无法直接读取到基于扩展插件加载的dom，而插件是可以完整获取/操作网页的所有信息，相较于使用其它的自动化测试工具，它的效率也相对的提升了不少。

浏览器自动化的实现

既然我们知道了插件的优势，那么该如何实现自动化呢？我们知道那些自动化工具都有提供完善的API，让我们轻轻松松的就能控制浏览器，那么通过插件的话，本身就没有任何现成的接口可以直接在编程语言上操作它的，在这里我们采用websocket，websocket是一个网络传输协议，市面上许许多多的工具都借助它来与浏览器进行交互，而我们亦可通过它来告诉我们的插件，让它去帮我们操作浏览器。

总结

本篇为大家简单的介绍了一些常见的web自动化测试组件，它们使用非常方便，但相对的资源消耗也非常厉害，并且它们也存在检测点，而通过扩展插件操控的方式来说虽然复杂些许，但效果还是客观的，接下来我会更深入的去讲解如何通过扩展插件实现自动化操作，欢迎大家继续参阅！

原文转至IT猫之家，转载请注明出处！