selenium工作原理和反爬分析
一、 Selenium
Selenium是最广泛使用的开源Web UI(用户界面)自动化测试套件之一，支持并行测试执行。Selenium通过使用特定于每种语言的驱动程序支持各种编程语言。Selenium支持的语言包括C#，Java，Perl，PHP，Python和Ruby。Selenium支持的浏览器包括Internet Explorer，Mozilla Firefox，Google Chrome和Safari。
二、 Selenium WebDriver
WebDriver是由Selenium主持的W3C的一个标准。利用浏览器原生的API来与浏览器进行交互。使用了Client-Server的模式，还实现了一个基于HTTP的服务，对selenium提供了一套API。不同了浏览器的厂商提供自己对应的webdriver，Chrome的Chromedriver，Firefox就有专门的FirefoxDriver等，但是对外提供的API是一致的。Webdriver可以通过浏览器原生的API，对浏览器进行各种操作，由于是厂商自己提供的，稳定性、可靠性和安全性都是有保障的。
三、浏览器
常见的浏览器IE、Microsoft Edge、Chrome/Chromium、Firefox、Safari等，selenium都支持。Chrome和Chromium对比：
| Chromium | Chrome |
|---|---|
| 开源项目 | 不是开源项目 |
| 开发版，更新速度快，会添加新功能，性能稍低 | 是正式版，更新速度慢，比较稳定，性能高 |
| 没有自动更新 | 联网可以检测更新 |
四、Selenium工作原理
各个浏览器厂商根据WebDriver协议实现各自浏览器的webdriver，webdriver是可以向selenium客户端提供统一http接口的，常见的开发语言都可以实现selenium客户端Python、Java、C#等。
Webdriver协议接口 https://www.w3.org/TR/webdriver1/#list-of-endpoints
以Python selenium为例，实现了相关的接口协议
可以看出selenium支持多种浏览器。
调用Chrome浏览器时，selenium初始化过程中先，将chromedriver作为参数初始化Server类，并且执行start方法。
进到start方法中可以看到，执行了一个CMD的命令，就是在启动chromedriver.exe服务。
在初始化Server过程中起到了给chromedriver指定了一个空闲的端口号。
可以看到后台进程chromedriver进程并且监听51650端口
Selenium 发送http请求给webdriver，启动浏览器（有些网站反爬策略，会监控是否是webdriver驱动的浏览器）
当打开一个网页是调用get方法，其实是给webdriver发送对应的http请求
五、反爬检测
1、 检测浏览器指纹
检测网站 https://bot.sannysoft.com/，左边是selenium启动的chromium，右边是手动启动。
2、 浏览器启动参数
查看命令 wmic process where caption=“chrome.exe” get caption,commandline /value
Selenium通过webdriver启动浏览器参数
手动启动浏览器参数
3、检测浏览器驱动
如果使用webdriver启动的浏览器，会被检测window.navigator.webdriver
4、 检测webdriver特征
Webdriver源码：
检测结果淘宝滑动验证失败：
通过js可以看出对webdriver的特征检测等
六、优化方案
1、 给webdriver添加日志选项，方便出问题时定位分析。
2、 使用undetected_chromedriver隐藏特殊标识
1）、打开浏览器的时，注入js修改webdriver属性值。
3、 修改webdriver二进制文件中的特征值
4、 先启动浏览器，然后再使用webdriver连接控制。
七、扩展（Chrome DevTools Protocol）
谷歌浏览器开发协议，Chrome DevTools 就是一个 Web 服务工具，它通过使用 Chrome DevTools Protocol 与后端进行交互。浏览器启动时加上参数 --remote-debugging-port={port}就可以通过发送http和websocket请求直接控制浏览器。
启动浏览器chrome.exe --remote-debugging-port=9255
发送请求查看浏览器信息，包含websocket连接url。
新建浏览器标签页，其中页包含了新标签页的websocket连接url。
Cdp开源信息 https://github.com/ChromeDevTools/awesome-chrome-devtools 支持的语言和第三方库。
Python的第三方库
- Pychrome调用简单，但是版本较老，很久没有维护，（网捕手也集成这个库）
- Pyppeteer是用python改写官方提供的js代码，支持异步，使用广泛容易被反爬策略识别。