JavaScript 动态渲染页面爬取(二) —— 基于 Splash

一、安装 Splash

Splash 是一个 JavaScript 渲染服务，是一个含有 HTTP API 的轻量级浏览器，它还对接了 Python 中的 Twisted 库和 QT 库。利用它，同样可以爬取动态渲染的页面。利用 Splash，可以实现如下功能：

1. 异步处理多个网页的渲染过程；
2. 获取渲染后页面的源代码或截图。
3. 通过关闭图片渲染或者使用 Adblock 规则的方式加快页面渲染的速度；
4. 执行特定的 JavaScript 脚本；
5. 通过 Lua 脚本控制页面的渲染过程；
6. 获取页面渲染的详细过程并以 HAR(HTTP Archive) 的格式呈现出来。