Scrapy-Splash的安装(windows篇)

Scrapy-Splash是一个Scrapy中支持Javascript渲染的工具。

Scrapy-Splash的安装分为两个部分，一个是Splash服务的安装，通过Docker，安装后会启动Splash的服务，我们可以通过他的接口来实现JavaScript页面的加载，另一个是Scrapy-Splash的python库的安装，安装之后可在Scrapy中使用Splash。

1. Docker的安装

到Docker官网下载相应的版本，docker桌面版暂且支持Windows10专业版 企业版 教育版

其他版本的安装参考以下教程

利用 docker toolbox 来安装，国内可以使用阿里云的镜像来下载，下载地址：http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

安装比较简单，双击运行，点下一步即可，可以勾选自己需要的组件：

docker toolbox 是一个工具集，它主要包含以下一些内容：

• Docker CLI - 客户端，用来运行 docker 引擎创建镜像和容器。
• Docker Machine - 可以让你在 Windows 的命令行中运行 docker 引擎命令。
• Docker Compose - 用来运行 docker-compose 命令。
• Kitematic - 这是 Docker 的 GUI 版本。
• Docker QuickStart shell - 这是一个已经配置好Docker的命令行环境。
• Oracle VM Virtualbox - 虚拟机。

下载完成之后直接点击安装，安装成功后，桌边会出现三个图标，入下图所示：

如果安装了 Hyper-V，可能将无法正常使用，尝试启动 Docker QuickStart Terminal，将会出现以下错误消息：

Running pre-create checks...
Error with pre-create check: "This computer is running Hyper-V. VirtualBox won't boot a 64bits VM when Hyper-V is activated. Either use Hyper-V as a driver, or disable the Hyper-V hypervisor. (To skip this check, use --virtualbox-no-vtx-check)"
Looks like something went wrong in step ´Checking if machine default exists´... Press any key to continue...

我的解决方式是直接把 Hyepr-v 禁用

如果出现下图情况

则需要到https://github.com/boot2docker/boot2docker/releases下载最新的，

并复制到C:\Users\Administrator\.docker\machine\cache目录下即可

2. 安装Splash 

安装命令如下：

docker run -p 8050:8050 scrapinghub/splash

  安装Scrapy-Splash

pip3 install scrapy-splash