Ubuntu 使用scrapy-splash

配置docker

1.更新apt索引：

$ sudo apt-get update

2.安装包允许apt通过HTTPS使用仓库：

 sudo dpkg --configure -a

 sudo apt-get install apt-transport-https ca-certificates curl software-properties-common


3.添加Docker官方GPG key：

 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

4.设置Docker稳定版仓库：


　sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

5.更新apt源索引 

 sudo apt-get update

6.安装最新版本Docker CE（社区版） 

 sudo apt-get install docker-ce

7.检查版本：
 docker --version

8.检查CE是否正确安装 
 sudo docker run hello-world

关于splash的配置

1.开启docker：
   sudo service docker start

   关闭docker：

   sudo service docker stop

2.重启docker：

　sudo systemctl restart docker.service

3.安装splash所依赖的数据：

    sudo docker pull scrapinghub/splash

    可以先使用下面的命令对splash镜像拉取进行加速（代理完成后系统会提示重启docker）：

    sudo curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://xxxxxx.m.daocloud.io

4.打开splash镜像

    sudo docker run -p 8050:8050 scrapinghub/splash

5.下载成功后在浏览器输入：http://localhost:8050，开启对splash的监听

 

注意，这种方法并不是一劳永逸的，依旧会被大型网站设置反爬策略。最要命的就是网站设置验证码，而python的图像识库目前很难识破这些网站的验证码，恐怕要加入更为先进的图像识别工具