爬虫实战之win10家庭版安装docker(含填坑总结)

scrapy做爬虫任务,只能爬取静态网页。

为了爬取动态网页,需要用到scrapy-splash

配置安装scrapy-splash需要docker

docker的安装参考如下:

环境:win10家庭版,没有Hyper-v

写在前面:由于是win10家庭版,不是专业版,所以不能使用Docker for Windows,因此需要安装Docker Toolbox

整个安装过程参考的博文:win10家庭版安装docker

过程不再赘述,上面博客的博主已经写的很详细了。

踩坑总结:

1、安装docker toolbox成功后无法成功拉取镜像源

原因:使用的国外镜像源速度太慢

解决办法:更换国内的镜像源

具体办法:

(1)更换阿里云的镜像源

首先,打开阿里云网站:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors 并注册

注册成功后,进入下图页面:

爬虫实战之win10家庭版安装docker(含填坑总结)_第1张图片

 

你会获得你自己的专属加速器地址,把这个地址复制下来。

打开你创建的default虚拟机所在的文件资源管理器的位置,找到文件config.json

爬虫实战之win10家庭版安装docker(含填坑总结)_第2张图片

 打开这个文件(我是在pycharm中打开的),在第49行的RegistryMirror列表中添加刚刚复制的加速器地址,如图:

爬虫实战之win10家庭版安装docker(含填坑总结)_第3张图片

保存并关闭。

然后在cmd命令行中执行以下语句:

docker-machine ssh default

其中的default就是之前创建的虚拟机的名字

sudo vi /var/lib/boot2docker/profile

 在--label provider=virtualbox的下一行添加:--registry-mirror http://xxxxxxxxxx.aliyun.com

(其中,http://xxxxxxxx.aliyun.com是之前在阿里云网页上复制的那个加速器地址!)

保存并退出。

然后执行命令:

exit

最后执行命令:

docker-machine restart default

大功告成!

(2)更换其他镜像源

网传很优秀的一个镜像源网址:https://www.daocloud.io/mirror(ps:这里的docker toolbox镜像源更换方法在最下面的一个小字的链接里)

很多网友博客中都是这个镜像源,但我试了一下发现并没有阿里云的快,因此果断放弃。 

 

参考博客:

给我莫大帮助的博客:win10家庭版安装docker

让我恍然大悟的博客:Windows上Docker Toolbox修改镜像源

提供镜像源源头的博客:docker使用阿里云镜像仓库

向以上三位大佬表示感谢!

 

 

 

 

 

你可能感兴趣的:(随笔记,爬虫实战)