小爬虫实践项目-虚拟环境搭建及scrapy安装

虚拟环境搭建
安装虚拟环境工具

pip install virtualenvwerpper

修改env环境变量
新建WORKON_HOME
路径可以自定义，我的是F://Envs
创建虚拟环境

mkvirtualenv py3scrapy

创建完成后会有标识

(py3scrapy) C:\Users\

接下来安装scrapy，可以使用豆瓣的镜像文件

(py3scrapy) C:\Users\志刚>pip install -i https://pypi.douban.com/simple scrapy

可能会遇到错误
比如安装twisted

building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual 
C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

意思是你需要安装 Microsoft Visual C++ 14.0，但是电脑上有，其实只是这个依赖包的问题，可以到下面的网站直接下载twisted

https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

图片.png

版本选择可以根据你的需要来

图片.png

cp 后面是python版本号，win32就是32位的，amd指的是amd处理器，不用理解
下载完成后cd到文件下载目录进行安装

pip install  Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl

这个安装也需要在虚拟环境中安装，如果你不小心退出了

workon py3scrapy

就可以进入
安装完成后，再次安装scrapy

(py3scrapy) C:\Users\志刚>pip install -i https://pypi.douban.com/simple scrapy

即可完成安装