Python分布式爬虫课程 Scrapy打造搜索引擎-（2）虚拟环境配置

1.安装Python虚拟环境：pip install virtualenv

如果出现time out是由于pip 默认使用Python的官方源pypi.python.org/pypi，导致我们经常使用pip装包时速度过慢或者无法安装（请求超时）等问题，

所以国内用户建议使用pip 国内源。

目前常用的 pip 国内源有：

豆瓣：http://pypi.douban.com/simple/（推荐）

清华：http://pypi.tuna.tsinghua.edu.cn/simple

提示：Python3默认已经再带pip

如果没有安装pip包，可以官网下载get-pip.py文件，然后执行安装命令：

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

python get-pip.py -i http://pypi.douban.com --trusted-host pypi.douban.com

下面我们以使用豆瓣源为例来讲解，同时豆瓣源已经支持http 和 https 两种协议。

例如：使用pip下载virtualenv

sudo pip install -i https://pypi.douban.com/simple/ virtualenv

参数说明：

-i ：使用pip下载时指定源

安装完成后可以新建一个虚拟环境测试一下

新建虚拟环境：

virtualenv scrapytest

在C盘中如果有scrapytest文件夹则代表虚拟环境创建成功

进入scrapytest/scripts文件夹运行：activate.bat命令打开虚拟环境，如果最左侧显示（scrapytest）则代表以及成功打开虚拟环境，输入：deactivate.bat命令退出虚拟环境

红线标记的是当前虚拟环境使用Python的版本

使用指定的Python版本创建虚拟环境：

命令：virtualenv -p ***\python.exe ++

***:这里换成你Python的安装路径

后面记得加上\python.exe

++：代表你的虚拟环境名称，根据自己需要设置

如下图所示是我的Python安装路径，一般默认安装的都是这个路径

例如 使用命令：virtualenv -p C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe scrapypy3创建一个名为scrapypy3的虚拟环境

虚拟环境之virtualenvwrapper

virtualenv的一个最大的缺点就是：每次开启虚拟环境之前要去虚拟环境所在目录下的bin 目录下source 一下activate，这就需要我们记住每个虚拟环境所在的目录。

并且还有可能你忘记了虚拟环境放在哪，所有可以使用virtualenvwrapper管理你的虚拟环境（virtualenv），其实他就是统一管理虚拟环境的目录，并且省去了source的步骤。

优点：

将所有虚拟环境整合在一个目录下

管理（新增，删除，复制）虚拟环境

切换虚拟环境

安装virtualenvwrapper-win ：

pip install virtualenvwrapper-win 

或者使用豆瓣源安装：

pip install -i https://pypi.douban.com/simple/ virtualenvwrapper-win

（注意：windows下安装virtualenvwrapper之后提示workon不是内部或外部指令，需要在virtualenvwrapper后面加上-win就可以正常使用了）

测试一下，创建一个虚拟环境：mkvirtualenv scrapypy3   可以看到已经成功创建并且可以直接自动打开新建的虚拟环境，所以这个使用是非常方便的

当前创建的虚拟环境默认在：C:\Users\Administrator\Envs目录中，现在可以把这个目录更改到D盘中 

首先在D盘新建一个Envs文件夹，复制当前路径

打开控制面板-系统和安全-系统-高级系统设置-环境变量-系统变量-点击新建，

变量名：输入 WORKON_HOME， 变量值：粘贴自定义的路径，确定保存即可

virtualenvwrapper常用命令：

mkvirtualenv环境名：创建环境

workon：当前存在环境列表

workon 环境名：选择激活环境

rmvirtualenv 环境名：删除环境，需要先退出虚拟环境

mkproject mic：创建mic项目和运行环境mic

mktmpenv：创建临时运行环境

lsvirtualenv：列出可用的运行环境

cdvirtualenv：进入虚拟环境目录

cdsitepackages：进入虚拟环境的site-packages目录

lssitepackages: 列出当前环境安装了的包

deactivate：退出环境

virtualenvwrapper：提供环境名字的tab补全功能。当有很多环境， 并且很难记住它们的名字时，这就显得很有用。

完整官网介绍：https://virtualenvwrapper.readthedocs.io/en/latest/command_ref.html

安装requests:

pip install ruquests

安装scrapy:

pip install -i https://pypi.douban.com/simple scrapy

Windows安装scrapy时提示：Could not find function xmlCheckVersion in library libxm12. Is libxml2 installed?错误  解决办法如下：

打开：https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 

找到lxml文件 pc代表Python版本号  然后选择win32或者win64 找到对应的版本下载

下载完成后进入.whl所在的文件夹，复制带后缀的完整文件名，然后打开虚拟环境，执行命令即可完成安装

pip install 带后缀的完整文件名

安装完成后重新执行pip命令安装scrapy就能顺利安装成功

使用指定Python版本创建虚拟环境

mkvirtualenv --python=(python程序版本路径)\python.exe venvname # venvname 虚拟环境名称

或 mkvirtualenv -p python3.5 venvname # venvname 虚拟环境名称

现在可以看到使用的是Python3.5的版本