CentOS7.0 （Linux）快速配置Scrapy爬虫开发环境

由于专门为黑苹果买的SSD容量很低，用来跑数据明显不现实。
所以把机房的主机装上CentOS 用来跑数据，执行的最小化安装，没有图形化界面，从U盘拷贝肯定是有点困难的。所以就用一些Linux命令来完成这些工作。

一、远程拷贝

scp 是远程拷贝命令 用这个命令可以将你的文件 或者 文件夹搬运到你要访问的主机上

scp [可选参数] file_source file_target 
# 例如 针对于单文件a.text 拷贝到同一局域网下一台Linux主机的目录/home下
scp a.txt [email protected]:/home 
# 针对于 文件夹 b 拷贝到同一局域网下一台Linux主机的目录/home下
scp -r b [email protected]:/home

例如我的就是
scp -r /Users/eno/PycharmProjects/S_Topic [email protected]:/home

二、配置基本的开发环境

CentOS自带Python2.7，不过没有pip 所以需要安装（pip相当于CentOS的yum）

第一步：安装拓展源

EPEL (Extra Packages for Enterprise Linux)是基于Fedora的一个项目，为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux.

yum install wget # 若有则忽略
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm 

**第二步 ** 安装python-pip

sudo yum -y install python-pip

**第三步 ** 安装Python的必要的开发环境

yum install gcc libffi-devel python-devel openssl-devel

第四步 清除cache

sudo yum clean all

三、创建虚拟环境

第一步 安装virtualenv

virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。

virtualenv用于创建独立的Python环境，多个Python相互独立，互不影响，它能够：

1. 在没有权限的情况下安装新套件
2. 不同应用可以使用不同的套件版本
3. 套件升级不影响其他应用

安装方式

sudo pip install virtualenv

第二步 创建

virtualenv venv

第三步 激活

source venv/bin/active```
# 四、在虚拟环境中快速部署Scrapy开发环境

## 第一步 导出安装包

导出原项目的开发环境所需要的安装包

导出到requirements.txt

pip freeze > <目录>/requirements.txt

## 第二步 拷贝requirements.txt至CentOS下
 使用scp 或者 U盘拷贝都可 

## 第三步 批量安装开发包

注意 必须在virtualenv 环境下

pip install -r requirements.txt.

## 第四步 测试
由于mongodb 环境还没搭建，所以搭建mongodb数据库再来测试