Scrapy学习——环境搭建

本项目使用mac开发，环境配置都是基于mac的环境，python版本为2.7，IDE为PyCharm，数据库为mysql，redis，elasticsearch

下载Scrapy

• mac自带工具easy_install下载pip
• pip install scrapy

注意：mac中自带自带的python2.x的库，因此默认安装的包是不能被删除的，原因很简单：Scrapy依赖six库，但是系统的six库比较老，安装scrapy需要卸载之后安装一个新的。但是Mac OS本身也依赖six，导致无法删除，因此没有办法安装Scrapy。

Found existing installation: six 1.4.1
DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. 
This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):

解决方法：使用virtualenv安装虚拟环境

  sudo pip install virtualenv
//下载虚拟环境
  sudo virtualenv scrapyenv
//安装一个名字为'scrapyenv'的虚拟环境
  cd scrapyenv
  source bin/activate
//激活虚拟环境
  sudo pip install Scrapy
//下载Scrapy

• 安装路径为cd /Library/Python/2.7/site-packages/scrapyenv/bin
• 安装之后的虚拟环境中的目录结构

.
├── cache
├── plugins
│   └── pyenv-virtualenv
│       ├── bin
│       ├── etc
│       │   └── pyenv.d
│       ├── shims
│       └── test
│           ├── stubs
│           └── tmp
├── shims
└── versions
    ├── 3.5.1
    │   ├── bin
    │   ├── envs
    │   │   ├── my-virtualenv-3.5.1
    │   │   └── new-env-3.5.1
    │   ├── include
    │   │   └── python3.5m
    │   ├── lib
    │   │   ├── pkgconfig
    │   │   └── python3.5
    │   └── share
    │       └── man
    ├── my-virtualenv-3.5.1 -> /Users/jerry/.pyenv/versions/3.5.1/envs/my-virtualenv-3.5.1
    └── new-env-3.5.1 -> /Users/jerry/.pyenv/versions/3.5.1/envs/new-env-3.5.1

在PyCharm中添加解释器

• 新建一个项目
• 选择本地刚刚新建的虚拟环境

image.png

• 添加虚拟环境地址

image.png

/Library/Python/2.7/site-packages/scrapyenv/bin/python

image.png

添加成功。

指定虚拟环境中的python版本

virtualenv test --python=python3.5

为pip添加豆瓣源

https://pypi.douban.com/simple/
//豆瓣源地址

安装包时输入

pip install -i https://pypi.douban.com/simple/  xxx
// xxx为下载的包名