scrapy项目搭建与使用 (1)

本篇 介绍scrapy的项目环境搭建

---

虚拟环境的使用

下载模块

pip install -i https://pypi.douban.com/simple virtualenv

为使用workon查询已创建虚拟环境,执行命令

pip install virtualenvwrapper-win

创建虚拟环境

mkvirtualenv 虚拟环境名  (默认安装目录,更改目标参考百度)

使用虚拟环境

workon 虚拟环境名

scrapy 模块的安装

pip install -i https://pypi.douban.com/simple scrapy

常见报错

• 跟安装版本有关,可至以下网址下载缺少的模块进行本地安装

  http://pypi.doubanio.com/simple/
  

创建scrapy项目

进入虚拟环境,在自定义某个文件目录下,执行命令创建项目

scrapy startproject 项目名

项目树如下:

SteamSpider
    │  [main.py]  		后期自己添加 方便执行scrapy项目
    │  scrapy.cfg
    │
    ├─.idea
    │  │  misc.xml
    │  │  modules.xml
    │  │  SteamSpider.iml
    │  │  workspace.xml
    │  │
    │  └─inspectionProfiles
    └─SteamSpider
        │  items.py
        │  middlewares.py
        │  pipelines.py
        │  settings.py
        │  __init__.py
        │
        ├─spiders
        │  │  [steam.py]		为下一步骤生成的python爬虫文件
        │  │  __init__.py
        │  │
        │  └─__pycache__
        │          __init__.cpython-36.pyc
        │
        └─__pycache__
                settings.cpython-36.pyc
                __init__.cpython-36.pyc

---

下一篇 将详细介绍scrapy项目框架