Scrapy爬取豆瓣网电影信息（1）

一、打开MongDB数据库

1、使用dos窗口切换到mongodb安装的bin目录下，

2、启动服务。输入命令：mongod --dbpath C:\data

E:\mongoDb\bin>mongod --dbpath C:\data

注：--dbpath是指定数据库存放目录，要注意dbpath前有两个“-”。

二、创建scrapy项目

1、dos窗口输入命令：scrapy startproject 项目名

2、dos窗口进入项目的spiders文件，创建爬虫文件：scrapy genspider 文件名 域名，这个文件中一般写xpath、xml

创建的项目中文件说明：

scrapy.cfg      说明：项目配置文件，定义了项目配置文件路径，部署信息等，

settings.py     说明：项目全局设置

pipelines.py   说明：数据的清洗和存储

middlewares.py

items.py         说明：item定义，一般存放所要爬取信息列表

__init__.py      

spiders文件夹     说明：存放爬虫文件