1.scrapy startproject projectname(项目名称)
进入到spiders文件夹下创建爬虫文件
2.scrapy genspider 爬虫文件名称 网站的域
3.使用pycharm打开项目,设置虚拟环境
进入爬虫py文件zzw.py
爬虫文件继承scrapy.Spider
先要指定爬虫文件的名称(唯一)
allowed_domains:设置允许爬取的域 (可以指定多个)
start_urls:设置起始的url (可以指定多个)
根据起始url构建请求,从引擎队列里拿到请求,最终经过下载中间件进行请求的发起,然后拿到响应给爬虫文件后调用回调方法parse
parse里接收响应结果,解析数据,提取新的url
使用response.xpath可以直接根据xpath语法提取目标数据
使用yield将item数据交给管道
进入items里
items里定义要爬取的字段
pipelines.py 管道 ，在管道里面做数据的过滤和数据的持久化
将数据存到本地
注意：在使用管道之前，要先激活管道，需要在setings 文件中激活
setting.py 设置文件
将注释掉的代码打开，在这里进行管道的激活，前面表示路径，后面跟的数字，数字越小表示优先级越高，越先经过哪个类
ITEM_PIPELINES = { 'chinaz.pipelines.ChinazPipeline': 300,}
回到 pipelines.py 管道文件中
定义 open_spider 方法，是一个可选的方法，有需要的时候就去调用，当spider 方法开启的时候，会执行，并且只调用一次，表示 爬虫开始
定义 close_spider方法， 和open_spider 方法一样，只调用一次，表示，爬虫结束
mongodb 数据持久化 将数据存入到 mongodb 数据库中
return item 的作用：
在初始化中创建数据库连接 例如：self.client = pymongo.MongoClient(host,port)
获取数据库 例如： self.db = self.client[db]
@classmethod 是一个类方法,crawler:可以从crawler里面获取到爬虫的核心组件（从settings.py设置文件中获取相关参数）
def from_crawler(cls, crawler):
例如：host = crawler.settings['MONGO_HOST']
port = crawler.settings['MONGO_PORT']
return cls(host,port)
在 setting.py 设置文件中 写入mongodb数据库相关配置如下代码
MONGO_HOST = '127.0.0.1'
MONGO_PORT = 27017
MONGO_DB = 'chinaz-99'
在 item.py 定义方法 例如： def get_collection_name(self): return 'categroy'
回到 pipelines.py 管道文件中
col_name = self.db[item.get_collection_name()]
col_name.insert(dict(item))
定义 close_spider()方法 爬虫结束的时候会调用 self.client.close()
mysql 数据库持久化，将数据存放在mysql 数据库中
在 piplines.py 管道文件中做mysql 的数据持久化
创建一个数据库连接 self.client = pymysql.Connect(host,user,pwd,db,charset=charset)
创建游标 self.cursor = self.client.cursor()
在setting.py 设置文件中 写入mysql 数据库相关配置