scrapy item的详细讲解

首先要明确要获取的目标内容然后编写items 文件：定义Item非常简单，只需要继承scrapy.Item类，并将所有字段都定义为scrapy.Field类型即可
示例：
import scrapy
class Product (scrapy.Item):
name = scrapy.Field()
price = scrapy.Field()
stock = scrapy.Field()
last_updated = scrapy.Field(serializer=str)

spider文件：

spider的类及其属性和方法：

class scrapy.spiders.Spider
每个spider都是继承这个类其仅仅请求给定的 start_urls/start_requests ，
并根据返回的结果(resulting responses)调用spider的 parse
name#爬虫名称，str，必须
allowed_domains#默认跟踪的url必须在这个域中，下面这个方法解决长因此的问题
禁用OffsiteMiddleware的时候可以使不在allowed_domains的URL也可以跟进
start_urls#url列表
start_requests()#
未指定URL启用，使用start_url中url跑默认一次，可定制初次发送的请求比如post，
指定URL时默认make_request_from_url()被调用创建request对象(一次性创建)
def start_requests(self):##标准写法
return [scrapy.FormRequest("http://www.example.com/login",formdata={'user': 'john', 'pass': 'secret'},callback=self.logged_in)]
make_requests_from_url(url)#有start_request()就覆盖了他
接收URL返回request对象其中包含parse()作为回调函数dont_filter自动过滤属性默认开启，默认被start_requests()调用
parse(response)#不指定回调函数，默认被指定，负责处理response并返回处理的数据以及(/或)跟进的URL，必须返回一个包含 Request 及(或) Item 的可迭代的对象
样例：代码写的啰嗦，这里展示了使用start_request()方法覆盖start_url
import scrapy
from myproject.items import MyItem
class MySpider(scrapy.Spider):
name = 'example.com'
allowed_domains = ['example.com']
def start_requests(self):
yield scrapy.Request('http://www.example.com/1.html', self.parse)
yield scrapy.Request('http://www.example.com/2.html', self.parse)
yield scrapy.Request('http://www.example.com/3.html', self.parse)
def parse(self, response):
for h3 in response.xpath('//h3').extract():
yield MyItem(title=h3)
for url in response.xpath('//a/@href').extract():
yield scrapy.Request(url, callback=self.parse)
scrapy也支持使用-a的方式在命令行上去为爬虫添加属性：
scrapy crawl myspider -a category=electronics！