scrapy.spider

https://doc.scrapy.org/en/latest/topics/spiders.html

方法	描述	备注
name	定义spider名字的字符串(string)，必须唯一	必须
allowed_domains	限定域名	可选
start_urls	起始urls
custom_settings	当启动spider时,该设置将会覆盖项目级的设置.
crawler	该属性在初始化class后,由类方法 from_crawler() 设置, 并且链接了本spider实例对应的 Crawler 对象.
settings	设置当前spider的配置
logger
from_crawler(crawler, *args, **kwargs)
start_requests()	返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。
make_requests_from_url(url)	该方法在初始化request时被 start_requests() 调用，也被用于转化url为request。
parse(response)	当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。
log(message[, level, component])	使用 scrapy.log.msg() 方法记录(log)message。
closed(reason)	当spider关闭时，该函数被调用。