Scrapy_spider文件操作

spider
异步框架

第一步 (基本)
  • 改类属性
  • response.xpath分析
  • 遍历数据列表,xpath分析数据
  • 在items.py__写字段scrapy.Field()
  • 构建字段item
  • yield 传递字段 --->管道
第二步 (parse传递)
  • yield 构建请求对象,参数,回调 类方法
  • 在新的方法 重复第一步
  • pipelines配置__init__
  • 返回 item
数据库
  • 定义 setting 文件
  • 类方法 crawler 数据库
  • 数据库方法

你可能感兴趣的:(Scrapy_spider文件操作)