通用爬虫

创建项目
scrapy startproject 项目名字

创建爬虫
scrapy genspider -t crawl 爬虫名字 域

rules 规则属性的参数：是一个元阻，可以放多个Rule 对象

创建Rule:
LinkExtractor:设定提取的规则
（allow,deny,allow_dome...）

callback 设置回调函数

follwer 是否跟进

 rules = (
      allow:一般跟一个正则表达式，表示允许的url*********************
      deny:表示一个正则表达式，符合正则表达式的链接，我们不链接，优先级比allow高
      allowed_domains:提取额链接，必须在我设置的域下面
      deny_domains:提取链接时，一定不能提取deny_domains设置的域下
      restrict_xpaths:刚提取连接的时候我们可以定位到耨一些标签，提取标签下符合规则的链接********
      tags:可以指定要提取那些标签
      attrs:;;可以提取哪一属性
  restrict_css:当提取连接时可以使用css语法  **************
  process_links:设置一个函数，根据正则获取的url,可以在回调函数中获取到
  process_request:设置一个函数，可以在这个回调方法中拦截所有根据正则规则提取到的url构建的Request对象
      Rule(LinkExtractor(
      allow=('.*?qwd=&p=\d+',),
      deny=(),
      allowed_domains=(),
      deny_domains=(),
      restrict_xpaths=(),
      tags=(),
      attrs=(),
      restrict_css=()
   ),

注意：设置回调的时候一定不能重写parse方法
2、要活取起始url的响应结果，必须重写parse_start_url
3、在设置Rule对象的时候，如果没有callback回调函数，表示默认跟进
什么时候 会用到用用爬虫？
当提取数据的目标网站的网址很有规律，并且各个模块很清晰，我们就可以使用通用爬虫