scrapy爬虫第一阶段——爬取多级url

实验需要爬取一族pm2.5数据，纠结了几天爬虫，总算取得阶段性胜利，至少够项目用了

总结一下思想，就是首先设一个start url作为入口，爬到需要的url后将其链接传递到下一级parse，以此类推

原理再研究，会用先：

class DmozSpider(scrapy.spiders.Spider):
    name = "dmoz0" //爬虫名称，在每次调用爬虫时需要
    allowed_domains = ["www.tianqihoubao.com"] //注意这里非常重要，它定义整个搜索的范围，既往下的任何搜索都在这个域名的范围内，注：不是链接！
    start_urls = [
        "http://www.tianqihoubao.com/aqi/"
    ]            //这一部分设定起始url

    def parse(self, response):   //scrapy框架默认传入parse
        sel = Selector(response)
        sites = sel.xpath('//dl')
        url = "http://www.tianqihoubao.com"
        items = []
        for site in sites:
            provence = site.xpath('dt/b/text()').extract()
            print(provence)
            citys = site.xpath('dd/a')
            for city in citys:
                name = city.xpath('text()').extract()
                cityurl = city.xpath('@href').extract()
                cl = url + cityurl[0]
                item = CityItem()
                item['name'] = name
                item['url'] =url + cityurl[0]
                items.append(item)
                yield scrapy.Request(cl, callback=self.parse_item)     //yield生成请求，将新的url加入到爬取队列中，cl为url，callback为新的爬取调用的parse名称，这个项目新定义的为parse_item。
                print("000")
    def parse_item(self, response):
         sell = Selector(response)
         sites = sell.xpath('//h2')
         print("999")