基于scrapy框架下爬取智联招聘--并把信息存储下来

1.在之前爬取的JobSpider中的Terminal终端中，直接创建新的文件

scrapy genspider zlzp baidu.com

2.开始解析数据
1) 先大致规划一下需要几个函数

2) 函数1跳转到函数2使用 yield scrapy.Request(url,callback,meta,dont_filter)

# -*- coding: utf-8 -*-
import scrapy
from ..items import JobspiderItem

# 智联招聘信息获取
class ZlzpSpider(scrapy.Spider):
    name = 'zlzp'
    allowed_domains = ['zhaopin.com']
    start_urls = [
        'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC%2B%E4%B8%8A%E6%B5%B7%2B%E5%B9%BF%E5%B7%9E%2B%E6%B7%B1%E5%9C%B3%2B%E6%AD%A6%E6%B1%89&kw=python&p=1&isadv=0',
        'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC%2B%E4%B8%8A%E6%B5%B7%2B%E5%B9%BF%E5%B7%9E%2B%E6%B7%B1%E5%9C%B3%2B%E6%AD%A6%E6%B1%89&kw=php&p=1&isadv=0',
        'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC%2B%E4%B8%8A%E6%B5%B7%2B%E5%B9%BF%E5%B7%9E%2B%E6%B7%B1%E5%9C%B3%2B%E6%AD%A6%E6%B1%89&kw=html&p=1&isadv=0'
    ]

    def parse(self, response):
        yield scrapy.Request(
            url=response.url,
            callback=self.parse_job_info,
            meta={},
            dont_filter=True,
        )

    def parse_job_info(self, response):
        """
            解析工作信息
        :param response:
        :return:
        """
        zl_table_list = response.xpath("//div[@id='newlist_list_content_table']/table[@class='newlist']")
        for zl_table in zl_table_list[1:]:
            # tbody 是网页自动生成的 运行起来看效果/或者右键查看源码
            # zl_td_list = zl_table.xpath("tr[1]/td")
            # 问题：td 数不是5个，会报错--索引越界
            # td1 = zl_table_list[0]
            # td2 = zl_table_list[1]
            # td3 = zl_table_list[2]
            # td4 = zl_table_list[3]
            # td5 = zl_table_list[4]

            # 查找元素尽量用xpath定位，少用索引，因为有可能出现索引越界错误
            # 只有在不明确错误时使用异常捕获
            # //text()获取标签内所有文本
            # extract()把列表里的元素转换成文本,本身还是列表
            # extract_first('默认值')把列表里的元素转换成文本并取出第一个，如果取不到，返回默认值
            td1 = zl_table.xpath("tr/td[@class='zwmc']/div/a//text()").extract()
            # map返回的是一个列表 td1 = list(map(str.strip, td1))
            td1 = map(str.strip, td1)
            job_name = "".join(td1).replace(",", "/")
            # strip()只能清除两端的
            fan_kui_lv = zl_table.xpath("tr/td[@class='fk_lv']/span/text()").extract_first('没有反馈率').strip()
            job_company_name = zl_table.xpath("tr/td[@class='gsmc']/a[1]/text()").extract_first('没有公司名称').strip()
            job_salary = zl_table.xpath("tr/td[@class='zwyx']/text()").extract_first('面议').strip()
            job_place = zl_table.xpath("tr/td[@class='gzdd']/text()").extract_first('没有工作地点').strip()
            print(job_name, fan_kui_lv, job_company_name, job_salary, job_place)
            item = JobspiderItem()
            item['job_name'] = job_name
            item['job_company_name'] = job_company_name
            item['job_place'] = job_place
            item['job_salary'] = job_salary
            item['job_time'] = "没有时间"
            item['job_type'] = "智联招聘"
            item['fan_kui_lv'] = fan_kui_lv
            yield item
        yield scrapy.Request(
            url=response.url,
            callback=self.parse_next_page,
            meta={},
            dont_filter=True,

        )

    def parse_next_page(self, response):
        """
            解析下一页
        :param response:
        :return:
        """
        #  //div[@class='pagesDown']/ul/li/a[text()='下一页']/@href
        next_page = response.xpath(" //a[text()='下一页']/@href").extract_first('没有下一页')
        if next_page:
            yield scrapy.Request(
                url=next_page,
                callback=self.parse_job_info,
                meta={},
                dont_filter=True,
            )

3.其他的不用设置，直接利用JobSpider中存在的文件

4.运行结果如下：