基于scrapy的腾讯社会招聘爬虫

2018年6月9日复习scrapy爬虫框架
1.本人操作系统为Win10,python版本为3.6,使用的命令行工具为powershell,所起作用和cmd的作用相差不大。
2.进入powershell：在你的爬虫程序文件夹中，在按住shift键的情况下，单击鼠标右键，显示如下图。

1.png

点击“在”此处打开Powershell窗口"，可以实现基于当前目录打开powershell
3.在powershell中输入命令"scrapy startproject Tencent",确认命令正确以后运行，运行正确的结果应该如下图。

2.png

这个命令起到的效果是新建了一个工程名为Tencent的工程目录。
4.在powershell中输入命令"cd T",然后按一下Tab键，会自动补全为命令"cd .\Tencent",运行该命令。
这个命令起到的效果是让powershell进入工程目录。
5.在powershell中输入命令"scrapy genspider tencent hr.tencent.com" 。
这个命令起到的效果是在"Tencent/Tencent/spiders"这个目录中产生一个tencent.py文件，这个文件已经自动生成一部分代码，如果自己新建一个py文件，并且手动输入代码是一样的效果，但是用命令生成py文件会稍微快一点。
6.在已经安装好Pycharam的条件下，打开Pycharm,并打开Tencent工程。

3.png

上图是整个工程的缩略图。
7.对工程中的items.py文件编写代码。
一个条目item中有5个字段:职位名称(jobName)、职位类别(jobType)、招聘人数(recruitmentNumber)、工作地点(workplace)、发布时间(publishTime)

import scrapy
from scrapy import Field

class TencentItem(scrapy.Item):
    jobName = Field()
    jobType = Field()
    recruitmentNumber = Field()
    workplace = Field()
    publishTime = Field()

8.对工程中的tencent.py文件编写代码。
腾讯社会招聘信息的页数总共386页，所以向start_urls中添加386个url。
parse函数中的find函数作用是防止item中的字段为空时程序中断。
在写xpath函数时，"td[1]"与"./td[1]"含义相同，但写成"/td[1]"运行程序会报错。

import scrapy
from Tencent.items import TencentItem

class TencentSpider(scrapy.Spider):
    name = 'tencent'
    start_urls = []
    baseUrl = 'https://hr.tencent.com/position.php?&start={}0'
    for i in range(386):
        start_urls.append(baseUrl.format(i))

    def parse(self, response):
        def find(pNode,xpath):
            if len(pNode.xpath(xpath)):
                return pNode.xpath(xpath).extract()[0]
            else:
                return ''
        item = TencentItem()
        job_list = response.xpath("//tr[@class='odd' or @class= 'even']")
        for job in job_list:
            item['jobName'] = find(job, "td[1]/a/text()")
            item['jobType'] = find(job, "td[2]/text()")
            item['recruitmentNumber'] = find(job, "td[3]/text()")
            item['workplace'] = find(job, "td[4]/text()")
            item['publishTime'] = find(job, "td[5]/text()")
            yield item

9.对工程中的pipelines.py文件编写代码。
对每一个通过yield返回的item存入job_list，然后在爬虫完成的时候通过close_spider函数把job_list持久化存储为"腾讯社会招聘(简易版).xlsx"
要取得一个dict的keys()，需要加括号。

import pandas as pd

class TencentPipeline(object):
    job_list = []

    def process_item(self, item, spider):
        self.job_list.append(dict(item))
        return item

    def close_spider(self, spider):
        df = pd.DataFrame(self.job_list)
        df.to_excel("腾讯社会招聘(简易版).xlsx",columns=[k for k in self.job_list[0].keys()])

10.对工程中的settngs.py文件改写代码。
该文件中的第67-69行代码本来为：

# ITEM_PIPELINES = {
#    'Tencent.pipelines.TencentPipeline': 300,
# }

修改后：

ITEM_PIPELINES = {
   'Tencent.pipelines.TencentPipeline': 300,
}

该修改取消了注释，起到声明管道的作用，使项目知道调用TencentPipeline这个管道文件。

11.到此为止，所有代码方面的工作已经完成，在之前打开的powershell中输入"scrapy crawl tencent",确认命令正确后运行。
如果powershell已经关闭，可以重新打开powershell，并确保已经cd进入Tencent工程的任一级目录。
运行工程生成的的"腾讯社会招聘(简易版).xlsx"文件在powershell运行命令时所在的那一个目录。

提示：
1.源代码已经上传github，链接地址:https://github.com/StevenLei2017/TencentJob1