scrapy框架开发爬虫实战——Ajax接口

Ajax请求

我们去腾讯招聘网站去找有关python的招聘信息，在搜索框输入python,接口变成：

搜索 | 腾讯招聘

我们用这个接口直接去请求网页资源的话，会发现没有数据，只抓到了网页的框架。

在爬虫文件tencent.py中键入以下代码，

# -*- coding: utf-8 -*-
import scrapy
from Tencent.items import TencentItem

class TencentSpider(scrapy.Spider):
    name = 'tencent'
    allowed_domains = ['careers.tencent.com']
    #接口
    base_url='https://careers.tencent.com/search.html?keyword=python'

    def parse(self, response):

        #将response响应的内容存到context
        content = response.text
        #将context的内容写入到job.html文件
        with open('job.html', 'w', encoding='utf-8') as fp:
            fp.write(content)
        
        #尝试用xpath筛选节点
        nodelist = response.xpath('//div/a[@class="recruit-list-link"]').extract()
        #直接筛选得不到任何数据，所以for循环中的代码不会执行,nodelist为空
        for node in nodelist:
            #创建一个item实例
            item = TencentItem()
            #提取每个职位的信息，编码为utf-8
            item['positionName'] = response.xpath('.//h4[@class="recruit-title"]/text()').extract()[0].encode("utf-8")
            item['positionName_'] = response.xpath('.//p[@class="recruit-tips"]//span[1]/text()').extract()[0].encode("utf-8")
            item['workplace'] = response.xpath('.//p[@class="recruit-tips"]//span[2]/text()').extract()[0].encode("utf-8")
            item['positionType'] = response.xpath('.//p[@class="recruit-tips"]//span[3]/text()').extract()[0].encode("utf-8")
            item['publishTime'] = response.xpath('.//p[@class="recruit-tips"]//span[last()]/text()').extract()[0].encode("utf-8")
            item['positionText'] = response.xpath('.//p[@class="recruit-text"]/text()').extract()[0].encode("utf-8")
            yield item

        #利用偏移量来翻页，通过改变接口中的index=  项可以实现翻页
        if self.offset < 5:
            self.offset += 1
            url = self.base_url+str(self.offset)
            yield scrapy.Request(url,callback=self.parse)

运行爬虫，得到Response的响应内容 job.html，

用浏览器打开 job.html，

这种情况有可能是Ajax请求，需要另作处理。

找api接口

F12->network->XHR：

找请求头的链接：header信息

Request URL:https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1566784910969&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=

这个接口里边有很多参数，countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=

• pageIndex：传递页码
• pageSize：每一页的数量

将Request URL（请求链接）重新打开，获得json格式的数据，

如何爬取该网页，请查看：

>>>scrapy框架开发爬虫实战——爬取2019年的腾讯招聘信息（组件操作，MongoDB存储，json存储，托管到GitHub）

https://blog.csdn.net/qq_36109528/article/details/100048494