python爬虫——怎么抓取职位信息

目录

背景

为什么要抓取职位信息

怎么抓取职位信息

代码示例

被反爬怎么办

使用代理IP进行爬取

总结


背景

高考刚结束,马上又到了大学生毕业的时候了,各大厂也开始了一波招工潮了,想知道大厂或竞争对手都招些什么人,有什么需求,于是打算爬点职位信息参考下。

python爬虫——怎么抓取职位信息_第1张图片

为什么要抓取职位信息

抓取职位信息有多种用途,其中一些常见的用途包括:

1. 潜在求职者分析:可以通过大数据技术分析人才流动趋势,在哪些城市或公司聚集了多少求职者,有助于企业了解市场竞争状况以及不同城市或行业的人才供需情况。

2. 薪资分析:通过职位信息可以获取不同职位的薪资水平,有助于了解行业薪资标准,提高员工福利和薪酬竞争力,吸引人才。

python爬虫——怎么抓取职位信息_第2张图片

3. 行业趋势分析:通过职位信息可以了解当前所处行业或行业内的热门职位,将来行业的发展趋势和方向,有助于企业制定战略方案和拓展业务。

4. 竞争情报分析:可以了解竞争对手或其他企业的组织架构、员工数量、招聘需求等关键信息,有助于企业了解市场状况和竞争对手的战略规划,提高企业的竞争力。

怎么抓取职位信息

抓取职位信息可以通过网络爬虫技术实现。抓取流程如下:

1. 分析目标网站:首先需要确定目标网站,并观察网站构造和源码,确定需要抓取的职位信息类型和位置。

2. 发送HTTP请求:使用 Python requests 库构造 HTTP 请求,获取页面信息。

3. 解析页面:使用 Python 库 BeautifulSoup 或者正则表达式等工具解析网页。

4. 提取信息:从网页中提取所需职位信息、公司信息及它们的URL等相关信息。

5. 存储信息:将提取到的职位信息进行存储,可以存储在数据库或文件中。

6. 处理反爬:在抓取职位信息时,网站可能会进行反爬措施,需要分析网站反爬机制,采取一定的策略避免被反爬而导致无法获取数据。

python爬虫——怎么抓取职位信息_第3张图片

需要注意的是,抓取职位信息需要遵守法律法规、网站规则和道德准则,避免抓取到敏感信息或侵犯他人隐私等问题。

代码示例

这里以爬取某勾网职位信息为例,示例代码如下:

import requests

from bs4 import BeautifulSoup

import json

import time



def get_positions(city, keyword=None, page_num=1):

    """获取指定城市和职位关键词的职位信息"""

    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.73'

    headers = {'User-Agent': user_agent}

    url = f'https://www.*****.com/jobs/positionAjax.json?needAddtionalResult=false&city={city}&kd={keyword}&pn={page_num}'

    response = requests.get(url, headers=headers)

    if response.status_code == 200:

        result = json.loads(response.text)



        # 解析职位信息

        positions = []

        for job in result['content']['positionResult']['result']:

            position = {}

            position['position_name'] = job['positionName']  # 职位名称

            position['salary'] = job['salary']  # 薪资

            position['company_name'] = job['companyFullName']  # 公司名称

            position['work_year'] = job['workYear']  # 工作年限

            position['education'] = job['education']  # 学历

            position['position_advantage'] = job['positionAdvantage']  # 职位优势



            positions.append(position)



        return positions

    else:

        print(f'请求错误,状态码:{response.status_code}')



if __name__ == '__main__':

    city = '广州'

    keyword = 'Python'

    for page_num in range(1, 6):

        positions = get_positions(city=city, keyword=keyword, page_num=page_num)

        if positions:

            for position in positions:

                print(position)

            

            # 每爬完一页,就休眠一段时间,避免被反爬

            time.sleep(3)

此代码通过分析拉勾网的接口来获取职位信息。可以传入城市名和职位关键词来筛选职位,同时支持分页获取信息。如果想要将职位信息存储在数据库或者文件中,可以将获取到的 positions 写入数据库或文件。相应地,也可以通过增加访问间隔时间、使用代理 IP 等方式来支持反爬。

被反爬怎么办

在爬取职位信息的过程中,如果被目标网站检测到并且反爬,有一些常见的应对措施如下:

1. 降低访问频率:合理减少请求间隔时间,降低对目标网站的访问频率,以防被检测到。

2. 使用代理IP:通过使用代理IP来模拟多个访问来源,降低单个IP被检测到的概率。

python爬虫——怎么抓取职位信息_第4张图片

3. 更换 User-Agent:可以在请求头中改变 User-Agent 的值,模拟不同的浏览器类型,来提高爬虫的隐匿性。

4. 登陆账号:有些网站对未登录用户的爬取有限制,可以使用网站提供的登陆功能,获取更多数据。

5.对抗反爬:一些情况下,网站的反爬手段比较强大,可以通过一些技术手段绕过反爬机制,例如使用图像识别技术识别验证码,模拟人工操作等。

使用代理IP进行爬取

使用代理IP是绕过反爬限制的有效手段之一。代理IP可以提供多个访问来源,避免对目标网站请求过于集中,同时可以提高访问隐匿性,减少被屏蔽的概率。下面是一个使用代理IP来爬取拉勾网职位信息的示例代码:

import requests

from bs4 import BeautifulSoup

import json

import time



# 设置代理IP列表

proxies = [

    {'http': 'http://123.123.123.168:16888', 'https': 'http://123.123.123.168:16888'},

    {'http': 'http://123.123.123.168:16888', 'https': 'http://123.123.123.168:16888'},

    {'http': 'http://123.123.123.168:16888', 'https': 'http://123.123.123.168:16888'},

    # 可以添加更多的代理IP,也可以通过站大爷的API接口源源不断的获取代理IP

]



def get_positions(city, keyword=None, page_num=1, use_proxy=True):

    """获取指定城市和职位关键词的职位信息"""

    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.73'

    headers = {'User-Agent': user_agent}

    url = f'https://www.*****.com/jobs/positionAjax.json?needAddtionalResult=false&city={city}&kd={keyword}&pn={page_num}'



    # 使用代理IP访问

    if use_proxy:

        proxy = random.choice(proxies)

        response = requests.get(url, headers=headers, proxies=proxy)

    else:

        response = requests.get(url, headers=headers)



    if response.status_code == 200:

        result = json.loads(response.text)



        # 解析职位信息

        positions = []

        for job in result['content']['positionResult']['result']:

            position = {}

            position['position_name'] = job['positionName']  # 职位名称

            position['salary'] = job['salary']  # 薪资

            position['company_name'] = job['companyFullName']  # 公司名称

            position['work_year'] = job['workYear']  # 工作年限

            position['education'] = job['education']  # 学历

            position['position_advantage'] = job['positionAdvantage']  # 职位优势



            positions.append(position)



        return positions

    else:

        print(f'请求错误,状态码:{response.status_code}')



if __name__ == '__main__':

    city = '广州'

    keyword = 'Python'

    for page_num in range(1, 6):

        positions = get_positions(city=city, keyword=keyword, page_num=page_num, use_proxy=True)

        if positions:

            for position in positions:

                print(position)

            

            # 每爬完一页,就休眠一段时间,避免被反爬

            time.sleep(3)

此代码通过定义了一个代理IP列表,并使用 `requests` 库的 `proxies` 参数来随机选择代理IP访问目标网站,进而避免单个IP访问过于频繁被目标网站封锁。

需要注意,代理IP的质量和稳定性会直接影响到爬取效果,因此在选择代理IP时需要注意选择稳定性较高的服务商、IP 质量较高的代理IP,比如站大爷代理IP。

python爬虫——怎么抓取职位信息_第5张图片

总结

在进行职位信息爬取时,需要先确定目标网站,并通过分析页面结构和抓包等方式获取到页面 API 接口。接着,通过发送 HTTP 请求获取页面信息,并使用 BeautifulSoup 或正则表达式等工具解析页面获取所需信息。

在整个爬取过程中,应该注意遵守法律法规和道德准则,避免侵犯他人隐私和抓取敏感信息等问题。

同时,对于反爬机制的应对,可以采取一些策略,如降低访问频率、使用代理 IP、更换 User-Agent 、登陆账号、对抗反爬等方法。选择稳定性较高的代理IP服务商,是一个比较关键的选择,也决定了是否能够顺利进行爬取。

你可能感兴趣的:(python学习笔记,python,开发语言)