Boss直聘数据爬取并根据关键词和城市分析职位需求工资水平-解决思路

解决思路

目标设定

输入：职位关键词和城市，如python开发、产品经理等

输出：各种维度工资水平和职位需求等分析图表

过程分解

1. 数据爬取、预处理入库

   输入： 职位关键词、指定城市名称

   字段： 职位名称、公司名称、工资范围、行业领域、融资情况、公司规模、技能标签

   工具： scrapy或selenuim

   预处理：

    1. 城市ID与关键词映射
    
    2. 工资范围分解为下限、上限及额外福利
    
    3. 技能标签分解为标签列表
   

   存入： 全部在招职位数据文档

   工具： MongoDB

2. 数据分析

   输出：维度分布图表

   1. 工资水平（行业/公司规模/融资情况）

   2. 职位需求（行业/公司规模/融资情况）

   3. 技能标签云图