小爬虫之腾讯招聘网自动翻页采集

小爬虫之腾讯招聘网自动翻页采集_第1张图片

1.技术路线

  • python 3.6.0
  • scrapy 1.4.0

2.任务

爬取腾讯招聘网站的自动翻页的数据采集

3.分析

小爬虫之腾讯招聘网自动翻页采集_第2张图片
image.png

注意

  • URL组成
    https://hr.tencent.com/position.php?lid=2156&tid=87&keywords=自然语言处理start=0

  • 其中:
    lid=2156 代表地点在北京
    tid=87 代表方向为技术类
    keywords 代表搜索职位
    start 代表当前页面第一条数据的序号

  • 爬取目标
    1.职位名称
    2.职位类别
    3.职位人数
    4.职位地点
    5.发布时间
    6.职位详情

4.运行结果

小爬虫之腾讯招聘网自动翻页采集_第3张图片
image.png

5.源码

  • GitHub
  • 欢迎Fork,一起讨论学习

我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan


作者:Jasonhaven.D
链接:http://www.jianshu.com/u/ed031e432b82
來源:
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

你可能感兴趣的:(小爬虫之腾讯招聘网自动翻页采集)