小爬虫之腾讯招聘网自动翻页采集

1.技术路线

• python 3.6.0
• scrapy 1.4.0

2.任务

爬取腾讯招聘网站的自动翻页的数据采集

3.分析

image.png

注意

• URL组成
  https://hr.tencent.com/position.php?lid=2156&tid=87&keywords=自然语言处理start=0

• 其中：
  lid=2156 代表地点在北京
  tid=87 代表方向为技术类
  keywords 代表搜索职位
  start 代表当前页面第一条数据的序号

• 爬取目标
  1.职位名称
  2.职位类别
  3.职位人数
  4.职位地点
  5.发布时间
  6.职位详情

4.运行结果

image.png

5.源码

• GitHub
• 欢迎Fork，一起讨论学习

我的博客即将搬运同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan

---

作者：Jasonhaven.D
链接：http://www.jianshu.com/u/ed031e432b82
來源：
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。