python爬虫（四）---scrapy框架之腾讯招聘项目实战

目的：功能就是翻页请求

步骤：如下

---

爬取职位名，职位链接等

 职位名：
 职位详情链接：
 职位类别：
 人数:
 地点:
 发布时间：

---

下一步骤：写爬虫 ：tencent.py文件写

方法一：

或者这样写

---

获取职位名

---

获取链接

---

再传给管道：

---

设置settings函数

---

开始翻页（提取第二页的链接）

以上只是构建了请求但是没有发出去请求，因此需要用yield

---

排错一：
因为有的没有类别，所以要判断：

排错二：

方法二：用scrapy提取链接

---

总结：一个项目的大致流程