python 爬虫开发笔记--实现爬虫的思路

python 爬虫开发笔记--实现爬虫的思路_第1张图片
python 爬虫开发笔记--实现爬虫的思路_第2张图片

1.准备url

  • 准备start_url(起始网页地址)
    • url地址规律不明显,总数不确定
    • 通过代码提取下一页的url
      • xpath
      • 寻找url地址,部分参数在当前的响应中(比如,当前页码数和总的页码数在当前的响应中)
  • 准备url_list
    • 页码总数明确
    • url地址规律明显

2. 发送请求,获取响应

  • 添加随机的User-Agent(也就是准备一堆能用的User-Agent组成一个池)
  • 添加随机的代理ip
  • 在对方判断出是爬虫之后,应该添加更多的headers字段,包括cookie
  • cookie的处理可以使用session来解决
  • 准备一堆能用的cookie,组成cookie池
    • 如果不登录
      • 准备刚开始能够成功请求对方网站的cookie,即接收对方网站设置在response的cookie
      • 下一次请求的时候,使用之前的列表中的cookie来请求
    • 如果登录
      • 准备多个账号
      • 获取每个账号的cookie
      • 之后再请求登录之后才能访问的网站,随机的选择cookie

3. 提取数据

  • 确定数据的位置
    • 如果数据在当前的url地址中

      • 提取的是列表页的数据
        • 直接请求列表页的url地址,不用进入详情页
      • 提取的是详情页的数据
        • 确定url
        • 发送请求
        • 提取数据
        • 返回
    • 如果数据不在当前的url地址中

      • 在其他的响应中,寻找数据的位置
        • 从network中从上往下找
        • 使用chrome中的过滤条件,选择出了js,css,img之外的按钮
        • 使用chrome的search all file,搜索数字和英文
  • 数据的提取
    • xpath,从html中提取整块的数据,先分组,之后每一组再提取
    • re,提取html中的json字符串
    • json

4. 保存

  • 保存在本地
  • 保存在数据库

如有侵权,请联系我!!!

你可能感兴趣的:(爬虫,Python,总结)