抓包--爬虫学习必备基础

一、抓包

概念：抓包其实就是中间人攻击, 只是我们会主动信任像fiddler这样的代理软件.

对于服务端, 它伪装成客户端. 对于客户端, 它伪装成服务端.

• 抓包软件

  • Fiddler（国外软件）

    https://www.telerik.com/fiddler
    

    网盘下载链接：
    链接：https://pan.baidu.com/s/1OdDt1ForqA3B1HVnvExRnw
    提取码：6666

  • Charles

  • wireshark

• web端抓包

  现代互联网环境几乎都是https协议的网站

  • 信任证书

    TOOLs -> Options -> HTTPS
    - 勾选Decrypt HTTPS traffic
    - 右上角点击Actions
    - Trust Root Certificates
    

• App端抓包

  下载夜神模拟器
  

  • 打开远程终端连接

     Rules -> Options -> Connections -> Allow remote computes to connect
    

  • 把手机/模拟器的代理指向fiddler

    - wifi调出设置的时候要长按
    - 查看当前fiddler所在pc本地局域网ip
      - ipconfig/ifconfig
    

  • 在代理项中填写ip地址和fiddler端口, 默认是8888

  • 信任证书

  • App有一定的反爬措施, 第一件事就是修改请求协议

    • 双向验证

      需要客户端也带上证书

  • 解决请求协议上的反爬措施

    • 安装VirtualXposed_0.18.2, JustTrustMe

二、7模拟请求

• PostMan简单使用

  • GET

  • POST

    • form_data

      参数表单

    • x-www-form-urlencoded

      如果headers中content-type为x-www-form-urlencoded, 那么我们需要在当前选项下填写参数

    • raw

      请求的真实body内容…