抓包--爬虫学习必备基础

一、抓包

概念:抓包其实就是中间人攻击, 只是我们会主动信任像fiddler这样的代理软件.

对于服务端, 它伪装成客户端. 对于客户端, 它伪装成服务端.

  • 抓包软件

    • Fiddler(国外软件)

      https://www.telerik.com/fiddler
      

      网盘下载链接:
      链接:https://pan.baidu.com/s/1OdDt1ForqA3B1HVnvExRnw
      提取码:6666

    • Charles

    • wireshark

  • web端抓包

    现代互联网环境几乎都是https协议的网站

    • 信任证书

      TOOLs -> Options -> HTTPS
      - 勾选Decrypt HTTPS traffic
      - 右上角点击Actions
      - Trust Root Certificates
      
  • App端抓包

    下载夜神模拟器
    
    • 打开远程终端连接

       Rules -> Options -> Connections -> Allow remote computes to connect
      
    • 把手机/模拟器的代理指向fiddler

      - wifi调出设置的时候要长按
      - 查看当前fiddler所在pc本地局域网ip
        - ipconfig/ifconfig
      
    • 在代理项中填写ip地址和fiddler端口, 默认是8888

    • 信任证书

    • App有一定的反爬措施, 第一件事就是修改请求协议

      • 双向验证

        需要客户端也带上证书

    • 解决请求协议上的反爬措施

      • 安装VirtualXposed_0.18.2, JustTrustMe

二、7模拟请求

  • PostMan简单使用

    • GET

    • POST

      • form_data

        参数表单

      • x-www-form-urlencoded

        如果headers中content-type为x-www-form-urlencoded, 那么我们需要在当前选项下填写参数

      • raw

        请求的真实body内容…

你可能感兴趣的:(网络信息技术,爬虫,开发工具,爬虫,学习)