爬虫入门五(移动端数据的爬取)

常用的抓包工具

常用的抓包工具:本质就是一款服务器,适用于实现请求和响应的拦截

fiddler
    默认只可以抓起http协议的请求和响应
    https:
        tools - options - https - detrypt https traffic
        含义:将fiddler的证书安装到本地
青花瓷(charles)

miteproxy

移动端数据的爬取

配置相关的环境

  • fiddler的配置:
    • tools-》options-》connections->allow remote conxxx
    • 查看fiddler的端口号,并且记住端口号
  • 测试配置是否生效:
    • 在电脑的浏览器访问:http://localhost:端口号/,如果可以访问成共则表示配置成功

网络设置:

  • 网络设置:

    • fiddler所在的电脑开启一个热点,手机连接热点
      • 保证手机和电脑同处于同一个网段
  • 在手机中安装fiddler的证书

    • 手机浏览器访问:

      http://电脑的ip:端口号/

      • 点击下载证书的链接,进行证书下载
    • 在手机中新任且安装证书

  • 开启手机网络代理

    • wifi-》点击感叹号-》开启代理-》代理的ip就是电脑的ip,端口就是fiddler的端口

移动端自动化

  • appnium是一个基于手机应用自动化的模块

    待补充

你可能感兴趣的:(爬虫入门五(移动端数据的爬取))