Mac和Linux平台抓包工具的配置和使用

996技术站 - 活在未来 | KingSun966技术站,极客带你看世界!https://www.996station.com程序员开发指南Descriptionhttps://guide.996station.com

抓包工具

抓包工具介绍

HTTP 协议抓包工具

  • FileFox
  • Chrome
  • IE
  • Fiddler(仅 windows 系统)
  • Charles
  • ...

TCP 协议抓包工具

  • Wireshark
  • tcpdump
  • ...
抓包工具的作用

分析爬取对象,为我们未来编写爬虫自定策略。

抓包工具原理

Mac和Linux平台抓包工具的配置和使用_第1张图片

Charles 工具

Mac 系统平台

安装

  • 拷贝 Charles.app 到 /Applications 目录下
  • 替换 charles.jar 到 /Applications/Charles.app/Contents/Java 目录下

启动系统代理

Mac和Linux平台抓包工具的配置和使用_第2张图片

基本使用

Mac和Linux平台抓包工具的配置和使用_第3张图片

配置过滤

Mac和Linux平台抓包工具的配置和使用_第4张图片

其他功能

  • 断点设置
  • 本地映射
  • 远程映射

https 拦截配置

原理

Mac和Linux平台抓包工具的配置和使用_第5张图片

配置流程

  1. 安装系统证书(未来用于配置)

  2.  Mac和Linux平台抓包工具的配置和使用_第6张图片

  3. 开启拦截https

  4.  Mac和Linux平台抓包工具的配置和使用_第7张图片

远程代理服务器开启

  1. 开启远程代理 Mac和Linux平台抓包工具的配置和使用_第8张图片

移动端配置

基本 http 拦截

  1. 保证手机端和电脑端保持在同一个网络中
  2. 在手机端配置代理服务器

https 拦截

  1. 访问代理服务器获取安装证书
  2. 如果是iOS端确认证书

Linux 系统平台

安装

    #  解压 charles 到 opt 目录下
    sudo tar -zxvf ~/Desktop/charles-proxy-4.2.1_amd64.tar.gz -C /opt/
    # 修改目录权限
    sudo chmod -R 777 /opt/charles
    # 拷贝破解文件
    sudo cp ~/Desktop/charles.jar /opt/charles/lib/
    # 启动charles
    /opt/charles/bin/charles
    # 添加桌面快捷方式
    sudo cp ~/Desktop/Charles.desktop /usr/share/applications

配置系统代理

Charles 启动远程代理服务器

Mac和Linux平台抓包工具的配置和使用_第9张图片

配置系统代理

Mac和Linux平台抓包工具的配置和使用_第10张图片

https 配置

配置ssl抓取

Mac和Linux平台抓包工具的配置和使用_第11张图片

到处根证书并且保存根证书在桌面

Mac和Linux平台抓包工具的配置和使用_第12张图片

根证书转换&安装根证书

# 转换根证书格式
openssl x509 -outform der -in ~/Desktop/charles.pem -out ~/Desktop/charles.crt

# 拷贝自定义根证书
sudo cp ~/Desktop/charles.crt /usr/local/share/ca-certificates/charles.crt

# 更新证书
sudo update-ca-certificates

你可能感兴趣的:(爬虫,Mac,Linux,抓包工具,配置和使用)