我为峰2014
我为峰2014

Filddler抓包

原因

在现实项目中，由于开发的经常调试，接口的不稳定，和接口文档的不及时更新，我们选择做接口测试，更多的需要自己抓包分析，接口。

为什么选择Fiddler

a.Firebug虽然可以抓包，但是对于分析http请求的详细信息，不够强大。模拟http请求的功能也不够，且firebug常常是需要“无刷新修改”，如果刷新了页面，所有的修改都不会保存。

b.Wireshark是通用的抓包工具，但是比较庞大，对于只需要抓取http请求的应用来说，似乎有些大材小用。

c.Httpwatch也是比较常用的http抓包工具，但是只支持IE和firefox浏览器（其他浏览器可能会有相应的插件），对于想要调试chrome浏览器的http请求，似乎稍显无力，

而Fiddler2 是一个使用本地 127.0.0.1:8888 的 HTTP 代理，任何能够设置 HTTP 代理为 127.0.0.1:8888 的浏览器和应用程序都可以使用 Fiddler。
【官方文档】（http://docs.telerik.com/fiddler/KnowledgeBase/Filters）

Fiddler的工作原理

Fiddler 是以代理web服务器的形式工作的，它使用代理地址:127.0.0.1，端口:8888。它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。当Fiddler退出的时候它会自动注销，这样就不会影响别的 程序。不过如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。解决的办法是重新启动下Fiddler

Filddler抓包_第1张图片
image.png

Fiddler的基本界面

我使用的fiddler4

Filddler抓包_第2张图片
image.png

我们要开启抓包，要确保Capture Traffic是开启，在File –> Capture Traffic。开启后再左下角会有显示，当然也可以直接点击左下角的图标来关闭/开启抓包功能。

Filddler抓包_第3张图片
image.png

我们的Fiddler默认默认是没开启https支持的，当项目中的接口使用的是https协议时，需要打开该功能

  • 打开fiddler配置Tools –> Options.... ->HTTPS(安装证书)
Filddler抓包_第4张图片
image.png 
同时勾选“Decrypt HTTPS traffic”
如果需要监听不可信的证书的HTTPS请求的话，需要勾选“Ignore servercertificate errors”
  • Fiddler开始工作了，抓到的数据包就会显示在列表里面
Filddler抓包_第5张图片
image.png

【#】----------------- 抓取HTTP Request的顺序，从1开始，以此递增
【Result HTTP】-- 状态码
【Protocol 】-------- 请求使用的协议，如HTTP/HTTPS/FTP等
【Host 】------------ 请求地址的主机名
【URL 】----------- 请求资源的位置
【Body 】----------- 该请求的大小
【Caching 】------- 请求的缓存过期时间或者缓存控制值
【Content-Type】--- 请求响应的类型
【Process】---------- 发送此请求的进程：进程ID
【Comments 】------ 允许用户为此回话添加备注
【Custom】----------- 允许用户设置自定义值

Filddler抓包_第6张图片
R(D7LO}VIY`4NDAL_1HS(QO.png

Fiddler 内置命令与断点

Filddler抓包_第7张图片
image.png
命令 对应请求项 介绍 示例
? All 问号后边跟一个字符串，可以匹配出包含这个字符串的请求 ?google
> Body 大于号后面跟一个数字，可以匹配出请求大小，大于这个数字请求 >1000
< Body 小于号跟大于号相反，匹配出请求大小，小于这个数字的请求 <100
= Result 等于号后面跟数字，可以匹配HTTP返回码 =200
@ Host @后面跟Host，可以匹配域名 @www.baidu.com
select Content-Type select后面跟响应类型，可以匹配到相关的类型 select image
cls All 清空当前所有请求 cls
dump All 将所有请求打包成saz压缩包，保存到“我的文档\Fiddler2\Captures”目录下 dump
start All 开始监听请求 start
stop All 停止监听请求 stop
断点命令
bpafter All bpafter后边跟一个字符串，表示中断所有包含该字符串的请求 bpafter baidu（输入bpafter解除断点）
bpu All 跟bpafter差不多，只不过这个是收到请求了，中断响应 bpu baidu（输入bpu解除断点）
bps Result 后面跟状态吗，表示中断所有是这个状态码的请求 bps 200（输入bps解除断点）
bpv / bpm HTTP方法 只中断HTTP方法的命令，HTTP方法如POST、GET bpv get（输入bpv解除断点）
g / go All 放行所有中断下来的请求 g

Fiddler的菜单栏

Filddler抓包_第8张图片
image.png

1. File菜单

File菜单中的命令主要支持完成通过Fiddler来启动和停止web流量的捕获（capture）,也可以加载或存储捕获的流量。)

Filddler抓包_第9张图片
image.png

（1）Capture Traffic是个开关，可以控制是否把Fiddler注册为系统代理。当把Fiddler注册为系统代理时，所有依赖于WinINET代理的应用（如IE浏览器和其他浏览器）会把Web请求发送给Fiddler.

（2）New Viewer是用来打开一个新的fiddler窗口

（3）Load Archive用于重新加载之前捕获的以SAZ文件格式保存的流量。

（4）Save子菜单中的选项支持以多种方式把流量保存到文件中；该菜单选项和Web Session列表中的上下文菜单中的选项相同。

（5）Import Sessions...支持导入从其他工具捕获的流量，也支持导入以其他格式存储的流量。

（6）Export Sessions...支持把Fiddler捕捉到的Session以多种文件格式保存

（7）Exit菜单命令会取消把Fiddler注册为系统代理，并关闭工具栏

2. Edit菜单

Edit菜单中的绝大多数命令都需要作用于Web Session中当前选中的Session,因此除非选中一个或多个Session，否则大多数命令都不可用

Filddler抓包_第10张图片
image.png

（1）Copy下面的几个子菜单分别支持复制选中Session的某些信息。

（2）Remove下面的子菜单分别支持从Web Session列表中删除全部、选择或未选中的Session

（3）Select All命令选择Sessions列表的所有内容。

（4）Paste as Session命令会基于剪贴板上的内容，生成一个或多个模拟的Web Session.

（5）Mark子菜单支持选择一种颜色来标记Web Session列表中选中的Session.

（6）Unlock for Editing 菜单命令会对某个选中的Web Session解锁，支持使用Inspectors编辑Session的所有请求和响应。

（7）Find Session...命令会打开Find Session窗口，搜索捕获到的数据流。

3.Rules菜单

Filddler抓包_第11张图片
image.png

（1）Hide Image Request触发器控制是否在Web Session列表中显示图像类Session.

（2）Hide CONNECTS触发器控制是否在Web Session列表中显示使用CONNECT请求方法的Session.

（3）Automatic Breakpoints子菜单控制Fiddler是否会自动在Before Requests或After Responses处设置断点。Ignore Image触发器控制这些断电是否作用于图片请求

（4）Customize Rules...菜单命令会使用配置的脚本编辑器打开当前的FiddlerScript文件

（5）如果选中Require Proxy Authentication菜单项，所有未提交Proxy-Authorization请求头的请求会返回HTTP/407响应，要求客户端安装证书
该规则可以用于测试HTTP客户端，确保这些规则在有证书的客户端服务器上可以正常工作。

（6）如果选中Apply GZIP Encoding菜单项，只要请求包含具有gzip标识的Accept-Encoding请求头，就会对除了图片以外的所有响应使用GZIP HTTP进行压缩。
该规则用于测试使用GZIP选项支持的客户端是否真正对内容进行压缩。该选项还支持性能调优，并且计算传输的压缩后的数据流的字节数。

（7）如果选中Remove All Encoding,会删除所有请求和响应的HTTP内容编码和传输编码

（8）Hide 304s选项会隐藏包含HTTP/304 Not Modified状态的响应的所有Session.

（9）Request Japanese Content选项会把所有请求的Accept-Encoding请求头设置或替换为ja 标识，表示客户端希望响应以日语形式发送

（10）User-Agents子菜单支持把所有请求的User-Agent请求头设置或替换成指定值。

（11）performance子菜单提供影响Web性能的简单选项:

Filddler抓包_第12张图片
image.png

4.Tools菜单

Filddler抓包_第13张图片
image.png

（1）Fiddler Options...打开Fiddler Options窗口

（2）WinINET Options...打开IE的Internet Options窗口

（3）Clear WinINET Cache选项会清空IE和其他应用中所使用的WinINET缓存中的所有文件

（4）Clear WinINET Cookies选项会清空IE和其他应用中所发送的WinINET Cookie. Session的Cookies还是保持不变

（5）TextWizard...选项会启动TextWizard窗口，支持对文本进行编码和解码

（6）Compare Session选项只有当选中Web Session列表中的两个Session时才有效。

（7）Reset Script

（8）Sandbox，打开http://webdbg.com/sandbox/

（9）View IE Cache

（10）HOSTS...选项会打开Fiddler的Host Remapping工具

（11）New Session Clipboard..打开一个Session的剪贴板

5.View菜单

Filddler抓包_第14张图片
image.png

（1）Show Toolbar控制Fiddler工具栏是否可见

（2）Default Layout、Stacked Layout、Wide Layout三种界面布局

（3）Minimize to Tray或按下CTRL+M可以最小化Fiddler到系统托盘中

（4）Squish Session List控制Web Session列表是否水平收缩

（5）AutoScroll Session list选项控制当添加新的Session时，Fiddler是否会自动滚动到Session列表的底部

6.Help菜单

Filddler抓包_第15张图片
image.png

Fiddler的工具快捷栏

Filddler抓包_第16张图片
image.png

1.勾选电脑端口

Filddler抓包_第17张图片
image.png

2.增加备注

Filddler抓包_第18张图片
image.png

选择需要添加备注的请求地址，点击左上角第二个按钮即可添加备注
添加成功后将会在Comments栏下查看到该备注

3.回放按钮（Ctrl + R）

Filddler抓包_第19张图片
image.png

当我们需要再一次对某个请求进行发送的时候，Fiddler提供了回放的功能可以再一次发送请求。

4.清空监控面板（Ctrl + X）

Filddler抓包_第20张图片
image.png

可以清楚面板上全部或某些请求。

5.调试bug

Filddler抓包_第21张图片
image.png

通过结合状态栏中的按钮，可以调试时请求的状态进行拦截，上图状态栏处的箭头向上，表示拦截该请求发送时候。

Filddler抓包_第22张图片
image.png

该状态栏箭头乡下，表示Fiddler拦截请求回来的时候。放行断点的时候单机上方的GO的按钮即可

6.模式切换

Filddler抓包_第23张图片
image.png

Fiddler有两种模式，默认是缓冲模式

7.解压请求

Filddler抓包_第24张图片
image.png

将http请求的东西解压出来，方便阅览

8.会话保存

Filddler抓包_第25张图片
image.png

Fiddler默认保存 All sessions，需要注意的是Fiddler保存的会话状态越多，占用的内存越大

9.过滤请求

Filddler抓包_第26张图片
image.png

该功能可以只捕获某个客户端发送的请求，点击Any Process拖动鼠标到指定客户端上。

10.查找

Filddler抓包_第27张图片
image.png

一般的工具都有的功能，选择以什么颜色显示可以更方便查看相应的内容

11.会话保存

Filddler抓包_第28张图片
image.png
Filddler抓包_第29张图片
image.png

选中需要保存会话的请求们，点击保存，下次需要在查看的时候打开即可。

***12.截屏 **

Filddler抓包_第30张图片
image.png

该截屏还有计时器的功能。

13.计时器

Filddler抓包_第31张图片
image.png

计时功能，右击清空

14.快速启动浏览器

Filddler抓包_第32张图片
image.png

**15.清楚缓存 **

Filddler抓包_第33张图片
image.png

将ie浏览器的缓存清空的功能。

16.编码/解码

Filddler抓包_第34张图片
image.png

当浏览器的某些路径被编码后，利用这个工具可以得到相应解码后的路径，别的文本信息也可以

17.窗体分离

Filddler抓包_第35张图片
image.png

Filddler会话详情

Filddler抓包_第36张图片
image.png

1. Statistic
关于HTTP请求的性能和其他数据分析：

Filddler抓包_第37张图片
image.png

我们可以从中看出一些基本性能数据：如DNS解析的时间消耗是8ms,建立TCP/IP连接的时间消耗是8ms等等信息

2. Inspectors

分为上下两个部分，上半部分是请求头部分，下半部分是响应头部分。
对于每一部分，提供了多种不同格式查看每个请求和响应的内容。JPG 格式使用 ImageView 就可以看到图片，HTML/JS/CSS 使用 TextView 可以看到响应的内容。Raw标签可以查看原始的符合HTTP标准的请求和响应头。Auth则可以查看授权Proxy-Authorization 和 Authorization的相关信息。Cookies标签可以看到请求的cookie和响应的set-cookie头信息。

Filddler抓包_第38张图片
image.png

Filddler抓包_第39张图片
image.png

3. AutoResponder

Fiddler比较重要且比较强大的功能之一。可用于拦截某一请求，并重定向到本地的资源，或者使用Fiddler的内置响应。可用于调试服务器端代码而无需修改服务器端的代码和配置，因为拦截和重定向后，实际上访问的是本地的文件或者得到的是Fiddler的内置响应。
请将 Enable automatic responses和Unmatched requests passthrough打勾。
RuleEditor填写本地指向文件。

Filddler抓包_第40张图片
image.png

Fiddler支持的拦截重定向的方式：

Filddler抓包_第41张图片
image.png

因此，如果要调试服务器的某个脚本文件，可以将该脚本拦截到本地，在本地修改完脚本之后，再修改服务器端的内容，这可以保证，尽量在真实的环境下去调试，从而最大限度的减少bug发生的可能性。
不仅是单个url，Fiddler支持多种url匹配的方式：
I. 字符匹配
如 example可以匹配 http://www.example.com和http://example.com.cn
II. 完全匹配
以EXACT开头表示完全匹配，如上边的例子EXACT:http://blog.csdn.net/ohmygirl
III. 正则表达式匹配
以regex: 开头，使用正则表达式来匹配URL
如：regex:(?insx).*.(css|js|php)$ 表示匹配所有以css,js,php结尾的请求url

4. Composer
可模拟向服务器发送数据的过程

Filddler抓包_第42张图片
image.png

Parsed和Raw两种编辑方式
（1)Parsed 输入请求的url之后executed即可，也可以修改相应的头信息（如添加常用的accept, host, referrer, cookie，cache-control等头部）后execute.把Request分成3部分：Request line，Request Headesr，Request Body,很容易创建一个Request
(2)Raw。使用HTTP头部信息构建http请求。与上类似，需要一行一行手动写一个Request

5． Filter
Fiddler另一个比较强大的功能。Fiddler提供了多维度的过滤规则，Fiddler的过滤器非常强大，可以过滤特定http状态码的请求，可以过滤特定请求类型的http请求（如css请求，image请求，js请求等），可以过滤请求报文大于或则小于指定大小（byte）的请求：

Filddler抓包_第43张图片
image.png

1.是否启用filters。
2.我们可以维护多套filters，在不同的情形下加载不同的filter，在Actions中可以把当前的filter保存起来，也可以加载以前保存的filter

Filddler抓包_第44张图片
image.png

3.根据主机名信息的filter。其中第一个下拉框是只显示内网或者外网选项,

Filddler抓包_第45张图片
image.png

另一个是下拉框结合它下面的输入框来完成根据主机名信息显示或者隐藏或者标记指定请求

Filddler抓包_第46张图片
image.png

下图是一个例子，可以简单理解为隐藏对本机的请求。

Filddler抓包_第47张图片
image.png

4.根据进程信息的filter，第一个checkbox选上就可以选择进程了，那么fiddler将只显示该进程发出的请求,另外两个一个是指关心IE，另一个是隐藏来自service host的请求

Filddler抓包_第48张图片
image.png

5.根据request header的filter。
Show only if URL contains 和 Hide if URL contains 使用方法类似 功能相反。都是url中包含某些字符的filter，多种情况空格分隔。支持正则表达式和完全匹配，如下是个例子，可以简单理解为隐藏所有js和css请求

Filddler抓包_第49张图片
image.png

6.这个部分是各种各样的断点，fiddler是有断点功能的，可以在请求发送时断住，之后修改请求，再发送。当然也可以在响应的时候断住，做修改。而且fiddler还可以模拟响应，根本不发送给server端，在项目开发阶段，server端没有准备好API这个就特别有用了，或者用了复现一些问题

7.如果server端的响应代码属于或者不属于哪一类就隐藏

8.这部分是根据响应类型和大小的filter，前一半是显示隐藏的filter，后block的filter。block的filter也挺有意思，如果你选中了block css那么浏览器就加载不到css了

Filddler抓包_第50张图片
image.png

9.是对response header的flag和修改。比较有用的是如果你想知道哪些请求修改了cookie那么就可以选中第一个checkbox

5.Timeline
显示session请求到响应的时间表，横向为时间轴，纵向为session列表，鼠标移到timeline页签上，在底部会显示四个数据：session编号和URL、session的响应类型、发送字节数和接收字节数

Filddler抓包_第51张图片
image.png

6.Fiddler的script系统
Fiddler最复杂的莫过于script系统了，官方的帮助文档: http://www.fiddler2.com/Fiddler/dev/ScriptSamples.asp。

Filddler抓包_第52张图片
image.png

把这段脚本放在OnBeforeRequest(oSession: Session) 方法下，并且点击"Save script"

if (oSession.HostnameIs("www.cnblogs.com")) {
　　oSession["ui-color"] = "red";

}

这样所有的cnblogs的会话都会显示红色。

7.log

image.png

Fiddler断点和代理

代理

Filddler抓包_第53张图片
image.png

有两种方法设置断点
1.fiddler菜单栏->rules->automatic Breakpoints->选择断点方式，这种方式下设定的断点会对之后的所有HTTP请求有效。

有两个断点位置：
a. before response。也就是发送请求之后，但是Fiddler代理中转之前，这时可以修改请求的数据。
b.after response。也就是服务器响应之后，但是在Fiddler将响应中转给客户端之前。这时可以修改响应的结果。

2.命令行下输入。Bpafter xxx或者bpv,bpu,bpm等设置断点。这种断点只针对特定类型的请求。

设置响应后断点（after response breakpoint）,可以通过命令行设置：bpafter localhost。键入回车之后，web再次访问文件，通过Fiddler的web session界面可以看到，请求已经被挂起来了，而web浏览器也一直处于加载的状态。观察右侧的inspector面板下，也出现了新的东西：

Filddler抓包_第54张图片
image.png

切换到textView子面板，选择需要修改的部分，然后点击 “run to complete“，便可回送修改后的响应。假设我们修改后的内容如下：

Filddler抓包_第55张图片
image.png

终止断点的方式有：

  1. 在inspector界面点击“run complete“即会终止本次HTTP请求的断点。

  2. 输入go命令，也会使得当前的请求跳过断点。

  3. 在rules->auto breakpoint中disabled断点即可。

总结

写FIddler写太多了，参考别人资料，写一个大集合，同时也可以加深自己的理解，方便自己往后的回顾。

你可能感兴趣的:(Filddler抓包)

  • Linux查看服务器日志 TPBoreas 运维linux运维
    一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
  • python爬取微信小程序数据,python爬取小程序数据 2301_81900439 前端
    大家好，小编来为大家解答以下问题，python爬取微信小程序数据，python爬取小程序数据，现在让我们一起来看看吧！Python爬虫系列之微信小程序实战基于Scrapy爬虫框架实现对微信小程序数据的爬取首先，你得需要安装抓包工具，这里推荐使用Charles，至于怎么使用后期有时间我会出一个事例最重要的步骤之一就是分析接口，理清楚每一个接口功能，然后连接起来形成接口串思路,再通过Spider的回调
  • aspcms webshell漏洞复现 青衫木牛马 aspaspcmsgetshell
    1.【ip】/admin_aspcms/login.asp访问后台，admin123456登录2.点击【扩展功能】【幻灯片设置】点击【保存】开启代理进行抓包3.在抓取的数据包中修改slideTextStatus字段的值为以下代码并进行发包访问影响文件字段值1%25><%25密码是a影响文件/config/AspCms_Config.asp4.蚁剑连接
  • CTF——web总结 oliveira-time ctfweb安全
    解题思路做题先看源码关注可下载的资源(zip压缩包)抓包寻找可能存在的加密信息（base64）不管三七二十一先扫描目录再说ps：正常的应该是先扫描目录，然后发现后台进行爆破，发现爆破困难，然后去社工找其他信息。CTF——web个人总结_ctfweb-CSDN博客
  • IS-IS详解（七）——IS-IS LSP报文详解 永远是少年啊 计算机网络计算机网络IS-ISLSPHCIE数通
    今天继续给大家介绍IS-IS相关内容。本文主要内容是IS-IS的报文结构、各字段作用以及LSP报文的抓包。阅读本文，您需要有一定的IS-IS基础，如果您对此存在困惑，欢迎查阅我博客的其他内容，相信您一定会有所收获。推荐阅读：IS-IS详解（一）——IS-IS基础IS-IS详解（二）——IS-IS邻居建立IS-IS详解（三）——IS-IS报文结构与功能IS-IS详解（四）——IS-ISHello报文
  • 《熬夜整理》保姆级系列教程-玩转Wireshark抓包神器教程(6)-Wireshark抓包界面详解 北京-宏哥
    1.简介在此之前，宏哥已经介绍和讲解过Wireshark的启动界面。但是很多初学者还会碰到一个难题，就是感觉wireshark抓包界面上也是同样的问题很多东西不懂怎么看。其实还是挺明了的宏哥今天就单独写一篇对其抓包界面进行详细地介绍和讲解一下。2.Wireshak抓包界面概览通过上一篇我们知道
  • Charles基础教程和破解安装 沫沫18S Charles接口测试Charles接口测试抓包工具注册码安装破解
    抓包工具Charles的使用教程参考：https://zhubangbang.com/charlesproxy如果您是您一次使用Charles，可能对下面的感兴趣。Charles破解版免费下载和安装教程Charles手机抓包设置Charles的https抓包方法及原理/下载ssl/http证书如果您已经正在使用Charles，可能感兴趣下面的工具Charles禁止缓存工具Charles禁用cook
  • charles mac下很好用的抓包工具 蒲公英_____ mac软件抓包Charlesmachttp工具
    一、Charles介绍给大家推荐一款在mac上我觉得很好用的抓包工具，再过去的半年中给我很大帮助，在工作学习中使用很方便。那么什情况下我们会需要使用抓包工具呢，比如我想查看一个接口请求的参数、返回值，还有移动设备上的http请求、https请求，有了charles一下搞定，妈妈再也不用担心我的学习了，咳咳......，回归正题，介绍一下charles。Charles是一个HTTP代理服务器,HTT
  • Charles 抓包工具详解 wespten 网络协议栈网络设备5G物联网网络工具开发网络协议
    一、Charles简介Charles是一款很实用、界面很友好（至少跟fiddler比起来）、功能强大的抓包神器。因为它是基于Java开发的，所以跨平台，Mac、Linux、Windows下都是可以使用的，并且在Android和iOS设备上通用。它的原理是通过成为电脑或者移动设备的代理，截取请求和响应，达到抓包分析的目的。二、Charles安装官网下载地址：CharlesWebDebuggingPr
  • aiohttp: AttributeError: ‘NoneType‘ object has no attribute ‘get_extra_info‘ zzzzls~ Pythonpythonaiohttpasyncio
    使用Proxyman分析aiohttp请求时遇到如上错误:报错环境系统:macPython:Python3.8.11aiohttp:3.8.0抓包软件:Proxyman解决方案:修改***/python3.8/site-packages/aiohttp/connector.py1211行:#注释如下行#runtime_has_start_tls=self._loop_supports_start_
  • Android逆向抓包技巧-不走系统代理 象野VH Android逆向基础爬虫
    前言不走代理，即NoProxy抓包问题，这种情况是在使用代理之后抓包工具并未捕获到数据，而且无论是开启还是关闭抓包工具，都不影响App正常的数据加载。因为Android系统设置的代理并不是强制对所有App生效，App可以在网络请求类库中通过自定义代理设置，选择是否要走系统代理。举例：在安卓开发中，OkHttp发送请求时，设置Proxy.NO_PROXY，让手机不走系统代理，此时基于系统代理抓不到包
  • 自动化抢票 12306 0zxm 自动化python运维
    自动化抢票123061.明确需求明确采集的网站以及数据内容网址:https://kyfw.12306.cn/otn/leftTicket/init数据:车次相关信息2.抓包分析通过浏览器开发者工具分析对应的数据位置打开开发者工具F12或鼠标右键点击检查刷新网页点击下一页/下滑网页页面/点击搜索/查询按钮让网页相关数据内容加载出来(整个网站数据内容重新加载一遍)通过关键字搜索找到对应数据位置需要什么
  • 【免越狱】iOS任意版本号APP下载 火星技术 ios
    下载地址https://pan.quark.cn/s/570e928ee2c4软件介绍下载iOS旧版应用，简化繁琐的抓包流程。一键生成去更新IPA（手机安装后，去除AppStore的更新检测）。软件界面使用方法一、直接搜索方式搜索APP，双击选择。双击选择要下载的版本。在iTunes中下载即可。二、复制APP链接方式在iTunes下载按钮右侧下拉菜单中，选择【复制链接】。双击选择要下载的版本。在i
  • 微信小程序接口请求有两个cookie 程序me 小程序video小程序set-cookie两个cookieserveridacw_tc
    前提：微信小程序是没有cookie的，我们需要手动设置header的cookie，自然cookie是存储在storage里面，然后请求接口的时候，读取storage，拼接成key=value;key=value，然后设置到header的cookie。问题：抓包接口，发现header有两个cookie，导致后台nginx解析异常，cookie内容拿到的都是空。一个cookie,一个Cookie。1、
  • 某短视频新算法之a_bogus逆向分析 往日情怀酿做酒 V1763929638 常见爬虫前端爬虫大数据
    本文纯技术交流，与平台无任何关系1.抓包分析我们进入到章若楠的主页面，进行抓包分析，发现有很多包，发现web/aweme/post这个包比其他的包都大，很有可能就是我们想要的数据进去查看预览发现这个就是我们想要的数据请求标头里没发现有需要逆向的参数载荷里发现sec_user_id明显就是章若楠小姐姐对应的id咯，然后就是a_bogus和msToken这两个看起来都像是需要逆向的，想练手的可以试着都
  • Wireshark抓包诊断TCP连接 iummature tcp/ipwireshark网络
    TCP进程通讯时，双方打开连接，发送数据，最后关闭连接。当TCP打开连接时，从源端口到目的端口发送一个请求。在应用建立或关闭时可能发生一些问题。本文讨论用Wireshark网络抓包的方法来定位及解决这一问题。问题的表现形式:问题可能有多种表现类型：●尝试运行应用程序但发现应用程序无法工作。尝试浏览网络但无法获得响应。●尝试发送邮件但无法连接到邮件服务器。●问题可能由简单原因引起，如服务器宕机，服务
  • 亚马逊/关键字搜索排名爬虫 香橼数据 #电商平台爬虫#电商平台-亚马逊爬虫pythonselenium
    目录1.需求&背景&挑战2.抓包分析2.1从首页获取session等信息2.2获取ubid_acbde信息2.3获取session-token信息2.4获取csrf-token信息2.5调用更改地址的接口3.验证码处理亚马逊作为全球最大的跨境电商平台，其数据的价值不言而喻。常规的使用场景有1)关键字搜索+广告抢位；2）ASIN详情；3）评论分析。作为完善的电商平台，其反爬的策略复杂多变，尤其是假数
  • 移动端防抓包实践 杨充 Android高级进阶网络服务器java
    目录介绍01.整体概述介绍1.1项目背景1.2思考问题1.3设计目标1.4收益分析02.市面抓包的分析2.1Https三要素2.2抓包核心原理2.3搞定CA证书2.4突破CA证书校验2.5如何搞定加解密2.6Charles原理2.7抓包原理图2.8抓包核心流程03.防止抓包思路3.1先看如何抓包3.2设置配置文件3.3数据加密处理3.4避免黑科技抓包04.防抓包实践开发4.1App安全配置4.2关
  • 快手极速版薅羊毛+脚本+抓包教程+环境变量配置 保姆级别教程 （2022/5/13 更新） 野团队|羊毛分队 青龙面板git
    快手极速版薅羊毛是基于青龙面板的首先你要有自己的青龙面板没有青龙面板的可以看下我以前的文章，很简单的（有服务器的话2分钟搭建完毕）那么下面开始进入正题！首先拉取脚本库（截至到目前为止很多脚本都已经不能用了，根本拉取不出来，下面分享一个大佬的脚本库）qlrepohttps://gitee.com/JDWXX/ql_all.git"""Backup|index|HT.*|sendNotify|ql""
  • QNET 弱网测试工具 测试在路上
    最近在找稳定的弱网测试工具，偶然发现腾讯竟然有一款：QNET弱网测试工具使用方法很简答：下载QNETAPP安装，用QQ登陆后，即可开始。可用的弱网环境：image自定义弱网环境：image实际使用情况：左边工具栏可随意切换网络环境，一般大约3秒左右就会切换成功；右边工具栏实时显示网络情况；image还可以自动抓包image下载方式：应用宝搜索下载image
  • 【IOS】常用旧版软件ID整理分享 乔治贝利
    苹果软件有些新版的没有旧版的好用，相信不止我一个人这样觉得，有的是因为系统没有更新，新版软件不支持；有的是新版软件对旧设备不友好，运行起来不够流畅；有的是新版加入广告，影响使用体验；更有的是新版的功能被阉割，让人无法忍受。于是乎就出现抓包教程，学会在电脑上使用iTunes和Fiddler配合，抓取旧版App是最好的方法，也可以使用苹果旧版APP下载软件（论坛里有，善用搜索）配合iTunes，教程已
  • python+mitmproxy抓包 funcdefmain 爬虫测试工具自动化测试python开发语言
    什么是mitmproxyMitmproxy就是用于MITM的Proxy，MITM即中间人攻击（Man-in-the-middleattack）。不同于fiddler，charles或wireshark等抓包工具，mitmproxy不仅可以抓取请求响应帮助开发者查看、分析，更可以通过自定义python脚本进行二次开发。安装pip安装pipinstallmitmproxy#验证mitmproxy--v
  • 一次bad udp checksum故障 robin5911 操作系统网络相关网络协议网络linux
    用户反馈client访问某服务的udp端口1107访问异常，使用tcpdump在服务端抓包时发现，客户端发给服务端的udp报文可以接收到，但服务端发给客户端的udp报文会报错badudpcksum#tcpdump-iany-nneevvvudpandport110711:01:57.774673Infe:16:4f:00:00:00ethertypeIPv4(0x0800),length218:(
  • 网络安全总结① 无泡汽水 网络面试网络安全
    上一篇：网络工程面试题②下一篇：网络安全总结②信息安全信息安全的定义防止任何对数据进行未授权访问的措施，或者防止造成信息有意无意泄漏、破坏、丢失等问题的发生，让数据处于远离危险、免于威胁的状态或特性。信息安全的脆弱性协议栈自身的脆弱性缺乏数据源验证机制，缺乏完整性验证机制，缺乏机密性保障机制（可以抓包）操作系统的自身漏洞人为：在程序编写过程中，为实现不可告人的目的，在程序代码的隐藏处保留后门硬件：
  • tcp 网络通信及抓包工具的使用 喵了d喵 学习linuxc语言
    tcp网络通信本地回环（Loopback）的概念本地回环地址是一个特殊的IP地址，用于指向计算机本身的网络接口。在IPv4中，最常见的本地回环地址是127.0.0.1，而在IPv6中则是::1。这个地址用于测试网络软件，确保网络协议栈在本地计算机上正确运行，而不涉及实际的网络硬件。本地回环地址通常与一个虚拟的网络接口关联，在Linux系统中这个接口被称为lo。本地回环的作用和重要性本地回环接口允许
  • HTTPS一定安全吗 wys2338 服务器https服务器https
    https是一种通过计算机网络进行安全通信的传输协议，主要目的是提供对网站服务器的身份认证，保护交换数据的隐私与完整性，但不能说使用htttps就一定绝对的安全。有一点需要了解的是，使用HTTPS在内容传输的加密上使用的是对称加密，非对称加密只作用在证书验证阶段。当浏览器发起HTTPS请求时，需要验证域名、有效期等信息是否正确，判断证书来源是否合法，还有就是由于数据是加密的，正常情况下，抓包工具代
  • 如何使用python抓包，附代码 Uncle 城 python网络开发语言AI
    以下为您介绍多种使用Python进行抓包的方法及代码示例：使用Scapy库进行抓包：首先确保已经安装了Scapy库。如果没有安装，可以使用以下命令安装：pipinstallscapy。创建一个名为packet_sniffer.py的Python文件，并输入以下代码：fromscapy.allimport*defpacket_callback(packet):print(packet.summary
  • 如何将十六进制的乱码转换成汉字 是一颗小白菜呀~ linux学习tcp/ip数据库
    在TCP通信时，抓包得到的请求报文，我们需要对其进行分析，用下面的报文举例：GET/search?query=%E4%B8%89%E6%98%9FHTTP/1.1Host:192.168.0.118:50500Connection:keep-aliveUpgrade-Insecure-Requests:1User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)
  • C++开发值得推荐的十大高效软件分析工具 dvlinker C/C++软件开发从入门到实战C/C++实战专栏C++常用分析工具WindbgIDAProcessExplorerProcessMonitorAPIMonitor
    目录1、概述2、高效软件工具介绍2.1、窗口查看工具SPY++2.2、DependencyWalker2.3、剪切板查看工具Clipbrd2.4、GDI对象查看工具GDIView2.5、ProcessExplorer2.6、PrcoessMonitor2.7、APIMonitor2.8、调试器Windbg2.9、反汇编工具IDA2.10、抓包工具Wireshark3、总结C++软件异常排查从入门到
  • app手机抓包工具 奇纳尼 抓包https网络协议http
    fiddler和charles两个抓包的区别：基本也就是试用的平台有差异Fiddler和Charles的功能大同小异，基本上都是抓包、断点调试、请求替换、构造请求、代理功能；主要区别：Fiddler只能运行在Windows平台，而Charles是基于Java实现的，基本上可以运行在所有主流的桌面系统，还有一个区别就是Fiddler开源免费、Charles是收费的；fiddler的安装步骤：fidd
  • 插入表主键冲突做更新 a-john
    有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sql语
  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
    一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello"   2.引用系统资源。格式：@android:type/name     android:textColor="@android:color/opaque_red"
  • 数据结构的基本介绍 天子之骄 数据结构散列表树、图线性结构价格标签
    数据结构的基本介绍 数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。   经典的数据结构大致如下：   一：线性数据结构 (1)：列表 a
  • 通过二维码开放平台的API快速生成二维码 一炮送你回车库 api
     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。        html代码如下:(二维码将生成在这div下) ? 1  &nbs
  • ImageIO读取一张图片改变大小 3213213333332132 javaIOimageBufferedImage
    package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
  • myeclipse集成svn（一针见血） 7454103 eclipseSVNMyEclipse
                                     &n
  • 装箱与拆箱----autoboxing和unboxing darkranger J2SE
    4.2　自动装箱和拆箱 基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
  • ajax传统的方式制作ajax aijuans Ajax
    //这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
  • 只用jre的eclipse是怎么编译java源文件的？ avords javaeclipsejdktomcat
    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
  • 前端模块化 bee1314 模块化
    背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
  • 处理百万级以上的数据处理 bijian1013 oraclesql数据库大数据查询
    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。         2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
  • mac 卸载 java 1.7 或更高版本 征客丶 javaOS
    卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析   本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
  • Erlang vs TNSDL bookjovi erlang
          TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 相关新闻： （1）IT行业成五大疾病重灾区：过劳死平均37.9岁
  • 读《研磨设计模式》-代码笔记-原型模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
  • 配置管理---svn工具之权限配置 chenyu19891124 SVN
    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos    component    webapps 在conf里面的auth里赋予的权限配置为 [groups]
  • 浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
                                     浅谈程序员的数学修养
  • 批量执行 bulk collect与forall用法 daizj oraclesqlbulk collectforall
    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。     有关FORALL语句的用法请参考：批量SQL之 F
  • Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
    1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
  • Yii CModel中rules验证规格 dcj3sjt126com rulesyiivalidate
    Yii cValidator主要用法分析：  yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError  
  • 基于vagrant的redis主从实验 dcj3sjt126com vagrant
    平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从   实现思路 制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box   制作sentos6.5+redis的box   mkdir vagrant_redis cd vagrant_
  • Memcached(二)、Centos安装Memcached服务器 frank1234 centosmemcached
    一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]： 建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
  • Remove Duplicates from Sorted List hcx2013 remove
    Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
  • Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • 浅谈enum与单例设计模式 247687009 java单例
    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构 造器，导出静态成员变量，以便调用者访问。 第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
  • 使用switch条件语句需要注意的几点 openwrt cbreakswitch
    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
  • 配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 springmybatisJUnit
    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串 解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 第二个问题的具体实例是：    
  • Java 定时任务总结一 tuoni javaspringtimerquartztimertask
     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank相似度计算文本相似度词袋模型余弦相似度
    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。   最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：     1、注册多个账号（一般10个以上）。     2、从多个账号中选择一个账号，发表1-2篇博文
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他