网络监控前言
项目开发中,对于app 浏览的监控有几方面方式 ,包括第三方平台监控这样可以有一个比较友好的后台来进行观察。自己接口请求地方打tag 这样可以再自己项目中掩埋下请求的起点和返回的结束。还有一种就是利用iOS 开发中 语言的编译运行机制来确认请求方法的调用获取请求的详情。
In the project development, there are several ways to monitor the app browsing, including third-party platform monitoring, which can have a friendly background for observation. The own interface requests the place to tag, so that you can bury the start of the request and the end of the return in your own project. Another is to use the compile and run mechanism of the language in iOS development to confirm the details of the call request of the request method.
网络监控
需求详情:
Request 基本详情
上行流量
下行流量
response 的数据
数据归类的功能划分
图片 音视频 的download upload 数据监听
-
错误数据的分析
。。。。
知道app 的流量,衡量app 指标之一,相比平台级别的监控,和测试环境的app 绑定一起的工具功能 利用率会高一些。对于客户端开发者更为方便。
在这样的需求下,开始开发这个功能
.png)
这里是第一版本的简单处理,后期的版本迭代数据项依靠Charles 的数据项来进行数据细分和丰富
Method Swizzling、NSProxy和 Fishhook
方法 NSUrlProtocol
NSRULProtocol 通过 注册的方式来监控 数据的
https://tech.meituan.com/2016/12/19/hertz.html 美团的团队Hertz 在2016年利用这个理论来获取外卖app 的数据请求情况
只支持 FTP,HTTP,HTTPS 等几个应用层协议
架构图
1 建立 protocol subClass
+ (void)injectNSURLSessionConfiguration{
Class cls = NSClassFromString(@"__NSCFURLSessionConfiguration") ?: NSClassFromString(@"NSURLSessionConfiguration");
Method originalMethod = class_getInstanceMethod(cls, @selector(protocolClasses));
Method stubMethod = class_getInstanceMethod([self class], @selector(protocolClasses));
if (!originalMethod || !stubMethod) {
[NSException raise:NSInternalInconsistencyException format:@"Couldn't load NEURLSessionConfiguration."];
}
method_exchangeImplementations(originalMethod, stubMethod);
}
- (NSArray *)protocolClasses {
return @[[TBNetUrlProtocol class]];
}
进行method_exchange NSURLSessionConfiguration protocolClasses exchange CustomClass .
2 截获request
基本在CustomClass 写的是 NSURLSession 方法实现
- (void)startLoading {
NSURLRequest *request = [[self class] canonicalRequestForRequest:self.request];
self.connection = [[NSURLConnection alloc] initWithRequest:request delegate:self startImmediately:YES];
self.dm_request = self.request;
}
对于request 的甄别 还是依靠
SummaryReturns a canonical version of the specified request. |
---|
+ (NSURLRequest *)canonicalRequestForRequest:(NSURLRequest *)request; |
SummaryDetermines whether the protocol subclass can handle the specified request. |
---|
+ (BOOL)canInitWithRequest:(NSURLRequest *)request; |
3 数据的抓取
SummaryA protocol that most delegates of a URL connection implement to receive data associated with the connection. |
---|
Declaration@protocol NSURLConnectionDataDelegate |
这里很灵活 ,因为大部分用的是NSURLSession 要用
SummaryA protocol defining methods that NSURLSession instances call on their delegates to handle session-level events, like session life cycle changes. |
---|
Declaration@protocol NSURLSessionDelegate |
delegate 不一样,但是 逻辑是一样,对于respones 和request 的获取,完全是在对应 的回调里面
4 数据处理
为了分开 数据接口的抓取 监听 和 数据处理 + 数据UI 汇总 ,数据处理这个看项目的具体情况来处理
分层 也为后期 不同的数据抓取 不同的数据处理逻辑 坐了准备,不同的UI 展示,更可以定制显示。
5 UI
为了直观的体现UI
UI 的罗列了网络接口情况的 情况,上下行的数据 /URL 请求记录/响应时间/请求类型/等等
遇到问题
- 数据不全
- 自定义有限
这里遇到两个问题 WKWebView 的数据无法获取,解决方法如下
#import "NSURLProtocol+WKWebVIew.h"
#import
//FOUNDATION_STATIC_INLINE 属于属于runtime范畴,你的.m文件需要频繁调用一个函数,可以用static inline来声明。从SDWebImage从get到的。
FOUNDATION_STATIC_INLINE Class ContextControllerClass() {
static Class cls;
if (!cls) {
cls = [[[WKWebView new] valueForKey:@"browsingContextController"] class];
}
return cls;
}
FOUNDATION_STATIC_INLINE SEL RegisterSchemeSelector() {
return NSSelectorFromString(@"registerSchemeForCustomProtocol:");
}
FOUNDATION_STATIC_INLINE SEL UnregisterSchemeSelector() {
return NSSelectorFromString(@"unregisterSchemeForCustomProtocol:");
}
@implementation NSURLProtocol (WebKitSupport)
+ (void)wk_registerScheme:(NSString *)scheme {
Class cls = ContextControllerClass();
SEL sel = RegisterSchemeSelector();
if ([(id)cls respondsToSelector:sel]) {
// 放弃编辑器警告
#pragma clang diagnostic push
#pragma clang diagnostic ignored "-Warc-performSelector-leaks"
[(id)cls performSelector:sel withObject:scheme];
#pragma clang diagnostic pop
}
}
+ (void)wk_unregisterScheme:(NSString *)scheme {
Class cls = ContextControllerClass();
SEL sel = UnregisterSchemeSelector();
if ([(id)cls respondsToSelector:sel]) {
// 放弃编辑器警告
#pragma clang diagnostic push
#pragma clang diagnostic ignored "-Warc-performSelector-leaks"
[(id)cls performSelector:sel withObject:scheme];
#pragma clang diagnostic pop
}
}
另外一个问题:Header 数据 不够健全相比较 Charles 数据header 数据项
其他数据项要靠task 里面的属性 url 来想办法获取,目前根据需求 还在探索。
https://juejin.im/post/5a37d039518825256362c6ce
https://github.com/LiuShuoyu/HybirdWKWebVIew
这两个方案解决 wk 抓取问题,但是还是无法满足复杂项目中所有的网络请求
目前看到https 的解决方式也有很多
- (void)URLSession:(NSURLSession *)session task:(NSURLSessionTask *)task didReceiveChallenge:(NSURLAuthenticationChallenge *)challenge completionHandler:(void (^)(NSURLSessionAuthChallengeDisposition disposition, NSURLCredential *credential))completionHandler {
assert([NSThread currentThread] == self.clientThread);
//判断服务器返回的证书类型, 是否是服务器信任
if ([challenge.protectionSpace.authenticationMethod isEqualToString:NSURLAuthenticationMethodServerTrust]) {
//强制信任
NSURLCredential *card = [[NSURLCredential alloc]initWithTrust:challenge.protectionSpace.serverTrust];
completionHandler(NSURLSessionAuthChallengeUseCredential, card);
}
}
这个是didi 的强行信任 但是如果服务器对证书有的认证要求 就无法抓取。还有很多方法,核心问题在于 如果项目中请求的url 有双向验证,或者有加密数据请求,就无法对response 获取。
这样解决本质问题的swizzed 方式 成为第二个解决方案。
参考资料
http://zhoulingyu.com/2018/05/30/ios-network-traffic/
https://github.com/didi/DoraemonKit
https://github.com/aozhimin/iOS-Monitor-Platform