最近在研究网页HTML的解析,找了一些支持xpath语法的第三方框架,最后定位到Ono框架,但是官方的使用方法介绍太简单了,导致用的过程中还是踏了不少坑,这里记录一下,有一点介绍一点,直到目前手里的这个项目做完。
这里主要介绍HTML解析相关,XML不涉及。
1.Ono基础用法
#import "Ono.h"
NSData *data = ...;
NSError *error;
ONOXMLDocument *document = [ONOXMLDocument HTMLDocumentWithData:data error:&error];
for (ONOXMLElement *element in document.rootElement.children) {
NSLog(@"%@: %@", element.tag, element.attributes);
}
// Support for Namespaces
NSString *author = [[document.rootElement firstChildWithTag:@"creator" inNamespace:@"dc"] stringValue];
// Automatic Conversion for Number & Date Values
NSDate *date = [[document.rootElement firstChildWithTag:@"created_at"] dateValue]; // ISO 8601 Timestamp
NSInteger numberOfWords = [[[document.rootElement firstChildWithTag:@"word_count"] numberValue] integerValue];
BOOL isPublished = [[[document.rootElement firstChildWithTag:@"is_published"] numberValue] boolValue];
// Convenient Accessors for Attributes
NSString *unit = [document.rootElement firstChildWithTag:@"Length"][@"unit"];
NSDictionary *authorAttributes = [[document.rootElement firstChildWithTag:@"author"] attributes];
// Support for XPath & CSS Queries
[document enumerateElementsWithXPath:@"//Content" usingBlock:^(ONOXMLElement *element, NSUInteger idx, BOOL *stop) {
NSLog(@"%@", element);
}];
是的这就是官方所有的使用方法,再放个链接吧
2.Ono中使用Xpath函数
如果你要用的xpath的函数,譬如 concat(), contains()等,则要用以下的方法:
- (nullable ONOXPathFunctionResult *)functionResultByEvaluatingXPath:(NSString *)XPath;
3.Ono莫名其妙的编码问题
遇到一个奇怪的问题,记录一下。
解析一个站的HTML网页,网站编码要求gbk,在请求完之后,直接用返回的 responseObject
data类型,进行解析,并且一切顺利,开始使用的代码如下:
AFHTTPSessionManager *manager = [[AFHTTPSessionManager alloc] init];
NSStringEncoding encode = CFStringConvertEncodingToNSStringEncoding(kCFStringEncodingGB_18030_2000);
manager.requestSerializer.stringEncoding = encode;
[manager.requestSerializer setValue:@"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36" forHTTPHeaderField:@"User-Agent"];
[manager.requestSerializer setValue:@"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3" forHTTPHeaderField:@"Accept"];
// [manager.requestSerializer setValue:searchHomeUrlStr forHTTPHeaderField:@"Referer"];
manager.responseSerializer = [AFHTTPResponseSerializer serializer];
[manager GET:useDirUrl parameters:nil progress:nil success:^(NSURLSessionDataTask * _Nonnull task, id _Nullable responseObject) {
NSError *error;
//这里直接用NSData类型的数据当入参解析
ONOXMLDocument *doc = [ONOXMLDocument HTMLDocumentWithData:responseData error:&error];
[doc enumerateElementsWithXPath:model.sourceDetail.parser._1._list usingBlock:^(ONOXMLElement * _Nonnull element, NSUInteger idx, BOOL * _Nonnull stop) {
}];
}];
但是同样是这个站的另外一个网页,同样是gbk编码,用同样的方法,就会报错:
encoding error : input conversion failed due to input error, bytes 0xAC 0x4E 0x00 0x00
十分郁闷,最后试了各种办法只能先用gbk解码为string,然后用string当入参并且编码格式为utf8,具体代码如下:
//这里直接用先gbk解码为字符串,然后编码格式为utf8当入参解析
NSString *html = [[NSString alloc] initWithData:responseObject encoding:encode];
ONOXMLDocument *doc = [ONOXMLDocument HTMLDocumentWithString:html encoding:NSUTF8StringEncoding error:&error];
[doc enumerateElementsWithXPath:model.sourceDetail.parser._1._list usingBlock:^(ONOXMLElement * _Nonnull element, NSUInteger idx, BOOL * _Nonnull stop) {
}];
具体为什么还是没弄明白。