前嗅ForeSpider脚本教程-链接过滤脚本

阅读更多

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接过滤脚本,应用场景,地址/标题过滤。具体内容如下:

 

一.应用场景

当可视化抽取到的链接包含不想要的链接地址时,需要进行过滤。可能用到的类是:string,使用到的全局对象是VALUE。

二.地址过滤

场景:链接地址有规律。

示例:可视化配置百度搜索之后的链接抽取,过滤掉不是列表链接和翻页链接的所有链接。

脚本实例:

 

If(VALUE.Find(“wd=”)!=-1||VALUE.Find(“url=”)!=-1)

return true;  //return true代表保留链接

else return false;  //return false代表过滤链接

三.标题过滤

场景:链接标题有规律。

示例:过滤掉所有标题不为空字符串的链接,并返回链接标题为”关键词”。

脚本实例:

 

if(VALUE!=””) 

return false;  //代表过滤链接

else return “关键词”;  //否则保留并覆盖标题为关键词

 

你可能感兴趣的:(前嗅,数据采集,ForeSpider数据采集,采集教程,脚本教程)