全网URL采集工具（msray），支持关键词采集，域名采集，联系人采集

今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。

软件提供本地WEB管理后台对软件进行相关操作，无需使用复杂的命令，功能强大且简单易上手!

软件优势：

1：多搜索引擎支持

支持全网采集，目前基本支持全网主流的搜索引擎，包括baidu，sogou，bing,Google,Yandex,Want,神马，DuckDuckGo,

后续还会推出更多的支持，敬请期待…

2: 多种过滤方案

灵活的过滤方案可以根据我们的业务需求，自己定制符合的过滤方案，避免获得重复冗余数据，使我们的数据更加的精确，高效

系统内置了多种过滤方案：

同时支持根据域名，IP归属，网页标题，网页内容，访问状态等…进行自定义过滤

3: 灵活的推送方案

软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，

核心功能

1： 关键词采集

根据提供的关键词采集全网的数据，

重复判断：可以选择根据域名或者网址进行重复判断，

采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。

过滤方案支持：可以根绝自己的业务需要设置自己的过滤方案

支持相关词扩展，自动添加网页推荐的相关词

关键词自动扩展支持

推送方案WebHook支持：根据自己业务需要进行远程数据推送，方便再次做统计分析。

结果预览：

2： URL采集

根据提供的URL数据批量采集全网被收录的数据，

重复判断：可以选择根据域名或者网址进行重复判断，

支持线程数自定义，可根据自己机器配置调整最优

采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。

过滤方案支持：可以根绝自己的业务需要设置自己的过滤方案

防站群陷阱：可防止二级域名站群导致爬虫陷阱

推送方案WebHook支持：根据自己业务需要进行远程数据推送，方便再次做统计分析。

创建爬虫任务

结果预览

3： 联系任务

可根据提供的域名地址采集被收录的联系方式等信息

包含手机。电话，qq，邮箱等

远程结果推送支持：可将结果推送到远程的服务器

创建联系任务

结果预览

URL采集工具可以帮助我们进行数据抓取、处理、分析，挖掘。

URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。这样可以保证，数据的完整性，时效性，特征性，提高分析的准确性。

更多关注：

msray官网：https://www.msray.net/
在线文档：https://www.msray.net/doc/
免费版获取：https://github.com/super-l/msray