JSFinder自动化脚本一键批量处理URL（附自动执行脚本带whatweb筛选）

JSFinder自动化脚本一键处理（附脚本带whatweb筛选，直接把可以成功的页面直接打开）

1. 前言
   信息收集是渗透工作的前站，做好信息的重要性不亚于拥有完美的渗透技术，JSFinder这个脚本拥有爬取网站子域名和URL的功能还能做一个详细分类
2. 首先下载JSFinder这个脚本到自己本机，我用的是kali，python已经安装了，可以直接执行，如果没有自己下载一下，这个脚本是python3来执行的，其他python版本未测试，可自行测试，记得告诉博主一下哦。
3. 下载下来的包一个执行的py包和一个执行说明
   看着简单，但很强大，我用着挺顺手的，有御剑不想再起虚拟机搞了（毕竟开着虚拟机还是有点卡）一般重要的网站可以多起几个软件一起测，然后合并用sort去重，这样可能多拿到一点数据，
4. jsfinder.py的使用方法，在README.md有示例，在这就不多做演示
   里面做了诸如注释，解释，尽力讲清楚每行代码的作用，可能比较繁琐一些，如果有大神愿意指导指导，感激不尽
   首先在文件夹内新建一个domain的文档，把要扫描的URL放在里面，开启脚本执行即可

#!/bin/bash
rm -rf *.txt   #删除之前执行过的文件
rm -rf *.sh    #删除之前执行过的脚本
c=1   #因为添加的URL链接里面都有/，但是根又不能在文件名中体现，所以只能这样暂时处理一下，后期会更新掉这个，
cat domain |while read line   #domain这个文件是存放你要跑的网址，可以修改其他成其他名字（因为图省事，所有都在JSF这个文件内执行的，如果是其他目录下的要走绝对路径指定一下）
do  #开始               line是文本内的变量可以修为别的，那么下面的$line也要跟着改变
echo "python3 JSFinder.py -u "$line" -d -ou url_"$c".txt -os domain_"$c".txt" >>A"$c".sh  #生成一个sh脚本，分开执行，开启多线程,这个是深度扫描如果嫌时间慢，可以吧-d到domain*.txt删除
ls A*.sh|xargs -n 1 -P 2 sh     #多个URL同时处理的时候就狠爽了，
echo "whatweb -i url_"$c".txt --no-errors --color=never >>"$c".已whatweb未筛选.txt" >>B"$c".sh   #再起一个多线程，快速处理文档
ls B*.sh|xargs -n 1 -P 10 sh    #为什么每个任务都分开用脚本执行，物尽其用，但是性能不好机器，就算了，把-P 这个值调小一些（1-10）
echo "cat url_"$c".已whatweb未筛选.txt |grep -E '200|302'|awk '{print(\$1)}' >>"$c"_whatweb可以打开的网址.txttxt" >>Curl_"$c".sh    #用whatweb处理一下可以打开的网址，并调出来
ls C*.sh|xargs -n 1 -P 10 sh           #whatweb在这个筛选容易报错，分两次处理，虽然复杂点，但是高并发效率更好
let "c++"   #给每个脚本加一个不一样的数字，方便查看 如果有两个网址，那么$c就会变成2，不会找不到文件，对应一下就好
done   #结束
#rm -rf *.sh
echo "扫描完成，url请查看——url.txt"
echo "扫描完成，domain请查看——domainb.txt"

5. 这是扫描后的文件夹，里面文件的名字都可以修改（只要修改完自己还能找到）
   1：把要扫描的网站URL放在domain文档里面（没有请新建一个，或者修改脚本内第四行的domain为自己自定义的文档名字）
   2：执行的脚本（.shsh是为了避免被删掉，脚本前后都有删除脚本的命令，为了展示，暂时注释掉了）
   3：url_1.txt（这是提取出来的URL链接，还没有用whatweb处理，如果有两个网址就会有url_2.txt）依次类推
   4：domain.txt（这是JSF跑出来的子域名，很方便吧！！！）
   5：已经用whatweb打开的网址（包含所有200，302，400全部，我只要302和200）
   6：这是输入的这个网站全部302和200全部可以打开的网址，那么现在就进入到了手工阶段了。
6. 网页domain拿到了，一个个复制去效率太低，推荐使用批量打开网页的小工具，加快处理速度
7. 推荐一个小工具（网页批量打开工具下面附带一个我自己经常使用的网站，大家也可以自行百度“网页批量打开工具”）
   http://www.20z.com/dakai/
   1：1：导入要打开的URL
   2：一次打开多少网站（默认五个就挺好，填写十个，打开五个后也会卡顿，非常不爽）
   3：不要动，默认即可
   4：那就启动吧，哦对了，浏览器可能会拦截，记得给这个网站可以打开其他网页的个权限

现在工具都教给你了， 可以关注点赞一波哦，一起交流不断进步