web信息收集
文章目录
-
- 一、域名信息
-
- whois查询
- whois反查
- 备案信息查询
- 二、子域名
-
- 通过证书收集
- Google语法
- 工具爆破枚举
- 在线查询
- 三、旁站、C段
- 四、网站信息
-
- 1、网站架构探测
-
- 1、指纹检测
-
- 国外指纹识别工具
- 国内指纹识别工具
- 在线指纹识别
- 2、CMS识别
- 2、WAF信息
-
- 什么是WAF应用？
- WAF的主要特点有：
- 如何快速识别WAF？
- 手动识别waf
- 识别WAF对于安全测试的意义？
- 3、历史漏洞
- 五、敏感目录文件
-
- Web 应用敏感信息探测:
- 网页源码
- 工具
- .git泄露
- SVN泄露
- HG泄露
- 备份文件
- 五、端口扫描
- 六、APP以及其他资产
- 六、网络空间引擎搜索(暗黑引擎)
-
- 简单用法
- 1、shodan
- 2、fofa
- 3、zoomeye--钟馗之眼
- 七、其他社工查询
-
- 1、法人代表
- 2、灰色产业
- 证书透明度介绍:
-
- 证书透明度工具:
- 八、github监控
- 九、真实IP查询
-
- 1、确定有无CDN
-
- CDN简介
- 确定有无CDN的方法
-
- 1.多地ping
- 2.nslookup
- 2、绕过CDN查找网站真实IP
-
- 1.DNS历史解析
- 2.查询子域名
- 3.网络空间引擎搜索法
- 4.利用SSL证书查询
- 5.邮件订阅
- 6.国外访问
- 十、服务器信息搜集
-
- 1、操作系统类型判断
-
- 第一种判断方法：
- 第二种判断方法：
- 端口扫描
- 谷歌信息收集插件
- 抓包工具
参考博客：https://www.freebuf.com/articles/web/250416.html
#小迪信息收集流程图（参考）
一、域名信息
whois查询
whois信息在线收集地址
站长之家： http://whois.chinaz.com/
阿里云域名信息查询：https://whois.aliyun.com
爱站：https://whois.aizhan.com/
微步：https://x.threatbook.cn/
whois反查
站长之家：http://whois.chinaz.com
whois反查可根据whois获取到的域名所有人、域名注册商、域名注册日期和过期日期等,使用邮箱，电话等进行反查获取更多关联的域名等信息
备案信息查询
常用备案信息查询网站，获取网站的详细信息
ICP备案查询网：http://www.beianbeian.com/
天眼查：https://www.tianyancha.com/
爱站网：https://www.aizhan.com/
二、子域名
通过证书收集
https://censys.io/
https://crt.sh/
Google语法
利用搜索引擎查询（site:www.xxx.com）
工具爆破枚举
layer子域名挖掘机、御剑、subDomainsBrute、K8
oneforall
在线查询
http://sbd.ximcx.cn/
站长工具:http://tool.chinaz.com/subdomain/
三、旁站、C段
旁站：是和目标网站在同一台服务器上的其它网站
C端：是和服务器IP处在一个C段的其他服务器
在线：
https://webscan.cc/
fofa、shodan在线工具 语法:ip=“106.15.141.18/24”
本地：
namp
nmap -p 22,21,443,8080-Pn 172.178.40.0/24
masscan
masscan -p 22,21,443,8080-Pn --rate=1000172.178.40.0/24
goby 自动探测当前网络空间存活的IP及解析域名到IP
K8旁站 K8Cscan是款专用于大型内网渗透的高并发插件化扫描神器，可以用来扫描C段、旁站
御剑1.5这个就不用多说什么了
四、网站信息
1、网站架构探测
探测目标站点架构：操作系统、中间件、脚本语言、数据库、服务器、web容器。
1、指纹检测
组件是网络空间最小的单元，WEB应用程序、数据库、中间件等都属于组件。指纹是组件上能标识对象类型的一段特征信息，用来在渗透测试信息收集环节中快速识别目标服务。指纹识别可以通过一些开源程序和小工具进行扫描，也可以结合文件头和反馈信息进行手工判断，指纹识别的主要思路如下：
- 使用工具自动判断
- 手工对网站的关键字、版权信息、后台登录、程序版本和rebots.txt等常见固有文件进行识别、查找、对比，相同文件具有相同的MD5值或相同的属性
指纹检测详细解释：https://www.anquanke.com/post/id/178230
国外指纹识别工具
WhatWeb
Wapplyzer
Whatruns跟Wappalyzer安装类似，Whatruns可直接在chrome应用商城直接搜索安装
国内指纹识别工具
御剑web指纹识别程序
Test404轻量WEB指纹识别
w11scan分布式WEB指纹识别平台
在线指纹识别
使用首先需要将被识别网址保存到文件中，然后打开Test404导入网址文件，点击开始识别即可
通过域名或IP地址进行查询
- 云悉指纹识别网址 ：http://www.yunsee.cn/finger.html
- bugscaner指纹识别网址：http://whatweb.bugscaner.com/look/
2、CMS识别
web渗透过程中，对目标网站的指纹识别比较关键，通过工具或手工来识别CMS系统的自建、二次开发，还是直接使用开源的CMS程序至关重要，通过获取的这些信息来决定后续渗透的测试思路和策略。在指纹识别的过程中，借用了很多开源的工具和指纹库，如fofa、WhatWeb、w11scan、WebEye、御剑等等。
在线cms指纹识别：http://whatweb.bugscaner.com/look/
云悉：http://www.yunsee.cn/info.html
潮汐指纹：http://finger.tidesec.net/
操作系统类型识别：
通过ping目标主机返回的TTL值判断服务器类型 win128 linux 64 ，大小写敏感区分
工具：namp、p0f
综合探测工具：
shodan、whatweb（kali集成）、wappalyzer插件
2、WAF信息
扫描工具：whatwaf、wafw00f
在线识别工具：https://scan.top15.cn/web
扫描IP C段，防火墙一般都会有web管理
什么是WAF应用？
Web应用防火墙可以防止Web应用免受各种常见攻击，比如SQL注入，跨站脚本漏洞（XSS）等。WAF也能够监测并过滤掉某些可能让应用遭受DOS（拒绝服务）攻击的流量。WAF会在HTTP流量抵达应用服务器之前检测可疑访问，同时，它们也能防止从Web应用获取某些未经授权的数据。
WAF的主要特点有：
1． 针对HTTP和HTTPS的请求进行异常检测，阻断不符合请求的访问，并且严格的限制HTTP协议中没有完全限制的规则。以此来减少被攻击的范围。
2． 建立安全规则库，严格的控制输入验证，以安全规则来判断应用数据是否异常，如有异常直接阻断。以此来有效的防止网页篡改，信息泄露等恶意攻击的可能性。
3． 运用WAF技术判断用户是否是第一次请求访问的，同时将请求重定向到默认的登陆页面并且记录该事件。以此来检测识别用户的操作是否存在异常或者攻击，并且对达到阙值，触发规则的访问进行处理。
4． WAF防御机制也可以用来隐藏表单域保护，响应监控信息泄露或者被攻击时的告警提示，也可以抵抗规避入侵，爬虫等技术。
如何快速识别WAF？
工具：wafw00f
下载地址;https://github.com/EnableSecurity/wafw00f
直接cmd打开，输入： python setup.py install ,就会自动运行安装程序，最后一行出现下面这句话就是安装成功了
Finished processing dependencies for wafw00f==2.1.0
之后，cd 进入wafw00f文件夹，执行 python main.py 就可以开始识别网站waf了
执行命令 python main.py https://www.bilibili.com/ 进行waf检测
有识别不出和误报情况
案例:
无waf
手动识别waf
wafw00f-shodan（X-Powered-By:WAF）字段里面看看是否包含此信息X-Powered-By:WAF，但是此方法不一定有效
识别WAF对于安全测试的意义？
对方有waf，不要直接使用扫描工具去扫，因为都会拦截掉，扫了有可能会把ip封了，之后要过一会才能扫了
3、历史漏洞
公开漏洞查询
确认网站的运行的cms或者运行的服务后，可通过公开漏洞进行查询
http://cve.mitre.org/find/search_tips.html
通过查询cve漏洞库查找当前cms或者服务是否存在已知公开漏洞，结合google获取详细漏洞信息
https://www.exploit-db.com/
Google等搜索引擎确定cms或者服务后，在后面加上exp、poc、漏洞等词汇获取详细漏洞信息。
https://vulners.com/
可通过漏洞相关关键字获取详细漏洞信息
历史漏洞查询
确认网站所属单位，可通过查询历史漏洞或者该集团、单位历史漏洞辅助攻击（例如获取内网ip段、历史账号密码）
seebug：https://www.seebug.org/
CNVD：https://www.cnvd.org.cn/
五、敏感目录文件
Web 应用敏感信息探测:
- 寻找Web 应用的敏感目录、敏感文件、源码泄露。
- 敏感信息探测工具：
- wfuzz可以用在做参数的模糊测试，也可以用来做Web目录扫描等操作。
- 操作指令：
wfuzz -w DIR.txt [http://xxx.com/FUZz](http://xxx.com/FUZz) - 御剑扫描工具直接一顿扫
- Fuzzdb
网页源码
注意观察源代码里面是否会有开发者预留的相关信息，有时候开发者为图方面会将测试账号密码、默认管理员账号密码写在前端。同时查看源代码里面的一些相对路径的文件和绝对路径的文件，可能会存在未授权访问漏洞。
工具
工具：https://github.com/j3ers3/Dirscan
.git泄露
工具：https://github.com/denny0223/scrabble
工具：githacker https://github.com/WangYihang/GitHacker
在git泄露中也可能有其他有用的信息如在文件下.git/config文件下的access_token信息进而访问该用户的其他仓库。
SVN泄露
工具：seay-svn
dvcs-ripper
https://github.com/kost/dvcs-ripper
HG泄露
工具：https://github.com/kost/dvcs-ripper
备份文件
Test404网站备份文件扫描器 v2.0
Google语法是万能的
DirBuster（kali自带的一款扫描工具）
Webdirscan（python编写的简易的扫描工具）
御剑（操作简易方便）
dirmap（一款高级web目录扫描工具，功能比较强大）
这些工具都自带字典，也可以自己手动添加，拥有强大的字典也是很关键的
五、端口扫描
需要知道目标服务器开放了哪些端口，常见的如 135 、137 、138 、139 、445，这几个端口经常爆发漏洞。以下是一些服务端口的漏洞：
22——>ssh弱口令
873——>rsync 未授权访问漏洞
3306——>mysql弱口令
6379——>redis未授权访问漏洞
端口扫描工具有nmap和masscan。nmap扫描的准确性较高，但是扫描的比较慢。masscan扫描的比较快，但是准确性较低。
nmap对ip地址进行扫描
nmap -sV IP
六、APP以及其他资产
#AP提取一键反编译提取
#AP抓数据包进行工具配合
#各种第三方应用相关探针技术
#各种服务接口信思相关探针技术
#APP提取及抓包及后续配合
某APK一键提取反编译
利用burp历史抓更多URL
#某无WEB框架下的第三方测试
各种端口一顿乱扫-思路
各种接口一顿乱扫-思路
接口部分一顿乱扫-思路
六、网络空间引擎搜索(暗黑引擎)
简单用法
三种引擎都能够搜索到很多信息，没有好坏之分
搜索ip时，可以得到这个ip开放的端口以及具体启动的服务是什么
比如挖SRC的时候要进行子域名收集，查找真实IP等。如果寻找某电商的子域名，可以根据其证书，header信息，备案号，页面引用的特定文件等找到相关其子域名。对于一些有cdn的，也可以绕过cdn找到真实IP。
搜索域名的时候，可以得出其子域名以及ip端口等等信息
1、shodan
一些有趣的Shodan搜索：https://www.freebuf.com/fevents/224181.html
2、fofa
fofa既可以搜索到部分子域名，也可以搜索到目标的各种系统，如OA、后台等等，而这些系统很容易成为突破口
fofa常用语法+新功能-网络空间测绘 :https://www.freebuf.com/sectool/268246.html
FOFA搜索语法
主要分为检索字段以及运算符，所有的查询语句都是由这两种元素组成的。目前支持的检索字段包括：domain，host，ip，title，server，header，body，port，cert，country，city，os，appserver，middleware，language，tags，user_tag等等，支持的逻辑运算符包括：= ，==，!= ，&&，||
常用命令：
1.title
搜索包含“标题”的IP title=“标题”
2.domain
搜索所有子域名
3.host
搜索host内所有带有qq.com的域名
新功能：网络空间测绘
蜜罐：
蜜罐是一种软件应用系统，用来称当入侵诱饵，引诱黑客前来攻击。攻击者入侵后，通过监测与分析，就可以知道他是如何入侵的，随时了解针对组织服务器发动的最新的攻击和漏洞。还可以通过窃听黑客之间的联系，收集黑客所用的种种工具，并且掌握他们的社交网络。 设置蜜罐并不复杂，只要在外部因特网上有一台计算机运行没有打上补丁的微软Windows或者Red Hat Linux即行，然后在计算机和因特网连接之间安置一套网络监控系统，以便悄悄记录下进出计算机的所有流量。然后只要坐下来，等待攻击者自投罗网。
3、zoomeye–钟馗之眼
信息收集利器：ZoomEye:https://www.freebuf.com/sectool/163782.html
ZoomEye是一款针对网络空间的搜索引擎，收录了互联网空间中的设备、网站及其使用的服务或组件等信息。
ZoomEye 拥有两大探测引擎：Xmap 和 Wmap，分别针对网络空间中的设备及网站，通过 24 小时不间断的探测、识别，标识出互联网设备及网站所使用的服务及组件。研究人员可以通过 ZoomEye 方便的了解组件的普及率及漏洞的危害范围等信息。
虽然被称为 “黑客友好” 的搜索引擎，但ZoomEye 并不会主动对网络设备、网站发起攻击，收录的数据也仅用于安全研究。ZoomEye更像是互联网空间的一张航海图。ZoomEye兼具信息收集的功能与漏洞信息库的资源，对于广大的渗透测试爱好者来说以一件非常不错的利器。
七、其他社工查询
1、法人代表
天眼查 https://www.tianyancha.com/
whois https://www.whois.com/
2、灰色产业
银行卡号归属地 http://cha.yinhangkadata.com/
友商发票查询 http://fapiao.youshang.com/
TG社工、四件套查询、开户籍
查询dns解析以及子域名
https://securitytrails.com/domain/www.baidu.com/history/a
https://dnsdb.io/
ip GPS定位 https://www.opengps.cn/
证书透明度介绍:
- 授权机构(CA)是一个受信任的第三方组织，负责
发布和管理SSL/TLS证书，全球有数百个受信任的CA，他们中任何一个都有权利为你的域名颁发有效的SSL证书。 - 证书透明度(CT)是为了
防止证书授权机构(CA)或者其他恶意人员伪造服务器证书而诞生的一个项目。 - CT会要求CA将数字证书(SSL/TLS证书)
公开并发布将颁发记录同步到日志服务器中。而日志服务器则会提供给用户一个查找某域名颁发的所有数字证书途径。 - 原理： “要向用户提供加密流量，网站必须先向可信的证书授权中心 (CA) 申请证书。然后，当用户尝试访问相应网站时，此证书即会被提供给浏览器以验证该网站。近年来，由于 HTTPS 证书系统存在结构性缺陷，证书以及签发证书的 CA 很容易遭到入侵和操纵。Google 的证书透明度项目旨在通过提供一个用于监测和审核 HTTPS 证书的开放式框架，来保障证书签发流程安全无虞。”
证书透明度工具:
- Crtsh - 常用 https://crt.sh/
- Censys - 常用
- Entrust
- Certspotter
- Spyse
八、github监控
便于收集整理最新的exp或poc（GitHub上有这个项目，修改一下api就可以接收短信了）
便于发现相关测试目标的资产
各种子域名查询
DNS，备案，证书
全球节点请求cdn
枚举爆破或解析子域名对应
便于发现管理员相关的注册信息
九、真实IP查询
1、确定有无CDN
CDN简介
CDN 的全称是 Content Delivery Network，即内容分发网络。CDN 是 构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器， 通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所 需内容，降低网络拥塞，提高用户访问响应速度和命中率。但在安全测试过 程中，若目标存在 CDN 服务，将会影响到后续的安全测试过程。
#如何判断目标存在 CDN 服务？
利用多节点技术进行请求返回判断
#CDN 对于安全测试有那些影响？
#目前常见的 CDN 绕过技术有哪些？
子域名查询 邮件服务查询 国外地址请求 遗留文件，扫描全网 黑暗引擎搜索特定文件 dns 历史记录，以量打量
#CDN 真实 IP 地址获取后绑定指向地址 更改本地 HOSTS 解析指向文
确定有无CDN的方法
1.多地ping
看对应IP地址是否唯一，多地ping（超级ping）在线网站：http://ping.chinaz.com/
2.nslookup
nslookup 同样是看返回的IP地址的数量进行判断
2、绕过CDN查找网站真实IP
1.DNS历史解析
查看IP与域名绑定的历史记录，可能会存在使用CDN前的记录，相关网站：
https://dnsdb.io/zh-cn/（全球DNS搜索引擎）
https://community.riskiq.com/（riskiq）
https://x.threatbook.cn/（微步在线情报社区）
https://tools.ipip.net/cdn.php（全球CDN服务商查询）
2.查询子域名
毕竟CDN不便宜，所以很多站都是主站做了CDN，而很多小站没做CDN所以可以，通过上面收集到的子域名查询到真实的IP地址
3.网络空间引擎搜索法
通过shadan、fofa等搜索引擎，通过对目标网站的特征进行搜索，很多时候可以获取网站的真实IP
4.利用SSL证书查询
https://censys.io/certificates/
5.邮件订阅
一些网站有发送邮件的功能，如Rss邮件订阅，因为邮件系统一般都在内部，所以就可以通过邮箱获得真实的IP
6.国外访问
一般的站点在国内可能会有CDN，但是在国外的用户覆盖率比较低，所以通过国外的节点进行请求往往能获取真实IP
全球CDN服务商查询https://www.ipip.net/
ipip网站（全球CDN服务商查询），寻找其真实ip，因为一个ip不可能做到全世界网络分发，使用国外ip去ping这个域名，可以得到其真实ip
十、服务器信息搜集
1、操作系统类型判断
Nmap可以检测目标主机是否在线、端口开放情况、侦测运行的服务类型及版本信息、侦测操作系统与设备类型等信息。它是网络管理员必用的软件之一，用以评估网络系统安全。
第一种判断方法：
- 使用Nmap，你可以检测远程主机上运行的操作系统和版本。
- 操作指令：
nmap -O 192.168.0.101 - 指令模板：
nmap -O IP地址 - 操作指令：
nmap -Pn -O 192.168.0.101 - 指令含义：
-Pn 不判断主机存货直接进行系统扫描判断
第二种判断方法：
- Windows 系统中不区分大小写，Linux系统中大小写敏感。
- 举个例子：修改URL中的大小写进行判断，修改之后无影响则是 Windows 反之 则是 Linux 系统
端口扫描
端口扫描的时候这些信息都基本上出来了
nmap -sV ip
谷歌信息收集插件
wappalyzer可以得到服务器信息
抓包工具
可以通过Burp Suite （BP）进行抓包分析，能发现暴露的信息：搭建框架、服务器信息等