CTF到渗透测试【浅谈渗透测试之信息收集】
#前言
从一个ctf选手到一个渗透测试工程师，第一步需要改变的就是学习信息收集。渗透测试不是比赛，不会有提示，不会有查看源代码内藏提示等等，甚至你不可以使用扫描器（比如ctf中常见的AWVS），sqlmap等等。
工作中，一般进行的都是黑盒测试，你得考虑到厂商虽然授权允许你进行测试，但是你不可以使用dos，社工（一般这样就算getshell厂商也不认），不可以对厂商正常的运营造成破坏。他们的安全系统一样会拦截你的ip，一样会对你使用waf，一样会禁用你的扫描器，我们的渗透测试就是模拟黑客，从他们的角度去进行攻击，找到厂商的遗漏点，增强他们的安全性。
这篇文章会带你了解为什么要进行信息收集（往往一个渗透流程中信息收集占了50%的时间），以及如何进行信息收集
子域名收集
厂商在授权给我们进行信息收集的时候，往往给我们的只是一个或者一组域名，我们需要对这些信息进行拓展。
###为什么要进行子域名收集？
-
子域名枚举可以发现更多评估范围相关的域名/子域名，以增加漏洞发现机率；
-
探测到更多隐藏或遗忘的应用服务，这些应用往往可导致一些严重漏洞；
-
同一组织机构的不同域名和应用服务中，往往都会存在相同漏洞。
###一些比较好用的工具及命令速查
=======================sublist3r========================
-d 接url
-b 使用 subbrute模块
-p 使用特定TCP端口
-v 实时显示
-t 线程数量
-O 输出到
=========================subDomainsBrute================
进入文件目录下
python subDomainsBrute.py --full xxx.cn
-f 添加字典
--full 全体扫描
-t 线程
-o 输出文件
=========================wydomain=======================
进入文件目录下
python dnsburte.py -d xxx.cn
-t 线程数
-d 接url
-f 字典名称
-o 最终结果的名字（就在当前目录下，result目录下各个接口结果）
github上有这些工具及安装介绍，这里不多做说明~
CDN处理
什么是cdn？
CDN的全称是Content Delivery Network（内容分发网络），通过在网络各处的加速节点服务器来为网站抵挡恶意流量，把正常流量进行转发。用简单点的话来说，CDN一般有三个作用：
-
跨运营商加速：我们自己的网站常常只属于一个运营商(比如：电信)，而加速节点遍布每家运营商，于是和网站不同运营商（比如：联通）的用户访问起来就不会那么慢了。
-
缓存加速：很多的静态资源以及一部分页面更新都是比较慢的（比如首页），这个时候CDN就会根据浏览器的max-age和last-modified值以及管理员的预设值来进行缓存，于是很多流量CDN节点就不会每次都来向网站请求，CDN节点可以直接自作主张地将命中的缓存内容返回。
-
恶意流量过滤：这是CDN非常重要的一个作用，也是很多网站会用CDN的原因，因为CDN能为我们抵挡攻击大流量攻击、普通的攻击（比如注入等），只有正常流量才会转发给网站。
所以说，如果不找到真实厂商IP，除了80,443这种网站端口以外其他端口我们的测试就已经超出了范围了，该端口不属于该厂商
如何判断是否使用了CDN？
结合上面的原理，及CDN的一个原理，就近原则，就不难判断了。多个地点去Ping它，如果ip不一样则必定使用了CDN。推荐个网址，多个地点Ping服务器,网站测速 - 站长工具
如何处理CDN，获取真实IP？
-
通过一些没有设置cdn的子域名站点进行c段扫描，可能与其他站点属于同一个c段
-
历史DNS查询，很老的在未使用cdn时候的dns解析记录可能会暴露该信息
-
找国外的比较偏僻的DNS解析服务器进行DNS查询，因为大部分CDN提供商只针对国内市场，而对国外市场几乎是不做CDN，所以有很大的几率会直接解析到真实IP
tips：Nginx可以设置拒绝ip直接访问，这就很烦了，233
端口扫描
这个其实并不用太多说明，初入安全圈子的都应该听过Nmap的大名，这里补一下nmap的实用命令总结
-iL filename 从文件中读取待检测的目标,文件中的表示方法支持机名,ip,网段
-iR hostnum 随机选取,进行扫描.如果-iR指定为0,则是无休止的扫描
--exclude host1[, host2] 从扫描任务中需要排除的主机
--exculdefile exclude_file 排除文件中的IP,格式和-iL指定扫描文件的格式相同
-sL 仅仅是显示,扫描的IP数目,不会进行任何扫描
-sn ping扫描,即主机发现
-Pn 不检测主机存活
-PS/PA/PU/PY[portlist] TCP SYN Ping/TCP ACK Ping/UDP Ping发现
-PE/PP/PM 使用ICMP echo, timestamp and netmask 请求包发现主机
-PO[prococol list] 使用IP协议包探测对方主机是否开启
-n/-R 不对IP进行域名反向解析/为所有的IP都进行域名的反响解析
-sS/sT/sA/sW/sM TCP SYN/TCP connect()/ACK/TCP窗口扫描/TCP Maimon扫描
-sU UDP扫描
-sN/sF/sX TCP NullFINand Xmas扫描
--scanflags 自定义TCP包中的flags
-sI zombie host[:probeport] Idlescan
-sY/sZ SCTP INIT/COOKIE-ECHO 扫描
-sO 使用IP protocol 扫描确定目标机支持的协议类型
-b “FTP relay host” 使用FTP bounce scan
-p 特定的端口 -p80,443 或者 -p1-65535
-p U:PORT 扫描udp的某个端口, -p U:53
-F 快速扫描模式,比默认的扫描端口还少
-r 不随机扫描端口,默认是随机扫描的
--top-ports "number" 扫描开放概率最高的number个端口,出现的概率需要参考nmap-services文件,ubuntu中该文件位于/usr/share/nmap.nmap默认扫前1000个
--port-ratio "ratio" 扫描指定频率以上的端口
-sV 开放版本探测,可以直接使用-A同时打开操作系统探测和版本探测
--version-intensity "level" 设置版本扫描强度,强度水平说明了应该使用哪些探测报文。数值越高服务越有可能被正确识别。默认是7
--version-light 打开轻量级模式,为--version-intensity 2的别名
--version-all 尝试所有探测,为--version-intensity 9的别名
--version-trace 显示出详细的版本侦测过程信息
-sC 根据端口识别的服务,调用默认脚本
--script=”Lua scripts” 调用的脚本名
--script-args=n1=v1,[n2=v2] 调用的脚本传递的参数
--script-args-file=filename 使用文本传递参数
--script-trace 显示所有发送和接收到的数据
--script-updatedb 更新脚本的数据库
--script-help=”Lua script” 显示指定脚本的帮助
-O 启用操作系统检测,-A来同时启用操作系统检测和版本检测
--osscan-limit 针对指定的目标进行操作系统检测(至少需确知该主机分别有一个open和closed的端口)
--osscan-guess 推测操作系统检测结果,当Nmap无法确定所检测的操作系统时会尽可能地提供最相近的匹配Nmap默认进行这种匹配
-f; --mtu value 指定使用分片、指定数据包的MTU.
-D decoy1,decoy2,ME 使用诱饵隐蔽扫描
-S IP-ADDRESS 源地址欺骗
-e interface 使用指定的接口
-g/ --source-port PROTNUM 使用指定源端口
--proxies url1,[url2],... 使用HTTP或者SOCKS4的代理
--data-length NUM 填充随机数据让数据包长度达到NUM
--ip-options OPTIONS 使用指定的IP选项来发送数据包
--ttl VALUE 设置IP time-to-live域
--spoof-mac ADDR/PREFIX/VEBDOR MAC地址伪装
--badsum 使用错误的checksum来发送数据包
-oN 将标准输出直接写入指定的文件
-oX 输出xml文件
-oS 将所有的输出都改为大写
-oG 输出便于通过bash或者perl处理的格式,非xml
-oA BASENAME 可将扫描结果以标准格式、XML格式和Grep格式一次性输出
-v 提高输出信息的详细度
-d level 设置debug级别,最高是9
--reason 显示端口处于带确认状态的原因
--open 只输出端口状态为open的端口
--packet-trace 显示所有发送或者接收到的数据包
--iflist 显示路由信息和接口,便于调试
--log-errors 把日志等级为errors/warings的日志输出
--append-output 追加到指定的文件
--resume FILENAME 恢复已停止的扫描
--stylesheet PATH/URL 设置XSL样式表转换XML输出
--webxml 从namp.org得到XML的样式
--no-sytlesheet 忽略XML声明的XSL样式表
-6 开启IPv6
-A OS识别,版本探测,脚本扫描和traceroute
--datedir DIRNAME 说明用户Nmap数据文件位置
--send-eth / --send-ip 使用原以太网帧发送/在原IP层发送
--privileged 假定用户具有全部权限
--unprovoleged 假定用户不具有全部权限,创建原始套接字需要root权限
-V 打印版本信息
-h 输出帮助
获取到端口进一步可以对端口进行分析，这里不属于信息收集阶段，不做说明了，补一个常见端口漏洞脑图，点这里
指纹信息及banner获取
banner其实nmap也是可以啊，不过对nmap还是有很多应对方法，去对其进行一个拒绝扫描
简单的banner也可以利用ncat获取
NC -v xxx.xxx.xxx.xxx
cms指纹信息（判断cms）国内可以推荐云悉进行尝试，其实准确率并不是很高，最好还是手工去进行一些测试，比如说power by等等一些忘记删除的点
注入点及XSS等等可疑点收集
对有参数可以改变的链接做一个记录，常见比如说登录注册，又或者是查询记录等等一些可控点浏览中进行一个记录，方便之后下一步尝试
whois等信息收集
收集这些注册人，公司，或者工作人员等等一些相关信息为之后进行弱密码爆破时生成社工字典使用，弱口令爆破字典自己收集去吧，笔者也没啥好的字典
源码泄露
源码泄露可能存在以下这些点：
- WEB常见源码泄露：
.h
.gi
cvs
.svn
.DS_Store
WEV-INF/web_xml
.rar/.zip/.tar.gz/.bak/.tar
- github仓库泄露信息，最想强调的是github信息泄露了，直接去github上搜索，认真去找，收获往往是大于付出。
结尾语
笔者能力有限，对渗透测试信息收集方做了一些简单介绍，如有不当或者不妥的地方欢迎联系进行修改~