夜yesir
夜yesir

信息收集道道之外网信息收集

#信息收集道道之外网信息收集

从个人的角度去简单整理下打点前的信息收集那些事。从信息收集本质上来说多数内容都是大同小异，遇到坚壁时，不用死磕，毕竟条条大路通罗马（大佬们也可以说说看法~向各位大佬学习！

红队知识点大致流程：

外网信息收集——>打点——>权限维持——>提权——>内网信息收集——>横向移动——>痕迹清理

打点关键资产数据信息：

  • 找出网站真实IP，挖掘相邻网段、绕过安全设备

  • 判断目标是否为蜜罐

  • 定位内网IP和系统

  • 定位关键的应用系统

  • 定位关键企业信息

目录

Tell Me
外网信息收集
0x00 常用工具、资源简记：
0x01 主域名信息
 1. ICP备案
    备案信息查询：
    备案反查主域名
  2. Whois
  3. IP反查
    如何查询
  4. HOST碰撞
  5. DNS共享记录
    关于DNS
  利用价值
  手法
  6. Google
  7. 配置信息
  8. 众测
  9. 企业资产信息
  股权投资信息
  公众号信息
  小程序
  应用信息
  关于工具
0x02 子域名信息
  1. 枚举爆破
  手法介绍
  关于泛解析
  枚举爆破常用工具：
  关于字典
  2. DNS域传送
  检测方法：
  nslookup
  Dig
  其他
  3. 证书透明度收集子域
  收集方法：
  在线查询：
  浏览器查询
  工具：
4. 公开数据集
5. 第三方聚合服务
6. 搜索引擎
介绍
搜索方法：
主流搜索引擎
Goolge：
网络空间引擎
fofa
Shodan
0.zone
hunter
其他
7. 工具自动化
OneForAll
subfinder
ksubdomain
JSINFO-SCAN
URLFinder
Layer子域名挖掘机
ESD
EyeWitness
0x03 IP信息收集
1. 绕过CDN获取真实ip
简述
常见CDN服务商
CDN判断
0x01 多ping
0x02 nslookup
0x03 header头信息
0x04 在线检测工具
获取真实IP
0x01 dns历史绑定记录
0x02 网络空间测绘搜索引擎
0x03 子域名
0x04 异地ping
0x05 SSL证书
在线：
命令行
工具：
0x06 敏感文件泄露
0x07 CDN配置问题
0x08 漏洞
0x09 邮件头信息
0x10 vhost碰撞
0x11 应用程序
0x12 通过 F5 LTM 解码
0x13 其他
真实ip验证：
cdn节点判断
真实IP使用：
2. 组织IP段
3. C段
C段主要收集点：
扫描常用工具：
网络空间搜索引擎（fofa、quake...)
nmap
msscan
Goby
shuize
fscan
ALLin
4. 旁站（ip反查域名）
常见查询方法：
5. 端口
端口渗透思路表
6. IP定位
0x04 指纹信息
1. CMS
开发语言识别思路
服务器系统识别思路
CMS识别思路
特定文件的MD5
页面关键字
请求头信息关键字
url关键字
在线平台
工具
浏览器插件
2. WAF
手工
工具
3. 组件
4. 信息处理
Ehole
AlliN
Bufferfly
HKTools
EyeWitness
anew(去重)
0x05 敏感信息
1. 目录结构及敏感文件
常见敏感目录及文件
工具推荐
dirsearch
feroxbuster
yjdirscan
字典推荐
fuzzDicts
Web-Fuzzing-Box
XXE 暴力枚举字典
2. JS信息收集
JS信息查找方法
1. 手工
2. 半自动
3. 工具：
4. 其他辅助工具
历史界面
反混肴
url采集
js中关键信息简记
3. Google Hacking
说明
hacking常用语法
管理后台地址
上传类漏洞地址
注入页面
编辑器页面
目录遍历漏洞
SQL错误
公开文件泄露
邮箱信息
社工信息
tips：
百度语法
图片反查
百度识图、googleimage、tineye等识图引擎
从图片原图获取坐标
在线查看器
经纬度转地址
4. Github信息收集
Github搜索语法
收集工具
GitDorker
trufflehog
其他检索方法：
代码仓库在线搜索平台
pinatahub
searchcode
其他仓库
5. 邮箱信息收集
邮箱入口查找方法
C段扫描寻找入口
通过子域名扫描寻找入口
通过搜索引擎寻找入口
邮箱收集方法
搜索引擎
Google Hacking
网络空间搜索引擎
在线收集平台
Snov.io
hunter
phonebook
intelx
skymem
爱企查、企查查等批量查询
邮箱泄露信息查询
其他
工具收集
theHarvester
验证邮箱
在线平台
工具
邮箱爆破
常用字典组合
工具
临时邮箱
匿名邮箱
6. 网盘信息收集
在线平台
搜索关键词
爬虫
0x06 其他信息
1. APP
App查找入口
搜索引擎
在线聚合平台
App敏感信息收集
手工收集
工具推荐：
2. OSINT
情报相关资源
OSINT 情报工具
3. 个人隐私信息
从邮箱查询
从用户名查询
从IP查询
混合查询
从注册信息查询
4. 历史漏洞
5. 蜜罐识别
工具向
参考

外网信息收集

对于外网信息收集主要有几点：ip、域名、企业等资产信息以及相应端口/服务、指纹、敏感信息、社工碰撞等易受攻击面信息。

tips：

  • 挂代理池，走负载均衡，防止被锁IP。

  • 确定目标后，析缕分条，找到突破及利用点。

  • 关于打点时隐匿：

    攻击前：虚拟机做全局代理、浏览器隐私模式或Tor，脚本、账号啥的非本人

    攻击后：Rootkit……

0x00 常用工具、资源简记：

工具、网站 备注
爱站、站长工具 Whois、备案号、权重、公司名称等
天眼查、企查查、搜狗搜索引擎 公司注册域名、微信公众号、APP、软件著作权等
ZoomEye、Shodan、FOFA、0.Zone、quake 网络空间资产搜索引擎
ENScanGo、ICP备案 主域名收集
OneForAll、Layer、Rapid7的开源数据项目、ctfr、EyeWitness 子域名收集
Kscan、ShuiZe_0x727、ARL灯塔、Goby 自动化、批量信息收集
Bufferfly、Ehole 资产处理、信息筛选
dnsdb、CloudFlair CDN相关
VirusTotal、微步、ip2domain C段、域名/ip情报信息
Nmap、Masscan 端口服务信息
Google Hacking、dirsearch、URLFinder WEB站点信息、api接口等
wafw00f waf识别
云悉、潮汐、WhatWeb 在线CMS识别
七麦、小蓝本 APP资产
ApkAnalyser App敏感信息
乌云漏洞库、CNVD、waybackurls 历史漏洞、历史资产等
n0tr00t/Sreg、reg007 个人隐私信息
GitDorker 资产信息、源码泄露
theHarvester、Snov.io 邮箱信息收集
OSINT开源情报和侦擦工具 开源情报资源导航
anti-honeypot、Honeypot Hunter 蜜罐识别

0x01 主域名信息

域名用来代替IP使其更容易被用户找到、记住。

对于"非用户"来说，通过域名信息获取：主域名、存活站点、关联信息、钓鱼信息。为漏洞挖掘提供数据支撑。

1. ICP备案

国内服务器线上运营都必须先办理ICP备案后才能上线。

备案信息查询：

  • ICP备案查询

https://beian.miit.gov.cn/#/Integrated/index

  • 公安部备案查询

备案反查主域名

反查可分为备案域名查询和未备案域名查询。

备案域名查询

  • 第三方站点

    • ICP备案查询-站长工具
    • SEO综合查询

  • 公安部备案查询

  • 企业信息查询网站

未备案域名查询

  • 已知网站信息获取（如，网站站点导航可能会包含未备案的站点）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vQbrodhA-1670550817861)(C:\Users\lenovo\Desktop\信息收集道道之外网信息收集.assets\image-20221205142143651.png)]

  • 网络空间引擎进行证书、图标关联搜索。例如：fofa指定搜索规则 is_domain=true，即表示只返回域名*(个人感觉国外shodan、国内fofa)*。

2. Whois

whois是用来查询域名的IP以及所有者等信息的传输协议。

通过whois信息可以获取注册人的关键信息。如注册商、联系人、联系邮箱、联系电话，也可以对注册人、邮箱、电话反查域名，也可以通过搜索引擎进一步挖掘域名所有人的信息。深入可社工、可漏洞挖掘利用。

  • 站长之家

    http://whois.chinaz.com

  • Bugscanner

    http://whois.bugscaner.com

  • 国外BGP

    https://bgp.he.net

  • who.is

    https://who.is/

  • IP138网站

    https://site.ip138.com/

  • 域名信息查询-腾讯云

    https://whois.cloud.tencent.com/

  • ICANN LOOKUP

    https://lookup.icann.org/

  • 狗狗查询

    https://www.ggcx.com/main/integrated

ps:

  • 部分whois查询存在隐藏信息，可以在其他站点查询。
  • whois主要还是注册商、注册人、邮件、DNS 解析服务器、注册人联系电话。
  • 由于GDRP，ICANN要求所有域名注册商必须对域名whois隐私信息进行保护，所以whois信息越来越少……但还是会存在一些whois域名系统是旧缓存数据。

3. IP反查

ps:

  • 目标可能存在多个域名绑定于同一ip上，通过ip反查可以获取到其他域名信息。比如旁站。

    • 通过获取目标真实IP后，进行反查的旁站更真实。

  • 查询站点需复杂性，单一的站点会有反查不出信息的可能。

    • 大型企业不同的站点收录可能不一样
    • 个人推荐3个不同站点反查

如何查询

在线查询网站：

  • 同IP网站查询，同服务器网站查询 - 站长工具
  • Dnslytics
  • iP或域名查询

搜索引擎：

  • shodan
  • bing
  • fofa

4. HOST碰撞

信息收集过程中，往往会因为配置错误或是未及时回收等原因，存在一些隐形资产。直接访问的话会出现访问限制的问题，如下：

  • ip访问响应多为：nginx、4xx、500、503、各种意义不明的Route json提示等

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QAg7D4ha-1670550817862)(C:\Users\lenovo\Desktop\信息收集道道之外网信息收集.assets\image-20221205142737669.png)]

  • 域名解析后到内网地址
  • 有服务器真实 IP，但找不到内网域名。

究其原因，大多数是因为中间件对ip访问做限制，不能通过ip直接访问，必须使用域名进行访问。如果域名解析记录里也找不到域名记录，这时就可以用到HOST碰撞技术，通过将域名和IP进行捆绑碰撞，一旦匹配到后端代理服务器上的域名绑定配置，就可以访问到对应的业务系统，从而发现隐形资产。

手法：

使用收集到的目标IP、爬虫或自定义的内部域名（内网host池），作为字典，通过脚本进行碰撞，脚本会自动模拟绑定ip与host进行请求交互，通过标题或响应大小判断结果。只要字典够强大，总能出一两个，爆破时最好也试下TLS，部分主机会使用TLS的。

验证结果，只需修改本机host文件绑定host与ip后，看访问变化。

自动化：

  • 灯塔
  • 水泽
  • https://github.com/cckuailong/hostscan
  • https://github.com/fofapro/Hosts_scan
  • https://github.com/smxiazi/host_scan

5. DNS共享记录

关于DNS

DNS（Domain Name Server，域名服务器）是进行域名(domain name)和与之相对应的IP地址 (IP address)转换的服务器。DNS中保存了一张域名(domain name)和与之相对应的IP地址 (IP address)的表，以解析消息的域名，即保存了IP地址和域名的相互映射关系。域名是Internet上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位（有时也指地理位置）。域名是由一串用点分隔的名字组成的，通常包含组织名，而且始终包括两到三个字母的后缀，以指明组织的类型或该域所在的国家或地区。也正是因为DNS的存在，访问相应服务只需记住域名，不需要记住无规则的ip地址。

  • DNS服务器端口: tcp/udp 53。

  • 常用DNS记录：

    记录类型 说明
    A 记录 将域名指向一个 IP 地址（外网地址）。
    CNAME 记录 将域名指向另一个域名，再由另一个域名提供 IP 地址（外网地址）。
    MX 记录 电子邮件交换记录，记录一个邮件域名对应的IP地址，设置邮箱，让邮箱能收到邮件。
    NS 记录 域名服务器记录，记录该域名由哪台域名服务器解析。如将子域名交给其他 DNS 服务商解析。
    AAAA 记录 将域名指向一个 IPv6 地址。
    SRV 记录 用来标识某台服务器使用了某个服务，常见于微软系统的目录管理。
    TXT 记录 对域名进行标识和说明，绝大多数的 TXT 记录是用来做 SPF 记录（反垃圾邮件）。
利用价值

可以通过查询共享DNS服务器的主机来获取到相关的域名，多是用于自建DNS服务器。如果是公开的DNS服务器，那么查询的效果将会特别差。

手法
  • 查询目标是否存在自建的NS服务器
nslookup -query=ns baidu.com 8.8.8.8
  • 将获取到的NS服务器带入 https://hackertarget.com/find-shared-dns-servers/ 进行查询

6. Google

直接搜索目标相关关键内容来查询，比如公司名、备案、引用的特殊js等。

搜索引擎很多，这里以Google为例：

7. 配置信息

由于信息泄露问题，某些配置或文件会存储一些目标相关的域名，如子域名、代码托管平台等，一般来说存储信息有限且不应公网存在此类文件。

策略文件域名信息问题如：

  • crossdomain.xml文件

    • 通常域名直接拼接crossdomain.xml路径

  • sitemap文件

    站点地图文件，常见如：

    • sitemap.xml、sitemap.txt、sitemap.html、sitemapindex.xml、sitemapindex.xml路径

策略配置方面如：

  • 内容安全策略（CSP，Content Security Policy)

这是一种声明的安全机制，可以让网站运营者能够控制遵循CSP的用户代理（通常是浏览器）的行为。通过控制要启用哪些功能，以及从哪里下载内容，可以减少网站的攻击面。CSP的主要目的是防御跨站点脚本（cross-ste scripting，XSS）攻击。例如，CSP可以完全禁止内联的JavaScript，并且控制外部代码从哪里加载。它也可以禁止动态代码执行。禁用了所有的攻击源，XSS攻击变得更加困难。CSP中的关键字有default-src、img-src、object-src和script-src。其中*-src可能会存在域名信息。

关键点：

HTTP header的Content-Security-Policy属性

8. 众测

补天、漏洞银行、先知、hackerone等众测的广商提供的域名测试范围。

比如hackerone：alibaba

9. 企业资产信息

通过企业名称拓展查询目标企业的组织架构、股权信息、股权穿透图、子公司、孙公司、对外投资50%等目标信息，获取其产品业务、域名、邮箱资产范围等，扩大攻击面。大概企业资产收集点如下：

  • 企业数据：

    • 邮箱查询：https://hunter.io/
    • 邮箱收集
    • 企业架构画像
    • 直属单位、机构设置、供应商*（相关合同、人员、系统、软件等）*、合作商等
    • 业务信息：证券、快递、专用网、院校等

  • 人员数据，如统计、职责、部门、人员历史泄露密码、浏览习性等

  • 设备信息：

    • WiFi
    • 常用密码、部门设备信息
    • OA/erp/crm/sso/mail/等入口
    • 网络安全设备（waf,ips,ids,router等统计）
    • 内部使用的代码托管平台(gitlab、daocloud等)、bug管理平台、监控平台等
    • 服务器域名资产
    • site:xxx

股权投资信息

一般要求50%持股或者100% 持股都可以算测试目标。

  1. 天眼查

https://www.tianyancha.com/

  1. 企查查

https://www.qcc.com/

  1. 钉钉企典

https://www.dingtalk.com/qidian/home?spm=a213l2.13146415.4929779444.89.7f157166W6H4YZ

公众号信息

  1. 搜狗搜索引擎

https://wx.sogou.com/

  1. 企查查

https://www.qcc.com/

小程序

  1. 企查查

https://www.qcc.com/

  1. 微信app
  2. 支付宝app

应用信息

  1. 天眼查

https://www.tianyancha.com/

  1. 七麦数据

https://www.qimai.cn/

  1. 企查查：

https://www.qcc.com/

  1. 小蓝本

https://www.xiaolanben.com/pc

  1. 点点数据

https://app.diandian.com/

  1. 豌豆荚

https://www.wandoujia.com/

方便获取app历史版本

关于工具

  • ENScanGo

https://github.com/wgpsec/ENScan_GO

由狼组安全团队的 Keac 师傅写的专门用来解决企业信息收集难的问题的工具，可以一键收集目标及其控股公司的 ICP 备案、APP、小程序、微信公众号等信息然后聚合导出。

0x02 子域名信息

子域名一般是父级域名的下一级。一般企业主站域名的防护都是重点，安全级别较高，突破难度较大，而企业可能会有数十个甚至更多的子域名应用，因为数量众多，安全因素和成本投入多，相应的防护也没有那么及时有效。子域名往往是攻击突破口，通过子域名发现更多的可能性或是进行迂回攻击。

子域名信息点：

  • 子域名包含一些常见资产类型：办公系统，邮箱系统，论坛，商城等。而其他管理系统，网站管理后台等较少出现在子域名中。
  • 一般情况下，相同类型漏洞可能存在同一组织的不同的域名/应用程序中。
  • 子域名系统维护成本、用户群体等，一般少于主域名，会存在一些版本迭代、配置不安全、弱密码账号管理策略等。
  • 子域名探测发现更多的服务，增加漏洞发现的可能性。

1. 枚举爆破

手法介绍

要说简单粗暴还是子域名枚举爆破，通过不断的拼接字典中的子域名前缀去枚举域名的A记录进行DNS解析，如果成功解析说明子域名存在。如xxx.com拼接前缀test组合成test.xxx.com，再对其进行验证。但是域名如果使用泛解析的话，则会导致所有的域名都能成功解析，使得子域名枚举变得不精准。

nslookup验证下~

  • 泛解析域名，成功解析不存在的域名。

  • 普通解析，不存在的域名解析会失败。

  • 泛解析：使用通配符 * 来匹配所有的子域名，从而实现所有的子级域名均指向相同网站空间。

    • 会存在域名劫持、域名恶意泛解析风险

    • 会主站被降权，可能被恶意利用，占用大量流量

    • 关于恶意解析：

      https://cloud.tencent.com/developer/article/1494534?from=article.detail.1874625

  • 混合泛解析：在泛解析的基础上，增加一个限制，使记录可以按照需求进行分类。

    https://cloud.tencent.com/document/product/302/9073

  • https://github.com/Q2h1Cg/dnsbrute/blob/v2.0/dict/53683.txt)

关于泛解析

那么域名使用了泛解析怎么去解决呢？

一般有两种：

  • 黑名单ip：

    • 通过获取一个不存在的子域名相应解析IP，来记录标记黑名单ip，再爆破字典时，解析到的IP在这个黑名单ip中，则跳过，不存在就继续处理。
    • 或是记录相同的，保留一到两个。

  • TTL

    • 在权威 DNS 中，泛解析记录的 TTL 肯定是相同的，如果子域名记录相同，但 TTL 不同，那这条记录可以说肯定不是泛解析记录。

  • 响应内容

    • 牺牲速度，先获取一个绝对不存在域名的响应内容，再遍历获取每个字典对应的子域名的响应内容，通过和不存在域名的内容做相似度比对，来枚举子域名。

枚举爆破常用工具：

在线查询：

  • https://phpinfo.me/domain/

    • 速度不错

  • https://chaziyu.com/

    • 子域、备案都可以查

其他：

  • Layer 子域名挖掘机

    • 可视化，取决于字典强度，易上手，就是容易崩溃

  • subDomainsBrute

    • 老牌DNS爆破工具，稳定快速~
    • 暂不支持批量
    • 怼泛解析：超过10个域名指向同一IP，则此后发现的其他指向该IP的域名将被丢弃，该方法可能存在误删，但简单有效。

  • OneForAll

    • 收集姿势挺全的，就是依赖多，一直再更新
    • OneForALL + ESD + JSfinder~~
    • 怼泛解析：oneforall会首先访问一个随机的并不存在的域，通过返回结果判断是否存在泛解析，确定存在泛解析以后，程序会开始不断的循环产生随机域名，去向服务器查询，将每次查询到的IP和TTL记录下来，直到大部分的IP地址出现次数都大于两次，则IP黑名单的收集结束，在得到了IP黑名单以后，oneforall接下来会将自己的字典中的每一项和要指定查询的域名进行拼接。在爆破过程中根据IP黑名单进行过滤。但这种宽泛的过滤容易导致漏报，所以oneforall将 TTL 也作为黑名单规则的一部分，评判的依据是：在权威 DNS 中，泛解析记录的 TTL 肯定是相同的，如果子域名记录相同，但 TTL 不同，那这条记录可以说肯定不是泛解析记录。

  • knock

    • 支持查询VirusTotal，速度快，结果一般
    • VirusTotal API绕过泛解析

  • ESD

    • 收集方法多，爆破速度极快，接口少
    • 怼泛解析：基于文本相似度过滤泛解析域名

  • ksubdomain

    https://cn-sec.com/archives/1178685.html

    • 无状态的子域名爆破工具,支持重放，速度不错
    • 结合其他工具，一键子域名搜集验证：

  • xray 高级版

    • 效率可以，联动很舒服

关于字典

字典这块引用下https://feei.cn/esd/

DNS服务商的字典一般来说最准确有效，如：DNSPod公布的使用最多的子域名：dnspod-top2000-sub-domains.txt

普通字典：一些基础组合。

  • 单字母：f.feei.cn（大都喜欢短一点的域名，单字符的最为常见）
  • 单字母+单数字：s1.feei.cn
  • 双字母：sd.feei.cn（大都喜欢业务的首字母缩写）
  • 双字母+单数字：ss1.feei.cn
  • 双字母+双数字：ss01.feei.cn
  • 三字母：www.feei.cn（部分业务名称为三个字）
  • 四字母：webp.feei.cn（部分业务名称为四个字）
  • 单数字：1.feei.cn
  • 双数字：11.feei.cn
  • 三数字：666.feei.cn

常用词组：常见的中英文词组。

  • fanyi.feei.cn（中）tranlate.feei.cn（英）
  • huiyuan.feei.cn（中）member.feei.cn（英）
  • tupian.feei.cn（中）picture.feei.cn（英）

爆破工具的字典: 可结合整理过的字典

  • subbrute: names_small.txt
  • subDomainsBrute: subnames_full.txt
  • dnsbrute: 53683.txt

2. DNS域传送

DNS服务器分为：主服务器、备份服务器和缓存服务器。

在主备服务器之间同步数据库，需要使用“DNS域传送”的一种DNS事务。域传送是指备份服务器从主服务器上复制数据，然后更新自身的数据库，以达到数据同步的目的，这样是为了增加冗余，一旦主服务器出现问题可直接让备份服务器做好支撑工作。

若DNS配置不当，可能导致匿名用户获取某个域的所有记录。造成整个网络的拓扑结构泄露给潜在的攻击者，包括一些安全性较低的内部主机，如测试服务器。凭借这份网络蓝图，攻击者可以节省很少的扫描时间。

  • 错误配置：只要收到axfr请求就进行域传送，刷新数据。

检测方法：

axfr 是q-type类型的一种，axfr类型是Authoritative Transfer的缩写，指请求传送某个区域的全部记录。只要欺骗dns服务器发送一个axfr请求过去，如果该dns服务器上存在该漏洞，就会返回所有的解析记录值。

nslookup
# 查询nameserver  
nslookup -type=ns nhtc.wiki 8.8.8.8  
# 指定nameserver，列举域名信息  
nslookup  
# Server 命令参数设定查询将要使用的DNS服务器  
server cloudy.dnspod.net   
#  Ls命令列出某个域中的所有域名  
ls nhtc.wiki

无法列出域，不存在此漏洞~

Dig
# 找到NS服务器  
dig nhtc.wiki ns

# 发送axfr请求  
 dig axfr @cloudy.dnspod.net nhtc.wiki
其他

nmap:

nmap --script dns-zone-transfer --script-args dns-zone-transfer.domain=nhtc.wiki -p 53 -Pn cloudy.dnspod.net

python

# DNS库  
xfr = dns.query.xfr(where=server, zone=self.domain, timeout=5.0, lifetime=10.0)  
zone = dns.zone.from\_xfr(xfr)

一般情况下，DNS服务器配置都正常，关闭了域传送或设置白名单，利用率低。推荐交给自动化。

3. 证书透明度收集子域

证书透明度（Certificate Transparency）是谷歌力推的一项拟在确保证书系统安全的透明审查技术。其目标是提供一个开放的审计和监控系统，可以让任何域名的所有者，确定CA证书是否被错误签发或恶意使用。TLS的缺点是你的浏览器隐性包含了一个大型受信任CA列表。如果任何这些CA恶意为域创建新证书，则你的浏览器都会信任它。CT为TLS证书信任提供了额外的安全保障：即公司可以监控谁为他们拥有的域创建了证书。此外，它还允许浏览器验证给定域的证书是否在公共日志记录中。

————————Google 的证书透明度项目

因为证书透明性是开放架构，可以检测由证书颁发机构错误颁发的 SSL 证书，也可以识别恶意颁发证书的证书颁发机构，且任何人都可以构建或访问，CA证书又包含了域名、子域名、邮箱等敏感信息，价值就不言而喻了。

收集方法：

一般使用 CT 日志搜索引擎进行域名信息收集，因为是日志收集，只增不减，可能会有一些失效域名。

在线查询：

  • crtsh

  • entrust

  • censys

  • facebook（需要登录）

  • spyse

  • certspotter（每小时免费查100次）

浏览器查询

点击浏览器网站小锁–>安全连接–>更多信息–>查看证书–>查看主题替代名称处，有时候会有主域名和子域名信息。

工具：
  • ctfr
  • OneForAll

4. 公开数据集

利用已有公开的全网扫描数据集，对子域名信息进行收集。

  • Rapid7的开源数据项目
  • threatcrowd

收集方法：

  • Find DNS Host Records (Subdomains) | hackertarget

  • netcraft

  • 命令进行快速查找

    wget https://scans.io/data/rapid7/sonar.fdns\_v2/20170417-fdns.json.gz  
cat 20170417\-fdns.json.gz | pigz \-dc | grep ".target.org" | jq\`

5. 第三方聚合服务

通过第三方平台提供的一些服务，快速发现子域名信息。

  • VirusTotal

VirusTotal会运行DNS复制功能，通过存储用户访问URL时执行的DNS解析来构建数据库。

  • Find DNS Host Records | Subdomain Finder | HackerTarget.com

  • netcraft

  • DNSdumpster.com

  • 域名查iP 域名解析 iP查询网站 iP反查域名 iP反查网站 同一iP网站 同iP网站域名iP查询

  • threatminer

  • Subdomain Finder

  • threatbook（需要高级权限）

  • 子域名查询 - 站长工具（需要登录）

  • namecheap

  • 其他工具：

    • Sublist3r
    • OneForAll

6. 搜索引擎

介绍

搜索引擎是用于查找和排名与用户搜索匹配的 Web 内容的工具。

搜索引擎通过“蜘蛛”对全网进行大量爬行并处理后，建立索引*（索引是将抓取页面中的信息添加到叫做搜索索引的大型数据库中。）*。在此期间往往收集了大量的域名信息，需要对应的语法，即可从这数据库中获取想要的信息。

搜索方法：

主流搜索引擎

一份国外调查表：

Goolge：

俗称Google Hacking 大法，有十几种语法，混合使用可以更加准确地查找信息。

  • Google检索技巧大全: https://sites.google.com/site/hopeanwang/google%E6%A3%80%E7%B4%A2%E6%8A%80%E5%B7%A7%E5%A4%A7%E5%85%A8

搜索子域名信息

site:360.cn

搜索一个域名后台信息

site:xx.com inurl:id=1  intext:后台
网络空间引擎
fofa

FOFA是白帽汇推出的一款网络空间搜索引擎，它通过进行网络空间测绘，能够帮助研究人员或者企业迅速进行网络资产匹配，例如进行漏洞影响范围分析、应用分布统计、应用流行度排名统计等。

逻辑连接符 具体含义
= 匹配，=""时，可查询不存在字段或者值为空的情况
== 完全匹配，==""时，可查询存在且值为空的情况
&& 与
| 或者
!= 不匹配，!=""时，可查询值为空的情况
~= 正则语法匹配专用（高级会员独有，不支持body）
() 确认查询优先级，括号内容优先级最高

目前FOFA支持了多个网络组件的指纹识别，包括建站模块、分享模块、各种开发框架、安全监测平台、项目管理系统、企业管理系统、视频监控系统、站长平台、电商系统、广告联盟、前端库、路由器、SSL证书、服务器管理系统、CDN、Web服务器、WAF、CMS等等，详细信息见https://fofa.info/library

常用语法可通过”查询语法“功能获取：

https://fofa.info/

例句(点击可去搜索)用途说明注

例句(点击可去搜索) 用途说明 注
title=“beijing” 从标题中搜索“北京” -
header=“jboss” 从http头中搜索“jboss” -
body=“Hacked by” 从html正文中搜索abc -
domain=“qq.com” 搜索根域名带有qq.com的网站。 -
icon_hash=“-247388890” 搜索使用此icon的资产。 仅限高级会员使用
host=“.gov.cn” 从url中搜索”.gov.cn” 搜索要用host作为名称
port=“443” 查找对应“443”端口的资产 -
ip=“1.1.1.1” 从ip中搜索包含“1.1.1.1”的网站 搜索要用ip作为名称
ip=“220.181.111.1/24” 查询IP为“220.181.111.1”的C网段资产 -
status_code=“402” 查询服务器状态为“402”的资产 -
protocol=“https” 查询https协议资产 搜索指定协议类型(在开启端口扫描的情况下有效)
city=“Hangzhou” 搜索指定城市的资产。 -
region=“Zhejiang” 搜索指定行政区的资产。 -
country=“CN” 搜索指定国家(编码)的资产。 -
cert=“google” 搜索证书(https或者imaps等)中带有google的资产。 -
banner=users && protocol=ftp 搜索FTP协议中带有users文本的资产。 -
type=service 搜索所有协议资产，支持subdomain和service两种。 搜索所有协议资产
os=windows 搜索Windows资产。 -
server==“Microsoft-IIS/7.5” 搜索IIS 7.5服务器。 -
app=“HIKVISION-视频监控” 搜索海康威视设备 -
after=“2017” && before=“2017-10-01” 时间范围段搜索 -
asn=“19551” 搜索指定asn的资产。 -
org=“Amazon.com, Inc.” 搜索指定org(组织)的资产。 -
base_protocol=“udp” 搜索指定udp协议的资产。 -
is_ipv6=true 搜索ipv6的资产 搜索ipv6的资产,只接受true和false。
is_domain=true 搜索域名的资产 搜索域名的资产,只接受true和false。
ip_ports=“80,161” 搜索同时开放80和161端口的ip 搜索同时开放80和161端口的ip资产(以ip为单位的资产数据)
port_size=“6” 查询开放端口数量等于"6"的资产 仅限FOFA会员使用
port_size_gt=“3” 查询开放端口数量大于"3"的资产 仅限FOFA会员使用
port_size_lt=“12” 查询开放端口数量小于"12"的资产 仅限FOFA会员使用
ip_country=“CN” 搜索中国的ip资产(以ip为单位的资产数据)。 搜索中国的ip资产
ip_region=“Zhejiang” 搜索指定行政区的ip资产(以ip为单位的资产数据)。 搜索指定行政区的资产
ip_city=“Hangzhou” 搜索指定城市的ip资产(以ip为单位的资产数据)。 搜索指定城市的资产
ip_after=“2019-01-01” 搜索2019-01-01以后的ip资产(以ip为单位的资产数据)。 搜索2019-01-01以后的ip资产
ip_before=“2019-07-01” 搜索2019-07-01以前的ip资产(以ip为单位的资产数据)。 搜索2019-07-01以前的ip资产

基础了解后，可以试试规则专题，官方有提供相应的指纹、组件查找，包含“数据库专题”、“工控专题”和“区块链专题”。也可以自己提交。

  • https://fofa.info/library

  • 查询”致远互联-OA“系统：

Shodan

Shodan是一个搜索接入互联网的设备的搜索引擎，2009年由约翰·马瑟利发布。学生会员可以每个月下载1w条数据，黑五可能会有优惠价格。

ps：Shodan 侧重于主机设备

  • 规则列表
0.zone

它是一个免费的外部攻击面管理SaaS平台，供红蓝队使用，为防御者提供攻击者视角下的企业外部攻击面数据，减少攻防信息差，以促进企业攻击面的收敛和管理。

  • 语法参考

搜索企业名称示例（需要会员才能获取企业黄页）

可查看此公司下匹配到的信息系统、移动端应用、敏感目录、邮箱、文档、代码、人员信息数据。这个功能定向查找单位资产非常方便好用。

不同于fofa，该平台做了收录信息归纳，感觉还不错。

  • 使用参考：https://mp.weixin.qq.com/s/0Nf_HJr-Rn4mZEC3QYKtwg
hunter

全球鹰是奇安信的一款产品。通过网络空间测绘技术，全球鹰测绘平台可以提供IP、域名、开放端口、应用/组件、所属企业等关键安全信息，同时结合攻防场景绘制了资产画像与IP画像，实现互联网资产的可查、可定位、操作可识别的检索，助力企业日常的安全运营工作，例如未知资产发现、风险识别、漏洞修复等。目前全球鹰网络空间测绘平台已有3亿独立IP，资产(剔除历史重复数据)总数超过20亿，已实现全端口覆盖。在全球我们已覆盖了261个国家，96% ASN域。国内web资产最快4天更新，最慢7天更新。

语法参考

其他

还有一些不错的检索平台，就不一一介绍，可以去官网瞧瞧语法和规则这块，这块还是api用得多。（没会员没法爽玩。。）

  • zoomeye
  • quake
  • 谛听
  • 知风
  • binaryedge
  • censys
  • dnsdb
  • greynoise
  • hunter
  • Project Sonar
  • intelx
  • dnsdumpster
  • phonebook.cz
  • fullhunt
  • netlas

关于搜索引擎详细可以参考下：

  • 网络空间检索平台对比
  • 零零信安攻击面管理系统 | 企业信息泄露情报平台
  • 盘点一下在渗透测试中可能用到的网络搜索引擎

7. 工具自动化

总的来说，信息收集有很多重复性查询筛选，手工相对费时费力，因此可以借助半自动化工具来达到事半功倍的效果。

OneForAll

https://github.com/shmilylty/OneForAll

解决大多传统子域名收集工具不够强大、不够友好、缺少维护和效率问题的痛点，是一款集百家之长，功能强大的全面快速子域收集终极神器。

subfinder

https://github.com/projectdiscovery/subfinder

brew install subfinder

Subfinder 是一个子域发现工具，它通过使用被动在线资源来发现网站的有效子域。它具有简单的模块化架构，并针对速度进行了优化。subfinder 是为只做一件事而构建的——被动子域枚举，它做得很好。

ksubdomain

https://github.com/knownsec/ksubdomain

ksubdomain是一款基于无状态子域名爆破工具，支持在Windows/Linux/Mac上使用，它会很快的进行DNS爆破，在Mac和Windows上理论最大发包速度在30w/s,linux上为160w/s的速度。

JSINFO-SCAN

https://github.com/p1g3/JSINFO-SCAN

递归爬取域名(netloc/domain)，以及递归从JS中获取信息的工具

URLFinder

https://github.com/pingc0y/URLFinder

URLFinder是一款用于快速提取检测页面中JS与URL的工具。

功能类似于JSFinder，但JSFinder好久没更新了。

Layer子域名挖掘机

https://github.com/euphrat1ca/LayerDomainFinder

Layer子域名挖掘机是一款子域名收集工具，拥有简洁的界面和简单的操作模式，支持服务接口查询和暴力枚举获取子域名信息，同时可以通过已获取的域名进行递归爆破。

ESD

https://github.com/FeeiCN/ESD

支持泛解析功能较全的枚举子域工具

EyeWitness

https://github.com/FortyNorthSecurity/EyeWitness

Eyewitness可自动查询URL对应网站的截图、RDP服务、Open VNC服务器以及一些服务器title、甚至是可识别的默认凭据等，最终会生成一个详细的html报告。

0x03 IP信息收集

通过ip或域名获取到一些基本信息（端口、服务、架构、目录等）后，也可以通过ip段目标扩大攻击面，也有可能找到一些未分配的边缘资产。

1. 绕过CDN获取真实ip

简述

CDN是IP信息探测或打点必不可绕过的一个话题。当目标使用了CDN加速，获取到的目标ip不一定是真实ip。所以通常在实施端口、漏扫等测试之前，需判断下是否真实IP，是否使用了CDN或其他代理等等，避免无效操作、蜜罐、非目标点。

CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。

常见CDN服务商

一、国内 CDN 服务商

  • 阿里云 CDN
  • 百度云 CDN
  • 七牛云 CDN
  • 又拍云 CDN
  • 腾讯云 CDN
  • Ucloud
  • 360 CDN
  • 网宿科技
  • ChinaCache
  • 帝联科技

二、国外 CDN 服务商

  • CloudFlare
  • StackPath
  • Fastly
  • Akamai
  • CloudFront
  • Edgecast
  • CDNetworks
  • Google Cloud CDN
  • CacheFly
  • Keycdn
  • Udomain
  • CDN77

CDN判断

确定CDN加速解析后，那就要考虑如何绕过来获取真实ip，以进一步攻击利用。

0x01 多ping

通过多地ping目标域名，如果没有使用CDN，只会显示一个IP地址，或者双线接入情况的两个不同运营商ip。

多ping在线站点：

  • http://ping.chinaz.com/
  • https://ping.aizhan.com/
  • http://www.webkaka.com/Ping.aspx
  • https://www.host-tracker.com/v3/check/

如图，不同地区访问有不同ip，一般存在CDN：

0x02 nslookup

获取到的DNS域名解析结果中返回多个ip的，一般都是存在CDN服务。

0x03 header头信息
  • 请求响应包header头中是否存在cdn服务商信息
  • 报错信息
  • 若 asp 或者 asp.net 网站返回头的 server 不是 IIS、而是 Nginx，则多半使用了nginx反向代理到 CDN
0x04 在线检测工具
  • https://www.cdnplanet.com/tools/cdnfinder/
  • https://tools.ipip.net/cdn.php
  • https://whatsmycdn.com/

获取真实IP

0x01 dns历史绑定记录

查询域名历史解析记录，可能会存在未使用cdn之前的真实ip记录：

  • https://dnsdb.io/zh-cn/
  • https://securitytrails.com/
  • https://x.threatbook.cn/
  • http://toolbar.netcraft.com/site_report?url=
  • https://viewdns.info/iphistory/?domain=
  • https://site.ip138.com/www.xxx.com/

CDN判断：

存在CDN，利用微步查询获取历史记录，然后将每个ip都测试一篇

通过源代码获取，确定真实ip

0x02 网络空间测绘搜索引擎

网络空间测绘，一般都会定时把全网资产扫一遍存在数据库里。

通过网络空间测绘搜索引擎搜索其收录的目标相关信息，有概率获取到目标真实IP。

  • fofa
  • shodan
  • quake
  • Censys.io

大概从以下几个关键因素去搜索验证：

  • ip
  • 域名
  • title
  • logo
  • icp
  • body
  • js/css/html等静态特征值

通过获取logo icon指纹哈希特征，搜索其相同的主机结果，进一步探测真实IP：

未找到~

0x03 子域名

考虑到CDN成本问题，一些重要站点会采用cdn加速，而一些子域名则没有使用。一般情况下，一些子域名与主站的真实ip在同一c段或同一台服务器上，这时就可以通过发现子域名c段ip、端口信息，逐个探测定位主站真实ip地址。

常见查找方法和工具：

  • 各大搜索引擎
  • 微步在线
  • oneforall
  • ksubdomain
  • Jsinfo-scan
0x04 异地ping

部分国内cdn广商只做了国内的线路，而没有铺设对国外的线路，这时就可以通过海外解析直接获取到真实IP。

可以使用：

  • http://ping.chinaz.com/
  • https://asm.ca.com/zh_cn/ping.php
  • http://host-tracker.com/
  • http://www.webpagetest.org/
  • https://dnscheck.pingdom.com/
  • https://www.host-tracker.com/v3/check/
0x05 SSL证书

证书颁发机构 (CA) 必须将他们发布的每个 SSL/TLS 证书发布到公共日志中，SSL/TLS 证书通常包含域名、子域名和电子邮件地址。因此可以利用 SSL/TLS 证书来发现目标站点的真实 IP 地址。

CDN在提供保护的同时，也会与服务器之间进行加密通信（SSL）。当通过服443端口去访问服务器ip或域名时，就会暴露其SSL证书，也就可以通过证书比对发现服务器的真实IP地址。

在线：
  • https://crt.sh/

通过 https://crt.sh 进行快速证书查询收集

  • Censys 引擎

    Censys 搜索引擎能够扫描整个互联网，每天都会扫描 IPv4 地址空间，以搜索所有联网设备并收集相关的信息，可以利用 Censys 进行全网方面的 SSL 证书搜索，找到匹配的真实 IP 。

通过Censys引擎搜索证书信息，发现多个有效或无效的证书：

https://search.censys.io/certificates?q=www.roken-niji.jp

ps: 并不是有效的证书才是有价值的，无效的证书中也会有很多服务器配置错误依然保留着的信息。

精准定位有效SSL证书：

parsed.names: xxx.com and tags.raw: trusted

逐个打开，根据sha1签名反查主机

无果~~~

命令行
  • openssl
openssl s\_client -connect roken-niji.jp:443 | grep subject
  • curl
curl -v https://www.roken-niji.jp/ | grep 'subject'
工具：
CloudFlair

项目地址：https://github.com/christophetd/CloudFlair

使用来自 Censys 的全网扫描数据查找 CloudFlare 背后网站的源服务器。

0x06 敏感文件泄露

包括但不限于：

  • 服务器日志文件
  • 探针文件，例如 phpinfo
  • 网站备份压缩文件
  • .DS_Store
  • .hg
  • .git
  • SVN
  • Web.xml
0x07 CDN配置问题

某些站点只做了www cname到CDN上，导致www.xxx.com和xxx.com是两条独立的解析记录，所以可以通过直接ping域名xxx.com获取到未加入cdn的真实IP，同理http协议和https协议配置也是有可能出现这种问题。

0x08 漏洞

  • 网站本身存在一些漏洞时，如XSS/SSRF/XXE/命令执行等，通过带外服务器地址注入，使服务器主动连接，被动获取连接记录。

  • 部分本身功能，如url采集、远程url图片、编辑器问题等。

  • 异常信息、调式信息等都有可能泄露真实IP或内网ip的。

    • ThinkPHP 报错/SpringBoot变量/phpinfo
0x09 邮件头信息

一般邮件系统都在内部，没有经过CDN解析，通过邮件发送、RSS订阅等sendmail功能去获取到服务器与邮箱系统交互的邮件源码，在源文件头信息或者源代码中就会包含服务器真实ip。但需注意该ip是否第三方邮件服务器（如腾讯企业邮件、阿里企业邮箱），一般只有应用与网站在同一服务器上时，才获取到当前服务器的真实ip。

常见交互功能点：

  • RSS 订阅
  • 邮箱注册、激活处
  • 邮箱找回密码处
  • 产品更新的邮件推送
  • 某业务执行后发送的邮件通知
  • 员工邮箱、邮件管理平台等入口处的忘记密码

可以通过查mx记录确定下是否第三方邮件服务器，当然这里这个邮箱很明显了。。

  • 大佬分享的奇淫技巧：通过发送邮件给一个不存在的邮箱地址，比如 [email protected] ，因为该用户不存在，所以发送将失败，并且还会收到一个包含发送该电子邮件给你的服务器的真实 IP 通知。
  • foxmail导出的邮件可以用编辑器打开查看其内容。
0x10 vhost碰撞

只要字典够强大，数据够多，通过 IP 和子域的碰撞，总会有所收获。

在线工具：

https://pentest-tools.com/information-gathering/find-virtual-hosts#

0x11 应用程序

一些app、小程序会直接采用ip进行通信交互，也可以通过一些历史版本探测真实ip。

0x12 通过 F5 LTM 解码

一般常用的负载均衡实现方式：

  • 基于cookie的会话保持
  • 基于session的会话保持，如weblogic的session复制机制
  • 基于四层的负载，ip+端口。
  • LTM 是将所有的应用请求分配到多个节点服务器上。提高业务的处理能力，也就是负载均衡。F5 LTM也就是5公司旗下的一种负载均衡方案。
  • 当服务器使用 F5 LTM 做负载均衡时，通过对 set-cookie 关键字的解码，可以获取服务器真实 ip 地址。

例如：基于cookie会话保持情况：

F5在获取到客户端第一次请求时，会使用set cookie头，给客户端标记一个特定的cookie。

Set-Cookie: BIGipServerPool-i-am-na\_tcp443=2388933130.64288.0000; path=/;

后续客户端请求时，F5都会去校验cookie中得字段，判断交给那个服务器处理。那么就可以利用此机制，获取处理服务器的ip地址，大概率也是网站服务器真实ip。具体解法如下：

  • 先把第一小节的十进制数，即 2388933130 取出来
  • 将其转为十六进制数 8e643a0a
  • 接着从后至前，取四个字节出来：0a.3a.64.8e
  • 最后依次转为十进制数 10.58.100.142，即是服务器的真实ip地址。

一般来说基本都是内网ip，但也有例外，得看部署情况，无意间找到一个：

Set-Cookie: BIGipServerpool-shibboleth3-dev-8080=3045805720.36895.0000; path=/; Httponly

自动化解码工具：

https://github.com/ezelf/f5_cookieLeaks

Set-Cookie: BIGipServerpool-shibboleth3-dev-8080=3045805720.36895.0000; path=/; Httponly
0x13 其他

  • 扫全网

    • https://github.com/superfish9/hackcdn
    • https://github.com/boy-hack/w8fuckcdn

  • 流量攻击

    • 对不设防的CDN发起大量访问，导致出错或服务器更换时可能会泄露真实ip。

  • 长期关注

    • 定期访问记录ip变化，业务变更或架构调整可能会有更换服务器更换ip的情况。

  • 流量包问题

    • 部分开发者会将真实ip记录到一些header响应头或者响应包中。

  • 403绕过

    • 当目标地址放在标头（如Location头）中时，可通过抓包将http协议改为1.0并将请求中除第一行外的所有数据删掉，再发送请求有机会再相应包中Location头获取到真实ip地址。
    • ……

更多方法可以参考binmaker大佬的总结：

渗透测试中最全的CDN绕过总结

真实ip验证：

cdn节点判断

对于一些cdn节点可以使用阿里云的CDN节点判断验证找到的ip是否为CDN节点：

https://www.alibabacloud.com/help/zh/alibaba-cloud-cdn/latest/query-ip-addresses

真实IP使用：

  • 通过修改 hosts 文件，将域名和 IP 绑定。

  • 如使用 burpsuite 测试，可以在 Project options ——> Connections ——> Hostname Resolution 中增加域名和 IP 记录。

  • 通过源代码获取，确定真实ip

    使用 view-source:xxx.xxx.xxx.xxx，表明这是真实ip，如果是真，则返回网站源代码。

如果是假，则返回cdn信息

2. 组织IP段

当目标信息比较笼统时，可以通过IP地址注册信息查询运营商给目标组织所分配的ip段信息，继而对这个段进行测试。这样既可以扩大范围也有可能直接找到CDN后的真实服务器。

  • CNNIC IP地址注册信息查询系统

  • RIPE 数据库

以阿里为例，收集组织对应ip信息

  • Hurricane Electric BGP Toolkit

3. C段

一般都是扫C段为主，B段为辅。通过获取同在一个ip段的同类型网站或业务来扩大攻击面，往往同ip段中会存在一些后台、api相关处理服务等。

C段主要收集点：

  • ip
  • 端口
  • 容器类型
  • title

扫描常用工具：

网络空间搜索引擎（fofa、quake…)

ps: 手工扫描都是实时的，相比空间搜索引擎较精准些。

nmap

  • 工具强大，速度有待优化。

  • 六种扫描结果

    • open(开放的)
    • filtered(被过滤的)
    • open|filtered(开放或者被过滤的)
    • closed(关闭的)
    • closed|filtered(关闭或者被过滤的)
    • unfiltered(未被过滤的)

  • 常用命令

nmap -vvv -Pn -p- ip/24 -n -T4  
#-v 输出详细信息，-v/-vv/-vvv v越多信息越详细 上线3个v  
#-Pn 扫描时不用ping  
#-p-  扫描所有端口（65535个）。如果不使用 -p- ，nmap 将仅扫描1000个端口，GUI参数不可用  
#-n 不做DNS解析  
#-T4 设置时间模板,0-5部分做了扫描时间优化，默认3未作优化。4加速扫描又保持一定准确性
  • 扫描全端口，并调用各种脚本
#!/usr/bin/env bash   

read -p "ip: " ip  
nmap -v -Pn -p- --open -sV $ip -n -T4 --max-scan-delay 10 --max-retries 3 --min-hostgroup 10 -oX $ip-result-\`date +%y-%m-%d-%H-%M-%S\`.xml --script=dns-zone-transfer,ftp-anon,ftp-proftpd-backdoor,ftp-vsftpd-backdoor,ftp-vuln-cve2010-4221,http-backup-finder,http-cisco-anyconnect,http-iis-short-name-brute,http-put,http-php-version,http-shellshock,http-robots.txt,http-svn-enum,http-webdav-scan,iax2-version,memcached-info,mongodb-info,msrpc-enum,ms-sql-info,mysql-info,nrpe-enum,pptp-version,redis-info,rpcinfo,samba-vuln-cve-2012-1182,smb-vuln-ms08-067,smb-vuln-ms17-010,snmp-info,sshv1,xmpp-info,tftp-enum,teamspeak2-version,ftp-brute,imap-brute,smtp-brute,pop3-brute,mongodb-brute,redis-brute,ms-sql-brute,rlogin-brute,rsync-brute,mysql-brute,pgsql-brute,oracle-sid-brute,oracle-brute,rtsp-url-brute,snmp-brute,svn-brute,telnet-brute,vnc-brute,xmpp-brute
  • 快速扫描常见端口，并调用各种脚本
#!/usr/bin/env bash   

read -p "ip: " ip  
nmap -vvv -Pn -p 20,22,23,25,53,69,80-89,443,8440-8450,8080-8089,110,111,137,143,161,389,512,873,1194,1352,1433,1521,1500,1723,2082,2181,2601,3128,3312,3306,3389,3690,4848,5000,5432,5900,5984,6379,7001,7002,7003,7778,8000,8069,8888,9000,9002,9080-9081,9090,9200,10001,10002,11211,27017,50070 --open -sV $ip -n -T4 --max-scan-delay 10 --max-retries 3 --min-hostgroup 10 -oX $ip-result-\`date +%y-%m-%d-%H-%M-%S\`.xml --script=dns-zone-transfer,ftp-anon,ftp-proftpd-backdoor,ftp-vsftpd-backdoor,ftp-vuln-cve2010-4221,http-backup-finder,http-cisco-anyconnect,http-iis-short-name-brute,http-put,http-php-version,http-shellshock,http-robots.txt,http-svn-enum,http-webdav-scan,iax2-version,memcached-info,mongodb-info,msrpc-enum,ms-sql-info,mysql-info,nrpe-enum,pptp-version,redis-info,rpcinfo,samba-vuln-cve-2012-1182,smb-vuln-ms08-067,smb-vuln-ms17-010,snmp-info,sshv1,xmpp-info,tftp-enum,teamspeak2-version,ftp-brute,imap-brute,smtp-brute,pop3-brute,mongodb-brute,redis-brute,ms-sql-brute,rlogin-brute,rsync-brute,mysql-brute,pgsql-brute,oracle-sid-brute,oracle-brute,rtsp-url-brute,snmp-brute,svn-brute,telnet-brute,vnc-brute,xmpp-brute
msscan

https://github.com/robertdavidgraham/masscan

  • 速度快，精确度有待优化 ```shell
    masscan -p80,8000-8100 10.0.0.0/8 --rate=10000

    ##### masscan\_to\_nmap

https://github.com/7dog7/masscan_to_nmap

  • nmap+msscan缝合怪
Goby

https://cn.gobies.org/

  • 资产扫描利器，支持图像化、方便快捷、可自定义poc漏扫。
shuize

https://github.com/0x727/ShuiZe_0x727

  • 信息收集一键化+漏洞检验
fscan

https://github.com/shadow1ng/fscan

ALLin

https://github.com/P1-Team/AlliN

4. 旁站（ip反查域名）

一个服务器上存在多个站点，可通过ip查询相应站点，再从相应站点进一步突破获取服务器权限。

常见查询方法：

在线平台：

https://www.webscan.cc/
https://viewdns.info/reverseip/
https://reverseip.domaintools.com/
https://tools.ipip.net/ipdomain.php
https://dnslytics.com/

网络空间搜索引擎：

  • fofa、zoomeye、hunte、quake等

工具：

  • ip2domain - 批量查询ip对应域名、备案信息、百度权重
  • 水泽
  • nmap
  • …

5. 端口

确定真实ip后，就可以进行端口扫描，比较常见的就是nmap和masscan了，masscan相比nmap多了速度的优势，可以快速扫描全端口。扫描可以结合空间引擎结果发现更多目标端口。

tips:

  • 大批量扫描时建议云上挂代理池进行。
  • 查看端口出现频率

https://github.com/laconicwolf/Masscan-to-CSV

  • masscan扫描出的端口可以用nmap去确认

工具可参考C段章节

端口渗透思路表

引用下某大佬的端口渗透思路表，可以学习学习下。

端口 服务 渗透用途
tcp 20,21 FTP 允许匿名的上传下载,爆破,嗅探,win提权,远程执行(proftpd 1.3.5),各类后门(proftpd,vsftp 2.3.4)
tcp 22 SSH 可根据已搜集到的信息尝试爆破,v1版本可中间人,ssh隧道及内网代理转发,文件传输等等
tcp 23 Telnet 爆破,嗅探,一般常用于路由,交换登陆,可尝试弱口令
tcp 25 SMTP 邮件伪造,vrfy/expn查询邮件用户信息,可使用smtp-user-enum工具来自动跑
tcp/udp 53 DNS 允许区域传送,dns劫持,缓存投毒,欺骗以及各种基于dns隧道的远控
tcp/udp 69 TFTP 尝试下载目标及其的各类重要配置文件
tcp 80-89,443,8440-8450,8080-8089 各种常用的Web服务端口 可尝试经典的topn,,owa,webmail,目标oa,各类Java控制台,各类服务器Web管理面板,各类Web中间件漏洞利用,各类Web框架漏洞利用等等……
tcp 110 POP3 可尝试爆破,嗅探
tcp 111,2049 NFS 权限配置不当
tcp 137,139,445 Samba 可尝试爆破以及smb自身的各种远程执行类漏洞利用,如,ms08-067,ms17-010,嗅探等……
tcp 143 IMAP 可尝试爆破
udp 161 SNMP 爆破默认团队字符串,搜集目标内网信息
tcp 389 LDAP ldap注入,允许匿名访问,弱口令
tcp 512,513,514 Linux rexec 可爆破,rlogin登陆
tcp 873 Rsync 匿名访问,文件上传
tcp 1194 OpenVPN 想办法钓VPN账号,进内网
tcp 1352 Lotus 弱口令,信息泄漏,爆破
tcp 1433 SQL Server 注入,提权,sa弱口令,爆破
tcp 1521 Oracle tns爆破,注入,弹shell…
tcp 1500 ISPmanager 弱口令
tcp 1723 PPTP 爆破,想办法钓VPN账号,进内网
tcp 2082,2083 cPanel 弱口令
tcp 2181 ZooKeeper 未授权访问
tcp 2601,2604 Zebra 默认密码zerbra
tcp 3128 Squid 弱口令
tcp 3312,3311 kangle 弱口令
tcp 3306 MySQL 注入,提权,爆破
tcp 3389 Windows rdp shift后门[需要03以下的系统],爆破,ms12-020
tcp 3690 SVN svn泄露,未授权访问
tcp 4848 GlassFish 弱口令
tcp 5000 Sybase/DB2 爆破,注入
tcp 5432 PostgreSQL 爆破,注入,弱口令
tcp 5900,5901,5902 VNC 弱口令爆破
tcp 5984 CouchDB 未授权导致的任意指令执行
tcp 6379 Redis 可尝试未授权访问,弱口令爆破
tcp 7001,7002 WebLogic Java反序列化,弱口令
tcp 7778 Kloxo 主机面板登录
tcp 8000 Ajenti 弱口令
tcp 8009 tomcat Ajp Tomcat-Ajp协议漏洞
tcp 8443 Plesk 弱口令
tcp 8069 Zabbix 远程执行,SQL注入
tcp 8080-8089 Jenkins,JBoss 反序列化,控制台弱口令
tcp 9080-9081,9090 WebSphere Java反序列化/弱口令
tcp 9200,9300 ElasticSearch 远程执行
tcp 11211 Memcached 未授权访问
tcp 27017,27018 MongoDB 爆破,未授权访问
tcp 50070,50030 Hadoop 默认端口未授权访问
端口号 端口说明 渗透思路
21/69 FTP/TFTP：文件传输协议 爆破、内网嗅探
22 SSH：远程连接 用户名枚举、爆破
23 Telnet：远程连接 爆破、内网嗅探
25 SMTP：邮件服务 邮件伪造
53 DNS：域名系统 DNS域传送\DNS缓存投毒\DNS欺骗\利用DNS隧道技术刺透防火墙
389 LDAP 未授权访问（通过LdapBrowser工具直接连入）
443 https服务 OpenSSL 心脏滴血（nmap -sV --script=ssl-heartbleed 目标）
445 SMB服务 ms17_010远程代码执行
873 rsync服务 未授权访问
1090/1099 Java-rmi JAVA反序列化远程命令执行漏洞
1352 Lotus Domino邮件服务 爆破：弱口令、信息泄漏：源代码
1433 MSSQL 注入、SA弱口令爆破、提权
1521 Oracle 注入、TNS爆破
2049 NFS 配置不当
2181 ZooKeeper服务 未授权访问
3306 MySQL 注入、爆破、写shell、提权
3389 RDP 爆破、Shift后门、CVE-2019-0708远程代码执行
4848 GlassFish控制台 爆破：控制台弱口令、认证绕过
5000 Sybase/DB2数据库 爆破、注入
5432 PostgreSQL 爆破弱口令、高权限执行系统命令
5632 PcAnywhere服务 爆破弱口令
5900 VNC 爆破：弱口令、认证绕过
6379 Redis 未授权访问、爆破弱口令
7001 WebLogic中间件 反序列化、控制台弱口令+部署war包、SSRF
8000 jdwp JDWP 远程命令执行漏洞（工具）
8080/8089 Tomcat/JBoss/Resin/Jetty/Jenkins 反序列化、控制台弱口令、未授权
8161 ActiveMQ admin/admin、任意文件写入、反序列化
8069 Zabbix 远程命令执行
9043 WebSphere控制台 控制台弱口令https://:9043/ibm/console/logon.jsp、远程代码执行
9200/9300 Elasticsearch服务 远程代码执行
11211 Memcache 未授权访问（nc -vv 目标 11211）
27017 MongoDB 未授权访问、爆破弱口令
50000 SAP 远程代码执行
50070 hadoop 未授权访问
端口号 服务 渗透思路
21 FTP/TFTP/VSFTPD 爆破/嗅探/溢出/后门
22 ssh远程连接 爆破/openssh漏洞
23 Telnet远程连接 爆破/嗅探/弱口令
25 SMTP邮件服务 邮件伪造
53 DNS域名解析系统 域传送/劫持/缓存投毒/欺骗
67/68 dhcp服务 劫持/欺骗
110 pop3 爆破/嗅探
139 Samba服务 爆破/未授权访问/远程命令执行
143 Imap协议 爆破161SNMP协议爆破/搜集目标内网信息
389 Ldap目录访问协议 注入/未授权访问/弱口令
445 smb ms17-010/端口溢出
512/513/514 Linux Rexec服务 爆破/Rlogin登陆
873 Rsync服务 文件上传/未授权访问
1080 socket 爆破
1352 Lotus domino邮件服务 爆破/信息泄漏
1433 mssql 爆破/注入/SA弱口令
1521 oracle 爆破/注入/TNS爆破/反弹shell2049Nfs服务配置不当
2181 zookeeper服务 未授权访问
2375 docker remote api 未授权访问
3306 mysql 爆破/注入
3389 Rdp远程桌面链接 爆破/shift后门
4848 GlassFish控制台 爆破/认证绕过
5000 sybase/DB2数据库 爆破/注入/提权
5432 postgresql 爆破/注入/缓冲区溢出
5632 pcanywhere服务 抓密码/代码执行
5900 vnc 爆破/认证绕过
6379 Redis数据库 未授权访问/爆破
7001/7002 weblogic java反序列化/控制台弱口令
80/443 http/https web应用漏洞/心脏滴血
8069 zabbix服务 远程命令执行/注入
8161 activemq 弱口令/写文件
8080/8089 Jboss/Tomcat/Resin 爆破/PUT文件上传/反序列化
8083/8086 influxDB 未授权访问
9000 fastcgi 远程命令执行
9090 Websphere 控制台爆破/java反序列化/弱口令
9200/9300 elasticsearch 远程代码执行
11211 memcached 未授权访问
27017/27018 mongodb 未授权访问/爆破
端口号 服务 渗透思路
20 ftp_data 爆破、嗅探、溢出、后门
21 ftp_control 爆破、嗅探、溢出、后门
23 telnet 爆破、嗅探
25 smtp 邮件伪造
53 DNS DNS区域传输、DNS劫持、DNS缓存投毒、DNS欺骗、深度利用：利用DNS隧道技术刺透防火墙
67 dhcp 劫持、欺骗
68 dhcp 劫持、欺骗
110 pop3 爆破
139 samba 爆破、未授权访问、远程代码执行
143 imap 爆破
161 snmp 爆破
389 ldap 注入攻击、未授权访问
512 linux r 直接使用rlogin
513 linux r 直接使用rlogin
514 linux r 直接使用rlogin
873 rsync 未授权访问
888 BTLINUX 宝塔Linux主机管理后台/默认帐户：admin｜默认密码：admin
999 PMA 护卫神佩带的phpmyadmin管理后台，默认帐户：root｜默认密码：huweishen.com
1080 socket 爆破：进行内网渗透
1352 lotus 爆破：弱口令、信息泄露：源代码
1433 mssql 爆破：使用系统用户登录、注入攻击
1521 oracle 爆破：TNS、注入攻击
2049 nfs 配置不当
2181 zookeeper 未授权访问
3306 mysql 爆破、拒绝服务、注入
3389 rdp 爆破、Shift后门
4848 glassfish 爆破：控制台弱口令、认证绕过
5000 sybase/DB2 爆破、注入
5432 postgresql 缓冲区溢出、注入攻击、爆破：弱口令
5632 pcanywhere 拒绝服务、代码执行
5900 vnc 爆破：弱口令、认证绕过
5901 vnc 爆破：弱口令、认证绕过
5902 vnc 爆破：弱口令、认证绕过
6379 redis 未授权访问、爆破：弱口令
7001 weblogic JAVA反序列化、控制台弱口令、控制台部署webshell
7002 weblogic JAVA反序列化、控制台弱口令、控制台部署webshell
80 web 常见Web攻击、控制台爆破、对应服务器版本漏洞
443 web 常见Web攻击、控制台爆破、对应服务器版本漏洞
8080 web｜Tomcat｜… 常见Web攻击、控制台爆破、对应服务器版本漏洞、Tomcat漏洞
8069 zabbix 远程命令执行
9090 websphere 文件泄露、爆破：控制台弱口令、Java反序列
9200 elasticsearch 未授权访问、远程代码执行
9300 elasticsearch 未授权访问、远程代码执行
11211 memcacache 未授权访问
27017 mongodb 爆破、未授权访问
27018 mongodb 爆破、未授权访问
50070 Hadoop 爆破、未授权访问
50075 Hadoop 爆破、未授权访问
14000 Hadoop 爆破、未授权访问
8480 Hadoop 爆破、未授权访问
8088 web 爆破、未授权访问
50030 Hadoop 爆破、未授权访问
50060 Hadoop 爆破、未授权访问
60010 Hadoop 爆破、未授权访问
60030 Hadoop 爆破、未授权访问
10000 Virtualmin/Webmin 服务器虚拟主机管理系统
10003 Hadoop 爆破、未授权访问
5984 couchdb 未授权访问
445 SMB 弱口令爆破，检测是否有ms_08067等溢出
1025 111 NFS
2082 cpanel主机管理系统登陆 （国外用较多）
2083 cpanel主机管理系统登陆 （国外用较多）
2222 DA虚拟主机管理系统登陆 （国外用较多）
2601 zebra路由
2604 zebra路由
3128 代理默认端口,如果没设置口令很可能就直接漫游内网了
3311 kangle主机管理系统登陆
3312 kangle主机管理系统登陆
4440 参考WooYun: 借用新浪某服务成功漫游新浪内网
6082 参考WooYun: Varnish HTTP accelerator CLI 未授权访问易导致网站被直接篡改或者作为代理进入内网
7778 主机控制面板登录
8083 主机管理系统 （国外用较多）
8649
8888 主机管理系统默认端口
9000 fcgi php执行
50000 SAP 命令执行

Web端口：

80,81,82,443,5000,7001,7010,7100,7547,7777,7801,8000,8001,8002,8003,8005,8009,8010,8011,8060,8069,8070,8080,8081,8082,8083,8085,8086,8087,8088,8089,8090,8091,8161,8443,8880,8888,8970,8989,9000,9001,9002,9043,9090,9200,9300,9443,9898,9900,9998,10002,50000,50070

服务器：

21,22,445,3389,5900

数据库：

1433,1521,3306,6379,11211,27017

6. IP定位

这里提供几个不错的溯源定位工具：

https://www.opengps.cn/Default.aspx
https://www.chaipip.com/aiwen.html
https://cz88.net/

0x04 指纹信息

通过关键特征，去识别出目标指纹信息可以快速了解目标架构信息，调整攻击方向。

常见指纹信息：

  • CMS

    • Discuz、织梦、帝国CMS、WordPress、ecshop、蝉知等

  • 前端技术

    • HTML5、jquery、bootstrap、Vue等

  • 开发语言

    • PHP、JAVA、Ruby、Python、C#等

  • web服务器

    • Apache、Nginx、IIS、lighttpd等

  • 应用服务器：

    • Tomcat、Jboss、Weblogic、Websphere等

  • 操作系统信息

    • Linux、windows等

  • CDN信息

    • 帝联、Cloudflare、网宿、七牛云、阿里云等

  • WAF信息

    • 创宇盾、宝塔、安全狗、D盾、玄武盾等。

  • 其他组件信息

    • fastjson、shiro、log4j等
    • OA协议办公

1. CMS

已知目标CMS后，可以通过已知漏洞匹配利用，如果是开源CMS，就可以进行审计精准发现问题点。

开发语言识别思路

  1. 通过爬虫获取动态链接然后进行正则匹配判断

  2. header头中X-Powered-By信息

  3. Set-Cookie特征信息

    如包含PHPSSIONID说明是php、包含JSESSIONID说明是java、包含ASP.NET_SessionId说明是aspx。

服务器系统识别思路

  1. 通过ping命令根据回显中的ttl值来判断是win还是linux，但值可被修改精准度不高。默认Linux是64，win是128
  2. 页面回显、报错回显、header头等站点泄露的系统信息。
  3. nmap
nmap -O IP

CMS识别思路

特定文件的MD5

一般来说，网站的特定图标、js、css等静态文件不会去修改，通过爬虫对这些文件进行抓取并与规则库中md5值做对比，如果一致就是同一CMS。这种情况不排除会出现二开导致的误报，但速度较快。

页面关键字

正则匹配关键字或报错信息判断。如Powered by Discuz、dedecms等、tomcat报错页面

请求头信息关键字

通过匹配http响应包中的banner信息来识别。

如：

  • X-Powered-By字段
  • Cookies 特征
  • Server信息
  • WWW-Authenticate
  • Meta特征
  • ……
url关键字

将url中存在路由、robots.txt、爬虫结果与规则库做对比分析来判断是否使用了某CMS

如：

  • wordpress默认存在目录：wp-includes、wp-admin
  • 织梦默认管理后台：dede
  • 帝国常用目录：login/loginjs.php
  • weblogic常用目录：wls-wsat
  • jboss常用目录：jmx-console
  • ……

在线平台

  • bugscaner
  • 数字观星
  • 云悉（自从需要认证后就没有用过…还认证失败…）
  • WhatWeb

工具

  • 御剑Web指纹识别
  • WhatWeb
  • Test404轻量CMS指纹识别
  • 椰树
  • WTFScan
  • Kscan
  • CMSeeK
  • CMSmap
  • ACMSDiscovery
  • TideFinger
  • AngelSword
  • EHole(棱洞)2.0

ps: cms识别主要还是在于指纹库的维护和更新。

浏览器插件

wappalyzer

插件开源指纹库：https://github.com/AliasIO/wappalyzer/tree/master/src/technologies

2. WAF

遇到WAF就得对症下药，总的来说识别分为两种手工和工具：

手工

一般直接输入敏感字段触发拦截规则库就行，如XSS、SQL payload

常见的WAF拦截页面可以参考下某大佬总结的WAF一图流：https://cloud.tencent.com/developer/article/1872310

工具

  • https://github.com/EnableSecurity/wafw00f
  • https://github.com/Ekultek/WhatWaf
  • nmap的http-waf-fingerprint.nse脚本

3. 组件

一般通过异常报错、常用路由、常用header头来获取组件版本、配置等相关信息。

常见组件漏洞简记参考博客《组件漏洞简记》章

4. 信息处理

对前期收集到的大量资产域名、ip信息批量进行存活性、title、架构、服务等信息进行验证提取时，可以用一些自动化工具筛选出有价值的数据，从而提高漏洞发现效率。

Ehole

https://github.com/EdgeSecurityTeam/EHole

EHole是一款对资产中重点系统指纹识别的工具，在红队作战中，信息收集是必不可少的环节，如何才能从大量的资产中提取有用的系统(如OA、VPN、Weblogic…)。EHole旨在帮助红队人员在信息收集期间能够快速从C段、大量杂乱的资产中精准定位到易被攻击的系统，从而实施进一步攻击。

AlliN

https://github.com/P1-Team/AlliN

一个辅助平常渗透测试项目或者攻防项目快速打点的综合工具，由之前写的工具AG3改名而来。是一款轻便、小巧、快速、全面的扫描工具。多用于渗透前资产收集和渗透后内网横向渗透。工具从项目上迭代了一些懒人功能（比如提供扫描资产文件中，可以写绝大部分的各种形式的链接/CIDR,并在此基础上可以添加任意端口和路径）

Bufferfly

https://github.com/dr0op/bufferfly

攻防资产处理小工具，对攻防前的信息搜集到的大批量资产/域名进行存活检测、获取标题头、语料提取、常见web端口检测、简单中间识别，去重等，便于筛选有价值资产。

HKTools

https://github.com/Security-Magic-Weapon/HKTools

一款辅助安全研发在日常工作中渗透测试、安全研究、安全开发等工作的工具

EyeWitness

https://github.com/FortyNorthSecurity/EyeWitness

Eyewitness可自动查询URL对应网站的截图、RDP服务、Open VNC服务器以及一些服务器title、甚至是可识别的默认凭据等，最终会生成一个详细的html报告。

anew(去重)

https://github.com/tomnomnom/anew

好用的去重对比工具

0x05 敏感信息

1. 目录结构及敏感文件

常见的敏感目录及文件，会对渗透突破有着很大作用，收集思路一般是爬虫采集、递归扫描、Google Hacking。

常见敏感目录及文件

  • 备份文件：www.zip、www.rar、blog.gm7.org.zip等
  • 代码仓库：.git、.svn等
  • 敏感、隐藏api接口：/swagger-ui.html、/env等
  • 站点配置文件：crossdomain.xml、sitemap.xml、security.txt等
  • robots文件
  • 网站后台管理页面
  • 文件上传/下载界面
  • …

tips:

  • 扫描核心主要在于字典价值
  • 403、404页面可能会存在一些信息，可以多fuzz下。
  • 工具使用时善于关键字过滤，将会减少一些误报。

工具推荐

dirsearch

dirsearch 是一款使用 python3 编写的，用于暴力破解目录的工具，速度不错，支持随机代理、内容过滤。

feroxbuster

用Rust编写的快速，简单，递归的内容发现工具

yjdirscan

御剑目录扫描专业版

字典推荐

fuzzDicts

庞大的Web Pentesting Fuzz 字典，部分精准度不错，可惜更新是2021的时候了。

Web-Fuzzing-Box

Web Fuzzing Box - Web 模糊测试字典与一些Payloads，主要包含：弱口令暴力破解、目录以及文件枚举、Web漏洞…

字典运用于实战案例：https://gh0st.cn/archives/2019-11-11/1

XXE 暴力枚举字典

2. JS信息收集

js文件一般用于帮助网站执行某些功能，存储着客户端代码，可能会存在大量的敏感信息，通过阅读分析可能会找到宝藏。

JS信息查找方法

1. 手工

通过查看页面源代码信息，找到.js后筛选特定信息，但这种方法费时费力，一般网站都会存在大量的js文件，还多数为混淆后的信息。

关键信息查找可以使用浏览器自带的全局搜索：

如：通过path:来查Vue框架路由

2. 半自动

通过抓包拦截获取url后使用脚本筛选，比如Burp Suite专业版，可以在Target > sitemap下，选中目标网站选中Engagement tools -> Find scripts，找到网站所有脚本内容。

也可以使用Copy links in selected items复制出选中脚本项目中所包含的URL链接。

粘贴下，然后就可以手工验证url信息价值，有时候可以发现一些未授权、敏感的api接口或者一些GitHub仓库、key值等。

这种方法因为结合手工，在一些深层目录架构中，通过Burp Suite script可以获取到一些工具跑不到的js信息。

3. 工具：

JSFinder

JSFinder是一款用作快速在网站的js文件中提取URL，子域名的工具

JSINFO-SCAN

递归爬取域名(netloc/domain)，以及递归从JS中获取信息的工具

URLFinder

URLFinder是一款用于快速提取检测页面中JS与URL的工具。

功能类似于JSFinder，但JSFinder好久没更新了。

HAE

HaE是基于 BurpSuite Java插件API 开发的请求高亮标记与信息提取的辅助型框架式插件，该插件可以通过自定义正则的方式匹配响应报文或请求报文，并对满足正则匹配的报文进行信息高亮与提取。如匹配敏感信息、提取页面中的链接信息等。

Repo-supervisor

Repo-supervisor 是一种工具，可帮助您检测代码中的秘密和密码。

command-line-mode 功能：

CLI 模式允许使用源代码扫描本地目录以检测文件中的机密和密码。结果可能以明文或 JSON 格式返回。

4. 其他辅助工具

信息收集过程中，js文件不用仅限于当前网站版本，网站的历史版本中也可能会存在一些未失效的关键信息。

历史界面

wayback会记录网站版本更迭，可以获取到之前版本的网站，不仅可以用于收集历史js文件，也有可能找到一些后来删除的敏感资产信息，或者一些漏洞

历史信息查找工具：

waybackurls

获取 Wayback Machine 知道的域的所有 URL

收集历史js文件

webbackurls target.com | grep “.js” | uniq |sort

通过Wayback Machine收集到的url js列表需要进行存活检验，避免误报，可以使用curl命令或者hakcheckurl工具进行检验。最后在做url提取即可。

反混肴

对于存在混淆的代码需要进行反混淆美化下，使其更易看懂

js-beautify

这个小美化器将重新格式化和重新缩进书签、丑陋的 JavaScript、由 Dean Edward 的流行打包程序打包的解包脚本，以及由 npm 包 javascript-obfuscator处理的部分去混淆脚本。

de4js

在线JavaScript 反混淆器和解包器

url采集

Rad

一款专为安全扫描而生的浏览器爬虫。

whatweb-plus

获取网站title头及Web指纹

url-extractor

在线url提取

js中关键信息简记

  • 密码、api密钥、secretKey等硬编码

  • 隐藏的api接口，如后台、业务测试、某服务等，可能会存在未授权。

  • 注释信息，注释为代码时，可能会通过修改注释改变业务逻辑，实现机制绕过，如xss绕过、登录绕过等。

  • Webpack 打包静态资源、js.map后缀文件，是jQuery中的一个新功能，支持Source Map,储存着各种api接口信息，而Webpack打包的信息很多都会放在js.map文件中，通过还原代码可能会找到一些未授权的api接口。相关处理工具如下：

    • sourcemapper
    • https://www.npmjs.com/package/restore-source-tree
    • https://github.com/paazmaya/shuji

  • 子域名信息

  • 依赖或框架，对于旧依赖或框架可以直接使用retire.js扫描相关漏洞。

  • ……

3. Google Hacking

Google作为一款全球通用的发达搜索引擎，爬取的和收录的数据量也是庞大无比，善用搜索引擎语法可以帮忙我们发现更多敏感信息。

说明

指令 用法 示例
“”（引号） 用引号来查询一个确切的单词或短语 查找有关《百年孤独》这本书的网页，语法：“百年孤独”
OR（或者） 用OR分隔搜索词，同时执行两个搜索查询，这将找到包含多个单词之一的页面。 搜索引用了“Google Drive”、“Dropbox”或“OneDrive”的页面，语法：Google Drive OR Dropbox OR OneDrive
-（减号、连字符） 在单词或网站前使用连字符将其从搜索结果中排除 从搜索结果中排除www主机名，语法：-www site:wikipedia.org
allintext: 使用allintext:[搜索短语]查找正文中包含这些单词的页面 查找正文中有关Roth、IRA投资讯息的页面，语法：allintext:Roth IRA 投资
allintitle: 使用allintitle:[搜索短语]查找标题中包含这些单词的页面 查找标题中同时包含“Apple”和“notebook”的页面，语法：allintitle:Apple notebook
allinurl: 使用allinurl:[搜索短语]查找URL中包含这些单词的页面 查找URL中同时包含”Microsoft” and “Surface”的页面，语法：allinurl:Microsoft Surface
site: 使用site:[URL]将搜索结果限制到特定网站 查找云点SEO网关于谷歌SEO的页面，语法：site:yundianseo.com 谷歌SEO
~（波浪号） 使用波浪号获得目标关键词及其近似词的搜索结果 查找SEO方面的策略或者教程，语法：SEO ~教程
related: 使用related:[URL]查找与特定网站类似的网站 查找与云点SEO类似的网站，语法：related:yundianseo.com
define: 使用define:[搜索短语]查找其定义 查找SEO的定义，语法：define:SEO
$ 使用$查找特定价格的商品 查找一款售价在99美金的手机，语法：mobile phone $99
location: 使用location:[地点]查看某个地区内的相关信息 查询南京的酒店，语法：hotel location:Nanjing
*（星号） 添加星号作为未知单词或事实的占位符 查找以“生活就像一个”开头的引语，语法：生活就像一个*
filetype: 使用filetype:[后缀]将结果限制为特定的文件格式，如PDF或DOC。 查找PDF格式的Microsoft Office键盘快捷键相关文件，语法：filetype:pdf Microsoft Office键盘快捷键
…（两点） 用两个句点分隔数字，不带空格，以搜索该范围内的数字 查找1950年至2000年间发生的计算机里程碑，语法：”计算机里程碑” 1950…2000
AROUND(n) 在两个搜索词之间加上AROUND(n)，以查找两个词间有特定距离的页面。用数字n设置术语之间的最大距离，这对于查找两个搜索词之间的关系很有用。 查找在同一句话或段落中提到Facebook和Microsoft的页面，语法：Facebook AROUND(7) Microsoft

hacking常用语法

  • Google Hacking Database
  • cxsecurity-hacking-dorks
  • Github Google Hacking
管理后台地址
site:target.com intext:管理 | 后台 | 后台管理 | 登陆 | 登录 | 用户名 | 密码 | 系统 | 账号 | login | system  
site:target.com inurl:login | inurl:admin | inurl:manage | inurl:manager | inurl:admin_login | inurl:system | inurl:backend  
site:target.com intitle:管理 | 后台 | 后台管理 | 登陆 | 登录
上传类漏洞地址
site:target.com inurl:file  
site:target.com inurl:upload
注入页面
site:target.com inurl:?id=  
site:target.com inurl:php?id=
编辑器页面
site:target.com inurl:ewebeditor
目录遍历漏洞
site:target.com intitle: "index of"
SQL错误

``
site:target.com intext:“sql syntax near” | intext:“syntax error has occurred” | intext:“incorrect syntax near” | intext:“unexpected end of SQL command” | intext:“Warning: mysql_connect()” | intext:”Warning: mysql_query()" | intext:“Warning: pg_connect()”

##### phpinfo

site:target.com ext:php intitle:phpinfo “published by the PHP Group”

##### 配置文件泄露

site:target.com ext:.xml | .conf | .cnf | .reg | .inf | .rdp | .cfg | .txt | .ora | .ini

##### 数据库文件泄露

site:target.com ext:.sql | .dbf | .mdb | .db

##### 日志文件泄露

site:target.com ext:.log

##### 备份和历史文件泄露
​```bash
site:target.com ext:.bkf | .bkp | .old | .backup | .bak | .swp | .rar | .txt | .zip | .7z | .sql | .tar.gz | .tgz | .tar
公开文件泄露
site:target.com filetype:.doc | .docx | .xls | .xlsx | .ppt | .pptx | .odt | .pdf | .rtf | .sxw | .psw | .csv
邮箱信息
site:target.com intext:@target.com  
site:target.com 邮件  
site:target.com email
社工信息
site:target.com intitle:账号 | 密码 | 工号 | 学号 | 身份证

tips：

  • 判断目标是否被黑过。（如html寄生虫）

site:xx.com指定搜索发现多个垃圾数据，大概率中招过。（黑帽SEO劫持）

  • 可搜索渗透特征痕迹（如遗留webshell、执行命令接口、黑页）

  • 搜索常见的敏感文件、路由

  • 发现其他人正在搜索的内容

    • Google Trends

  • 搜索结果别忘了快照信息。

  • Google搜索会追踪ip和地址，想要隐私可以试试私密搜索*（代理访问其他搜索引擎内容）*：

    • startpage.com
    • 秘迹搜索

ps: 百度、搜狗、bing也是可以使用语法精确搜索，但限于seo逻辑、广告、资源等多个因素，经常不如Google，但有时候结合又有不错的收获。

百度语法

  • site: 搜索特定网站的内容

  • intitle: 搜索网页标题的内容

  • inurl: 搜索网址中的内容

    • 可以用-减号忽略掉关键词网页

  • “ ”： 搜索关键不可拆分

图片反查

百度识图、googleimage、tineye等识图引擎
从图片原图获取坐标
在线查看器

改图宝
https://www.gaitubao.com/exif
图虫EXIF查看器
https://exif.tuchong.com/
我爱斗图
https://www.52doutu.cn/tools/exif
python-exifread 库
https://link.zhihu.com/?target=https%3A//pypi.python.org/pypi/ExifRead

经纬度转地址

GPS查询网址1
http://www.gpsspg.com/maps.htm
GPS查询网址2
http://www.gzhatu.com/dingwei.html
地球在线
https://www.earthol.com/
python-geopy库
https://www.osgeo.cn/geopy/

4. Github信息收集

自从学会使用github并在上面乱捣鼓找到一些站点账号或源码后，就此走上不归路，各种Github监控搞上，又发现一些阿里key，简直是宝了……

Github搜索语法

高级搜索：https://github.com/search/advanced

Github高级搜索语法：https://docs.github.com/cn/search-github/getting-started-with-searching-on-github/understanding-the-search-syntax?spm=a2c6h.12873639.article-detail.6.55db74b8e8hJQq

Github有着自己的搜索语法，善用搜索语法能发现更多的有用信息。一般来说，Github搜索都是以域名、备案、js路径、网站技术支持等关键内容为主。

搜索包含"AccessKey ID"和password内容的代码。

一些工具中总结了一些常见的搜索语法：

https://github.com/obheda12/GitDorker/tree/master/Dorks

搜索常用语法，可以搜索到一些敏感的私钥，一些SSH登录私钥，mysql的数据库密码，API key等等

"token"  
"password"  
"secret"  
"passwd"  
"username"  
"key"  
"apidocs"  
"appspot"  
"auth"  
"aws\_access"  
"config"  
"credentials"  
"dbuser"  
"ftp"  
"login"  
"mailchimp"  
"mailgun"  
"mysql"  
"pass"  
"pem private"  
"prod"  
"pwd"  
"secure"  
"ssh"  
"staging"  
"stg"  
"stripe"  
"swagger"  
"testuser"  
"jdbc"  
extension:pem private  
extension:ppk private  
extension:sql mysql dump password  
extension:json api.forecast.io  
extension:json mongolab.com  
extension:yaml mongolab.com  
extension:ica \[WFClient\] Password\=  
extension:avastlic “support.avast.com”  
extension:js jsforce conn.login  
extension:json googleusercontent client\_secret  
“target.com” send\_keys  
“target.com” password  
“target.com” api\_key  
“target.com” apikey  
“target.com” jira\_password  
“target.com” root\_password  
“target.com” access\_token  
“target.com” config  
“target.com” client\_secret  
“target.com” user auth

收集工具

GitDorker

https://github.com/obheda12/GitDorker

GitDorker 是一款github自动信息收集工具，它利用 GitHub 搜索 API 和作者从各种来源编译的大量 GitHub dorks 列表，以提供给定搜索查询的 github 上存储的敏感信息的概述。

trufflehog

https://github.com/trufflesecurity/trufflehog

Truffle Hog是一款采用Python开发的工具，它可以检索GitHub代码库的所有代码提交记录以及分支，并搜索出可以表示密钥(例如AWS密钥)的高熵字符串。一般用来探测泄漏密钥的工具，支持扫描的数据源包括git、github、gitlab、S3、文件系统、文件和标准输入。

其他检索方法：

https://github.com/BishopFox/GitGot

https://github.com/UKHomeOffice/repo-security-scanner

https://github.com/gwen001/github-search

https://github.com/eth0izzle/shhgit

https://github.com/lightless233/geye

https://github.com/cve-search/git-vuln-finder

https://github.com/Securityautomation/DumpTheGit

https://github.com/4x99/code6

https://github.com/tillson/git-hound

代码仓库在线搜索平台

pinatahub

https://pinatahub.incognita.tech

github敏感信息搜索引擎，有时候github搜索查看不方便，可以直接在这个网站搜索。

信息收集道道之外网信息收集_第1张图片

searchcode

https://searchcode.com/

SearchCode从Github、BitBucket、CodePlex、SourceForge、Fedora等代码仓库里筛选了近160亿行开源代码，你能够使用文件扩展、特定代码库名字、URL、正则表达式、特殊字符等过滤器对源代码进行过滤，以便搜到你想要的代码。

信息收集道道之外网信息收集_第2张图片

其他仓库

GitLab: https://about.gitlab.com/

gitee: https://gitee.com/

csdn：https://gitcode.net/explore

5. 邮箱信息收集

有时候不仅是正面硬刚就可以的，还需要迂回战术配合出击，正如攻防中社工一样，总会有一些意想不到的成果。随着办公网络的发展，邮箱也成为了常用的办公方式之一。攻防也是从信息收集逐渐延伸到钓鱼上，只要钓鱼技术好，轻轻松松混入内部，而要想社工钓鱼玩得溜，邮件方面是一个重要的突破口。

tips: 邮箱建议做筛选，把一些疑是网络管理员、运维人员、安全部门的人员提取出来，单独发送或者不发，由于这部分人员安全意识偏高，容易打草惊蛇，一般多针对非技术人员，容易下手。

邮箱入口查找方法

邮件服务器主要从端口和title标识两个信息点去确认的。

邮件服务器常见端口：

  • 25
  • 109
  • 110
  • 143
  • 465
  • 995
  • 993

邮件服务器常见title：

  • 邮箱登录
  • Coremail
  • eYou邮件系统
  • TurboMail
  • Exchange
  • ……
C段扫描寻找入口
  • 获取到目标后，从目标mx记录域名找到他的真实ip，若是第三方邮件服务器，MX记录就没啥参考价值了。

信息收集道道之外网信息收集_第3张图片

  • 对获取到的真实ip这个段进行C段扫描，有时候也可以进行B段扫描。然后通过端口、title去确定邮件服务器信息。C段扫描方法可以参考上文C段收集章节。
通过子域名扫描寻找入口

主要通过一些子域名收集工具去确认，如：Subdomainbrute、ksubdomain、Oneforall、Sublist3r、TeeMO、LangSrcCurise、Layer挖掘机等。

通过搜索引擎寻找入口

战场主力也还是Google hacking和网络空间搜索引擎

  1. Google Hacking
site:target.com intitle:"Outlook Web App"  
site:target.com intitle:"mail"  
site:target.com intitle:"邮箱"

信息收集道道之外网信息收集_第4张图片

  1. 网络空间搜索引擎
  • Shodan
  • fofa
  • zoomeye
  • 0.zone
(group\==阿里&&title\==邮箱)

邮箱收集方法

搜索引擎
Google Hacking
  • 有时候github一些仓库代码中也会存在邮箱信息。
  • 一般都会有邮箱、手机号等官方联系方式信息。
网络空间搜索引擎

0.zone邮箱收集

email\_type\==邮箱&&(group\==阿里)
在线收集平台

ps: 基本都需要注册，注册获取的信息比游客多好多，有些还需要绑定手机号。

Snov.io

Snovio是一个集成了“LinkedIn、GitHub、Moz、StackOverflow、Indeed、Behance、Upwork、Google页面邮箱采集”+“邮箱验证”+“联系人管理”+“邮件发送”为一身的网站。在Snovio只要输入一个域名，就可以采集到该域名在以上平台中暴露的所有邮箱地址，还支持API批量读取。

强大的邮箱收集，可单个收集也可以批量收集，还支持api调用。

  • 免费版每月可以有100条收集数量，也就是50信用。

  • 该站点的Google插件更方便

    • https://snov.io/knowledgebase/how-to-use-snovio-extension-for-chrome/
hunter

Hunter可让您在几秒钟内找到专业的电子邮件地址，并与对您的业务重要的人建立联系。

打码信息需要注册绑定手机号后才能看到。

phonebook

Phonebook例举所有的域名，邮件地址，或者是所予域名的url，支持*.gov.uk的通配符，有340亿条记录。可以批量下载想要的域名。

intelx

intelx是一个搜索引擎和数据存档。通过电子邮件，域名，IP, CIDR，比特币地址等等查找数据泄露信息。随便搜一下好像搜索出了一个泄露的邮箱数据库：

skymem

一款可查找公司和人员的电子邮件地址在线邮箱查找平台，数据量较少，准确度高，大批量的需要购买。

爱企查、企查查等批量查询

如通过爱企查的爱番番寻宝客“获取更多的联系方式”

如使用八爪鱼采集器进行批量查询

https://www.bazhuayu.com/tutorial/qccqyemailcj

邮箱泄露信息查询
  • https://monitor.firefox.com/
  • https://haveibeenpwned.com/
  • https://ghostproject.fr/
其他
  • https://app.apollo.io
  • https://contactout.com
  • https://www.datanyze.com
  • https://www.email-format.com
  • TG社工库、其他社工库
工具收集
theHarvester

theHarvester是Kali自带的一款社会工程学工具，默认集成了多个api，利用网络爬虫技术通过Google、Bing、PGP、LinkedIn、Baidu、Yandex、People123、Jigsaw、Shodan、PGP服务器等不同公开源整理收集，能够收集e-mail、用户名、主机名、子域名、雇员、开放端口和Banner等信息。

theHarvester 参数详解

  -h, \--help            show this help message and exit    #显示帮助信息并退出  
  -d, \--domain          DOMAIN Company name or domain to search.    #要搜索的公司名称或域名  
  -l, \--limit           LIMIT Limit the number of search results, default\=500.  #采集特定数量的结果，不指定情况下，默认为500  
  -S, \--start           START Start with result number X, default\=0.    #从采集到的信息编号“X”处开始执行采集，默认从0开始  
  -g, \--google-dork     Use Google Dorks for Google search.     #使用google Dorks进行google搜索。（一般情况下不用，你懂的）  
  -p, \--proxies         Use proxies for requests, enter proxies in proxies.yaml.    #对信息采集的请求使用代理  
  -s, \--shodan          Use Shodan to query discovered hosts.       #使用shodan查询发现的主机  
  --screenshot Take screenshots of resolved domains specify output directory:       #对解析域的页面进行截图，需指定截图文件存放目录  
        \--screenshot output\_directory      \# 截图保存目录  
  -v, \--virtual-host    Verify host name via DNS resolution and search for virtual hosts.       #通过DNS解析主机名并搜索虚拟主机  
  -e, \--dns-server DNS\_SERVER DNS server to use for lookup.     #指定DNS解析服务器  
  -t, \--dns-tld DNS\_TLD  Perform a DNS TLD expansion discovery, default False.      #执行DNS TLD扩展发现，默认为False状态  
  -r, \--take-over       Check for takeovers.    #检查接管  
  -n, \--dns-lookup      Enable DNS server lookup, default False.       \# 启用DNS服务器查找，默认为False状态                                                                                                       
  -c, \--dns-brute       Perform a DNS brute force on the domain.       \# 进行DNS域解析暴力破解                                                                                                           
  -f, \--filename        Save the results to an HTML and/or XML file.    #指定输出文件名，格式支持HTML和XML                                                                                                         
  -b SOURCE, \--source SOURCE                                                                                                                                                     
                        baidu, bing, bingapi, bufferoverun, certspotter, crtsh, dnsdumpster, duckduckgo, exalead, github-code, google, hackertarget, hunter, intelx,             
                        linkedin, linkedin\_links, netcraft, otx, pentesttools, projectdiscovery, qwant, rapiddns, securityTrails, spyse, sublist3r, threatcrowd, threatminer,    
                        trello, twitter, urlscan, virustotal, yahoo     #指定采集信息的源

常用参数

-d：指定搜索的域名或网址
-b：指定采集信息的源（如baidu，biying，google）
-l：指定采集信息的返回数量，默认500
-f：输出文件名并保存采集结果，可以保存为HTML或XML格式；如果不指定，采集信息仅作屏幕显示

api key没有配置的时候，结果较少。

验证邮箱

收集到邮箱后，就要对其进行存活性验证，避免出现被弃用、不可用的邮箱。

在线平台
  • Email地址检查、检测Email地址真实性、检测电子邮件地址真实性–查错网
  • Verify Email Address Online - Free Email Verifier - Free Email Address Verification
  • 免费在线批量验证邮箱有效性 - EmailCamel.com
  • Email Verifier - Verify Email Address For Free With Our Verifier Tool
  • snov.io 电子邮箱验证
工具

verifyemail

https://github.com/Tzeross/verifyemail

Python在线验证邮箱真实性，支持批量验证，支持全部域名邮箱，支持全部域名邮箱，支持全部域名邮箱，支持全部域名邮箱

邮箱爆破

弱口令爆破方式只适用于目标企业自己的邮件服务器如owa等，对第三方邮箱不优先考虑

常用字典组合

员工名称拼音/首字母

员工名称拼音/首字母+日期

公司简称+年份

员工名称+公司名

passwd+日期

P@sswd!+日期

爆破字典

https://github.com/rootphantomer/Blasting_dictionary

https://github.com/TheKingOfDuck/fuzzDicts

工具

爆破邮箱大概分为两种情况

  • 网页邮箱爆破

    • burpsuite等

  • STMP协议等邮箱端口爆破

    • medusa、hydra、SNETCracker、GoMapEnum、APT34组织 owa爆破工具等（多数工具kali都自带）

邮箱相关端口：

SMTP默认端口：25

POP3默认端口：110

IMAP默认端口：143

临时邮箱

#所谓的十分钟邮箱类  
http://www.yopmail.com/zh/  
https://10minutemail.com/  
https://10minutemail.net/  
https://www.guerrillamail.com/zh/inbox  
http://www.fakemailgenerator.com/  
https://temp-mail.org/en/  
https://www.guerrillamail.com/  
http://tool.chacuo.net/mailsend  
https://maildrop.cc/  
http://tool.chacuo.net/mailanonymous  
https://tempmail.altmails.com/  
https://www.snapmail.cc/  
https://www.linshi-email.com/

匿名邮箱

  • ProtonMail
  • Get secure, reliable email hosting – FastMail
  • xyfir/ptorx
  • Tutanota

6. 网盘信息收集

一些安全意识薄弱的人员对于上传到网盘上的资源未作加密限制或者密码泄露，然后又被一些云盘爬虫给收集到，最终导致信息泄露。通过一些网盘引擎可以获取到其中的泄露信息。

在线平台

https://lzpan.com/
凌风云：https://www.lingfengyun.com/
蓝菊花：http://www.lanjuhua.com/
大力盘：https://www.dalipan.com/
猪猪盘：http://www.zhuzhupan.com/
PanSou：http://www.pansou.com/
盘飞飞：https://panfeifei.com/

由于网盘搜索工具的时效性，可以通过搜索引擎去获取一些。

搜索关键词

关键词一般以单位名称、别称、产品业务等

爬虫

  • 百度网盘爬虫脚本搜索

  • 网盘搜索工具

  • 网盘有时候会存在一些简历信息泄露，如手机号、邮箱、部门等。

0x06 其他信息

1. APP

通过获取App配置、数据包，去获取url、api、osskey、js等敏感信息。

App查找入口

搜索引擎
  • Google Hacking
  • 网络空间搜索引擎
在线聚合平台
  • 小蓝本
  • 七麦
  • AppStore
  • 点点
  • 豌豆荚
  • 天眼查/爱企查等
  • App应用商城

App敏感信息收集

ps：App关联打算另写一篇。

手工收集

一般是通过抓包收集接口数据或者逆向获取配置数据。

  • 抓包可能会需要进行证书绕过、绕过抓包限制等。

    • Fastboot & ADB
    • HttpCanary
    • Packet Capture
    • Wicap
    • Fildder+Burpsuite
    • Mitmproxy
    • Charles
    • Frida
    • SSL相关：JustTrustMe++/TrustMeAlready/SSLUnpinning/Inspeckage
    • 强制走代理：ProxyDroid/Droni+Burpsuite
    • 综合性安卓抓包/逆向/HOOK自动化脚本工具：lamda/r0capture/fridaUiTools/frida_hook_libart
    • 常用的软件简记

  • 逆向可能会需要进行脱壳/解码等。

    • 幸运破解器

    • 核心破解

    • BlackDex

    • fdex2

    • FART

    • Android Killer

    • 午夜神大佬应用集

    • grep筛选

      grep \-EHirn "accesskey|admin|aes|api\_key|apikey|checkClientTrusted|crypt|http:|https:|password|pinning|secret|SHA256|SharedPreferences|superuser|token|X509TrustManager|insert into|setJavaScriptEnabled|root|JavascriptInterface|MODE\_WORLD\_READABLE|MODE\_WORLD\_WRITEABLE|Pinner|checkServerTrusted|api\_secret|api/v1|api/v2" \--color APKfolder/  
\# https://twitter.com/AmitMDubey/status/1272982285277491200

    • 常用软件简记

工具推荐：

AppInfoScanner

https://github.com/kelvinBen/AppInfoScanner

一款适用于以HW行动/红队/渗透测试团队为场景的移动端(Android、iOS、WEB、H5、静态网站)信息收集扫描工具，可以帮助渗透测试工程师、攻击队成员、红队成员快速收集到移动端或者静态WEB站点中关键的资产信息并提供基本的信息输出,如：Title、Domain、CDN、指纹信息、状态信息等。

ApkAnalyser

https://github.com/TheKingOfDuck/ApkAnalyser

一键提取安卓应用中可能存在的敏感信息。

目前可提取APK内：

  • 所有字符串
  • 所有URLs
  • 所有ip
  • 可能是hash值的字符串
  • 存在的敏感词（如oss.aliyun）
  • 可能是accessKey的值

2. OSINT

OSINT(Open-source intelligence) 指开源情报,一项从媒体、网络、博客、视频，等公开来源中进行信息收集、提取的技术。

情报相关资源

  • OSINT-CN 一款在线分享国内外OSINT资源和工具的网站
  • Digital-Privacy Information Protection & OSINT resources | 一个关于数字隐私搜集、保护、清理集一体的方案,外加开源信息收集(OSINT)对抗
  • 丁爸网
  • 微信公众号 情报小蜜蜂 little_bee007
  • iYouPort OSINT专栏
  • sinwindie/OSINT - 各种平台的 OSINT “一张图” 系列
  • blaCCkHatHacEEkr/OSINT_TIPS - OSINT 技巧合集
  • The Privacy, Security, & OSINT Show - 讲述、介绍各类 OSINT 技能的博客
  • OSINT Framework - 非常著名的 OSINT 框架,有着非常丰富的 OSINT 资源

OSINT 情报工具

  • https://intelx.io/tools - 在线使用的开源情报和取证工具清单
  • OSINT Recon Tool - 在线的 osint 工具集合，加上思维脑图
  • woj-ciech/SocialPath - 跟踪社交媒体平台上的用户
  • Greenwolf/social_mapper - 通过面部识别跟踪不同社交平台目标的工具
  • bhavsec/reconspider - 可用于扫描IP地址，电子邮件，网站，组织的 OSINT 工具
  • SpiderFoot

3. 个人隐私信息

从邮箱查询

  • 你注册过哪些网站？一搜便知
  • Find email addresses in seconds • Hunter (Email Hunter) - email 信息查询工具

从用户名查询

  • Instant Username Search - 实时搜索100多个社交媒体网站的用户名。
  • CheckUsernames - 测某账号是否在全球500多个社交媒体中是否有注册。
  • WhatsMyName Web - 搜索许多网站上存在的用户名。
  • NameCheckup - 查找可用的用户名
  • Namechk
  • KnowEm Username Search
  • sherlock-project/sherlock - 在不同的社交网络上通过用户名搜寻账户

从IP查询

  • Torrent downloads and distributions for IP - 查你这个IP下载过哪些磁力链接?

混合查询

  • Username Search - 找到用户名、电子邮件地址或电话号码背后的人。
  • n0tr00t/Sreg - 使用者通过输入 email、phone、username 的返回用户注册的所有互联网信息.
  • Humanitarian Data Exchange - Facebook 的公开数据查询平台
  • 银行卡号归属地查询
  • 友商发·票查询
  • TG库、四件套等。

从注册信息查询

Sms
https://www.materialtools.com/
http://receivefreesms.com/
Email
https://10minutemail.net/
http://24mail.chacuo.net/
https://zh.mytrashmailer.com/
http://24mail.chacuo.net/enus
https://www.linshiyouxiang.net/
Fake id
https://www.fakenamegenerator.com/
http://www.haoweichi.com/
https://www.fakeaddressgenerator.com/

4. 历史漏洞

  • wooyun 历史漏洞库：http://www.anquan.us/

  • 漏洞银行：https://www.bugbank.cn/

  • 360 补天：https://www.butian.net/

  • 教育行业漏洞报告平台：https://src.edu-info.edu.cn/login/

  • seebug：https://paper.seebug.org/

  • CNVD：http://www.cnnvd.org.cn/

  • Exploit Database: https://www.exploit-db.com

  • Vulners: https://vulners.com

  • zone-h：http://zone-h.org/archive?hz=1

  • Sploitus: https://sploitus.com

  • 历史界面：wayback

    • 工具：waybackurls

5. 蜜罐识别

通常将蜜罐(honeypot)定义为一种安全资源，它不需要提供实际的应用，蜜罐的存在价值就是诱导和记录攻击行为，从而了解攻击者的入侵方法和手段，并能够延缓其攻击进程，进而根据捕获的攻击行为数据，分析攻击者使用的攻击方法和工具，从而让防御方针对性地增强系统的安全防护能力

简单识别

  • honeyscore shodan

    • 网络空间搜索引擎

  • Honeypot Hunter

    • Send-Safe Honeypot Hunter 是一种工具，用于检查所谓的“蜜罐”的 HTTPS 和 SOCKS 代理列表。“蜜罐”是由试图通过使用这些虚假代理记录流量，然后向其 ISP 发送投诉的人运行的虚假代理。

  • Chrome 蜜罐检测插件

    • 需要自己完善规则的Chrome 蜜罐检测插件

  • anti-honeypot

    • 一款可以检测WEB蜜罐并阻断请求的Chrome插件

  • AntiHoneypot

    • 一个拦截XSSI & 识别Web蜜罐的Chrome扩展

工具向

持续更新……

  • 水泽 信息收集自动化工具

https://github.com/0x727/ShuiZe_0x727

作者：Ske

团队：0x727，未来一段时间将陆续开源工具，地址：https://github.com/0x727

定位：协助红队人员快速的信息收集，测绘目标资产，寻找薄弱点

语言：python3开发

功能：一条龙服务，只需要输入根域名即可全方位收集相关资产，并检测漏洞。也可以输入多个域名、C段IP等，具体案例见下文。

调用：脚本借用了ksubdomain爆破子域名和theHarvester收集邮箱，感谢ksubdomain和theHarvester作者

  • ARL资产侦察灯塔系统

https://github.com/TophantTechnology/ARL

旨在快速侦察与目标关联的互联网资产，构建基础资产信息库。协助甲方安全团队或者渗透测试人员有效侦察和检索资产，发现存在的薄弱点和攻击面。

  • ENScanGo

https://github.com/wgpsec/ENScan_GO

由狼组安全团队的 Keac 师傅写的专门用来解决企业信息收集难的问题的工具，可以一键收集目标及其控股公司的 ICP 备案、APP、小程序、微信公众号等信息然后聚合导出。

  • gobuster

一个用于暴力破解的工具：

  • 网站中的 URI（目录和文件）。
  • DNS 子域（支持通配符）。
  • 目标 Web 服务器上的虚拟主机名。
  • 打开 Amazon S3 存储桶
  • SecLists

SecLists是安全测试人员的伴侣。它是安全评估期间使用的多种类型列表的集合，收集在一个地方。列表类型包括用户名、密码、URL、敏感数据模式、模糊测试负载、Web Shell 等等。目标是使安全测试人员能够将此存储库拉到一个新的测试框上，并可以访问可能需要的每种类型的列表。

  • OSINT开源情报与侦察工具

https://www.osint-labs.org/tools/

  • 本机ip地址查询

https://ip.skk.moe/

  • 空间搜索引擎

    • FOFA https://fofa.info
    • Quake https://quake.360.cn/quake/#/index
    • Hunter https://hunter.qianxin.com
    • Censys https://search.censys.io/
    • Shadon https://www.shodan.io
    • ZoomEye https://www.zoomeye.org
    • Sumap https://sumap.dbappsecurity.com.cn/
    • Soall https://soall.org/login
    • 0.zone https://0.zone/

参考

https://xz.aliyun.com/t/11112

https://mp.weixin.qq.com/s/MSLwTsfahF2NSSdDznvetw

https://blog.csdn.net/qq_53577336/article/details/122828715

https://www.lijiejie.com/dns-zone-transfer-1/

https://github.com/bin-maker/2021CDN/

https://www.freebuf.com/articles/web/265016.html

作者：0nlyuAar0n奇安信攻防社区https://forum.butian.net/share/1976

非本人原创，只当做笔记发在个人博客上。
信息收集道道之外网信息收集_第5张图片

努力到无能为力，拼搏到感动自己

你可能感兴趣的:(安全知识点,安全,网络)

  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • 基于社交网络算法优化的二维最大熵图像分割 智能算法研学社（Jack旭） 智能优化算法应用图像分割算法php开发语言
    智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
  • 特殊的拜年 飘雪的天堂
    文/雪儿大年初一，家家户户没有了轰响的鞭炮声，大街上没有了人流涌动的喧闹，几乎看不到人影，变得冷冷清清。天刚亮不大会儿，村里的大喇叭响了起来：由于当前正值疾病高发期，流感流行的高峰期。同时，新型冠状病毒感染的肺炎进入第二波流行的上升期。为了自己和他人的健康安全着想，请大家尽量不要串门拜年，不要在街里走动。可以通过手机微信，视频，电话，信息拜年……今年的春节真是特别。禁止燃放鞭炮，烟花爆竹，禁止出村
  • 2023-04-17|篮球女孩 长一木
    1小学抑或初中阶段，在课外书了解到她的故事。“篮球女孩”。当时佩服她的顽强，也对生命多了一丝敬畏。今天刚好在公众号看到，长大后的“篮球女孩”。佩服之余又满是心疼。网络侵删祝那素未蒙面的女孩，未来一切顺遂。
  • 在一台Ubuntu计算机上构建Hyperledger Fabric网络 落叶无声9 区块链超级账本Hyperledgerfabric区块链ubuntu构建hyperledgerfabric
    在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
  • 【华为OD技术面试真题 - 技术面】-测试八股文真题题库（1） 算法大师 华为od面试python算法前端
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.黑盒测试和白盒测试的区别2.假设我们公司现在开发一个类似于微信的软件1.0版本，现在要你测试这个功能：打开聊天窗口，输入文本，限制字数在200字以内。问你怎么提取测试点。功能测试性能测试安全性测试可用性测试跨平台兼容性测试网络环境测试3.接口测试的工具你了解哪些
  • ARM驱动学习之5 LEDS驱动 JT灬新一 嵌入式C底层arm开发学习单片机
    ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
  • C++菜鸟教程 - 从入门到精通 第二节 DreamByte c++
    一.上节课的补充(数据类型)1.前言继上节课,我们主要讲解了输入,输出和运算符,我们现在来补充一下数据类型的知识上节课遗漏了这个知识点,非常的抱歉顺便说一下,博主要上高中了,更新会慢,2-4周更新一次对了,正好赶上中秋节,小编跟大家说一句:中秋节快乐!2.int类型上节课,我们其实只用了int类型int类型,是整数类型,它们存贮的是整数,不能存小数(浮点数)定义变量的方式很简单inta;//定义一
  • 直返的东西正品吗?直返APP安全吗?直返是正规平台吗? 氧惠购物达人
    亲们，你们是不是经常在直返APP上买东西呀？但是，你们有没有想过，里面的东西到底是不是正品呢？这个APP安全吗？它是不是一个正规的平台呀？别着急，今天我就来给大家揭秘一下！氧惠APP（带货领导者）——是与以往完全不同的抖客+淘客app！2023全新模式，我的直推也会放到你下面。主打：带货高补贴，深受各位带货团队长喜爱（每天出单带货几十万单）。注册即可享受高补贴+0撸+捡漏等带货新体验。送万元推广大
  • 《在战“疫”中成长致敬生活》观后感 梅子刘的刀
    （作者：周晨）今天上午，我看了“我是接班人”网络大课堂《在战役中成长致敬生活》。有很多人拿出自己攒下的钱，默默地捐给了武汉，有几千块钱的、有几万块钱的，也有十几万块钱的。连小朋友也把自己的压岁钱捐给了武汉。有名环卫工人把自己五年的积蓄全部捐给了武汉。有名外卖小哥为医护人员买鞋子送吃的。还有已经治愈出院的新型肺炎病人捐了400毫升的血浆。还有位叫大树的叔叔，虽然他没有钱，但是他地里有蔬菜，捐了几大卡
  • 学习“论语”-第59天 春峰轩
    12.14子张问政。子曰：“居之无倦，行之以忠。”子张问为政之道。孔子说：“在位尽职不懈怠，执行政令要忠诚。”12.15子曰：“博学于文，约之以礼，亦可以弗畔矣夫！”孔子说：“君子广泛地学习文献，并且用礼节约束自己，也就不会离经叛道了。”12.16子曰：“君子成人之美，不成人之恶。小人反是。”孔子说：“君子成全别人的好事，而不助长别人的坏处。小人则与此相反行事。”知识点:“成人之美，不成人之恶”贯
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • EIO国际确定性的交易（3/10）资管 ， 资金委托安全吗？ 古城鹏哥
    大家可能都知道资金托管，账户是自己开，钱在自己的账户上，密码是由自己掌控，别人提不走你账户的资金，每天可以看下到自己的账户，也可以看到交易流水。现金只能提到自己的银行卡中。账户由技术人员或操作人员，或者是机构团队帮你操作账户，产生盈利和收入，以获得的利润来分配盈利，技术强硬和做的时间久了过硬技术团队，会保证你的资金本金，不会让你的本金亏损的按照一定比例分配收入。所以在这个过程当中一定要看清楚技术的
  • TDengine 签约前晨汽车，解锁智能出行的无限潜力 涛思数据（TDengine） tdengine汽车大数据
    在全球汽车产业转型升级的背景下，智能网联和新能源技术正迅速成为商用车行业的重要发展方向。随着市场对环保和智能化需求的日益增强，企业必须在技术创新和数据管理上不断突破，以满足客户对高效、安全和智能出行的期待。在这一背景下，前晨汽车凭借其在新能源智能商用车领域的前瞻性布局和技术实力，成为行业中的佼佼者。前晨汽车采用整车数据采集和全车数据打通策略，能够实时将数据推送至APP端客户。然而，这导致整体写入和
  • 中原焦点团队网络初中级30期阴丽丽坚持分享第三百八十八次2022.10.18分享 约练次数（74） 咨询师（6） 来访者（53） 观察者（15） 阴丽丽
    今天是忙碌的一天，一早起来，总想着找点把事情弄完，可总也弄不完。就这样弄着吧！孩子的事，自己的事都在那里搁置着，不想做，有点欧！今天总体还不错，只是在下午起床时走神了俩小时，也算是给自己的放松吧！今日难得1.儿子乖巧、听话，努力配合，一天下来也是忙忙碌碌，这真的很难得！2.儿子今天录的视频被班主任认可，这真的很难得3.我今天早上做核酸时，自己把教案整了一下，这真的很难得
  • “这才好”麻辣香锅 能够增加人身体的免疫能力 小补文知
    我就来介绍一种香锅，那就是“这才好”麻辣香锅，它产出于著名的蜀地文化，具有悠久的历史土家风味，麻辣鲜香，健康安全。采用传统秘制麻辣香锅油辣子，还有贴心加料“孜然包”满足人们的不同口味需求，香锅底料辣椒，微辣且香，含有丰富微量元素和维生素，具有辣而不躁，味道纯正，醇厚温和。花椒采用历史悠久，被列为宫廷供品的“贡椒”的汉源花椒。我们还挑选了“川菜之魂”郫县豆瓣的鼻祖品牌豆瓣，保留最原始的郫县豆瓣味道，
  • 2021-07-31 比峰
    七月的最后一天，过了今天，就是八月，心脏在颤抖……昨天两点半才睡，一直在以两倍的语速的听之前的课程，虽然隔得时间不长，但是很多知识点已经忘了差不多了，为了让自己能够掌握的稍微全面一点，还是磨刀不误砍柴工的比较好。正因为晚上睡得晚，今天一上午的状态都不好，也可能因为上午都是待在家里，所以多数时间自己是在补觉。既然太累，那就睡觉吧，总比浪费时间的好。下午到咖啡馆做题，一道差错更正一下子让自己的实力暴露
  • 网络编程基础 记得开心一点啊 网络
    目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
  • 你可能遗漏的一些C#/.NET/.NET Core知识点 追逐时光者 C#.NETDotNetGuide编程指南c#.net.netcoremicrosoft
    前言在这个快速发展的技术世界中，时常会有一些重要的知识点、信息或细节被忽略或遗漏。《C#/.NET/.NETCore拾遗补漏》专栏我们将探讨一些可能被忽略或遗漏的重要知识点、信息或细节，以帮助大家更全面地了解这些技术栈的特性和发展方向。拾遗补漏GitHub开源地址https://github.com/YSGStudyHards/DotNetGuide/blob/main/docs/DotNet/D
  • 多子女家庭问题 3e5c5362403c
    杨宁宁焦点解决网络初17中19坚持分享589天（2021.3.20）本周约练我1次，总计166次，读书打卡第256天案例督导收获：【家有老大篇】被爱与高期待下的独舞家里的第一个孩子往往集万千宠爱于一身。爸爸妈妈、爷爷奶奶、姥姥姥爷的目光都聚焦在他的身上。在这种光环下长大的孩子，就如小皇帝一般，衣来伸手、饭来张口。拥有爱的同时，也意味着拥有了更高的被期待，父母会花血本给你报各种各样的早教班，给你买各
  • 父母教育孩子的方式，将影响孩子一生 树英教育
    为什么有些孩子总是充满自信与快乐？独立、有主见又坚强？而有些孩子却自卑、胆怯，软弱又过度依赖父母？为什么有些孩子总是健康、阳光又富于创造力？而有些孩子却悲观、孤僻又思想空乏？一个孩子的行为取决于孩子的思想，思想取决于环境和自己的认知，认知取决于教育。父母是孩子人生中的第一位教育者，父母养育孩子的方式，将决定他们人生的高度，影响他们的一生。网络图，侵权即删优秀的父母就像园丁，既要浇水施肥，又要修剪杂
  • Java面试题精选：消息队列(二) 芒果不是芒 Java面试题精选javakafka
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
  • 2024.9.6 Python，华为笔试题总结，字符串格式化，字符串操作，广度优先搜索解决公司组织绩效互评问题，无向图 RaidenQ python华为leetcode算法力扣广度优先无向图
    1.字符串格式化name="Alice"age=30formatted_string="Name:{},Age:{}".format(name,age)print(formatted_string)或者name="Alice"age=30formatted_string=f"Name:{name},Age:{age}"print(formatted_string)2.网络健康检查第一行有两个整数m
  • 戴容容 中原焦点团队.网络初级第33期,坚持分享第19天 2022年3月9日 TessDai
    《每个人眼中的世界都是不同的》“一千个人眼里有一千个哈姆雷特”世界是多元的,每个人都有自己的道理,人人按照自己的理解去看待这个世界的人和物.我们如此,其他人也是如此.因此,任何事情,我们要放下自己以为的真理,去理解他人认为的真理,只有同频方能共振.孩子在慢慢长大的过程中慢慢学会独立,甚至对抗.尤其当孩子处于青春期的时候,他们开始有很多自己独立的想法,和一些特立独行的做法,家长常常会觉得不可思议,觉
  • 第1步win10宿主机与虚拟机通过NAT共享上网互通 学习3人组 大数据大数据
    VM的CentOS采用NAT共用宿主机网卡宿主机器无法连接到虚拟CentOS要实现宿主机与虚拟机通信，原理就是给宿主机的网卡配置一个与虚拟机网关相同网段的IP地址，实现可以互通。1、查看虚拟机的IP地址2、编辑虚拟机的虚拟网络的NAT和DHCP的配置，设置虚拟机的网卡选择NAT共享模式3、宿主机的IP配置，确保vnet8的IPV4属性与虚拟机在同一网段4、ping测试连通性[root@localh
  • 网络通信流程 记得开心一点啊 服务器网络运维
    目录♫IP地址♫子网掩码♫MAC地址♫相关设备♫ARP寻址♫网络通信流程♫IP地址我们已经知道IP地址由网络号+主机号组成，根据IP地址的不同可以有5钟划分网络号和主机号的方案：其中，各类地址的表示范围是：分类范围适用网络网络数量主机最大连接数A类0.0.0.0~127.255.255.255大型网络12616777214【(2^24)-2】B类128.0.0.0~191.255.255.255中
  • Kafka是如何保证数据的安全性、可靠性和分区的 喜欢猪猪 kafka分布式
    Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题 何必如此 jsp超链接文件下载窗口
    生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
  • 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
    在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
  • linux上独立安装部署spark daizj linux安装spark1.4部署
    下面讲一下linux上安装spark，以 Standalone Mode 安装   1）首先安装JDK   下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz     然后配置 ~/.bashrc&nb
  • Java 字节码之解析一 周凡杨 java字节码javap
        一： Java 字节代码的组织形式   类文件 {     OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
  • java各种小工具代码 g21121 java
    1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
  • 加快FineReport报表设计的几个心得体会 老A不折腾 finereport
    一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！ 二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
  • mysql linux启动与停止 墙头上一根草
    如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
  • Spring中事务管理浅谈 aijuans spring事务管理
    Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理 拿一个XML举例 [html]  view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
  • php中隐形字符65279（utf-8的BOM头）问题 alxw4616
    php中隐形字符65279（utf-8的BOM头）问题 今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror.   调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.        
  • 调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶 对象的传递与调用技巧
        类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看   为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇)   类和对象的基础概念:   JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
  • JDK1.5 AtomicLong实例 bijian1013 javathreadjava多线程AtomicLong
    JDK1.5 AtomicLong实例 类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。  
  • 自定义的RPC的Java实现 bijian1013 javarpc
            网上看到纯java实现的RPC，很不错。         RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
  • 【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
    什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
  • 【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
    在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
  • F5　往header加入客户端的ip ronin47
    when HTTP_RESPONSE {if {[HTTP::is_redirect]}{         HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
  • java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
    思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
  • mongoDB 索引 开窍的石头 mongoDB索引
    在这一节中我们讲讲在mongo中如何创建索引       得到当前查询的索引信息      db.user.find(_id:12).explain();        cursor: basicCoursor 指的是没有索引  &
  • [硬件和系统]迎峰度夏 comsci 系统
      从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内    所以，从现在开始准备渡过炎热的夏天。。。。    每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系)    坐的，躺的地方要有凉垫，床上要有凉席       电脑的机箱
  • 基于ThinkPHP开发的公司官网 cuiyadll 行业系统
    后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统 轻量级企业网站管理系统 运行环境:PHP5.3+, MySQL5.0 系统预览 系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应 响应式的网站设计能够对用户产生友好度，并且对于
  • Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms事务承认MQacknowledge
    JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
  • Centos添加硬盘完全教程 dcj3sjt126com linuxcentoshardware
    Linux的硬盘识别: sda        表示第1块SCSI硬盘 hda       表示第1块IDE硬盘 scd0      表示第1个USB光驱 一般使用“fdisk -l”命
  • yii2 restful web服务路由 dcj3sjt126com PHPyii2
    路由 随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。 在实践中，你通常要用美观的URL并采取有优势的HTTP动词。 例如，请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
  • MongoDB查询(4)——游标和分页[八] eksliang mongodbMongoDB游标MongoDB深分页
    转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标         数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
  • Activity的四种启动模式和onNewIntent() gundumw100 android
    Android中Activity启动模式详解 　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。 　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
  • 攻城狮送女友的CSS3生日蛋糕 ini htmlWebhtml5csscss3
    在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm   代码如下：   <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
  • 读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcatWebservlet网络应用网络协议
    Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。     先看javax.servlet.servlet接口源码：  package
  • JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 javaVOHibernatepo
      PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。 　实际上，这个VO被用作Data Transfer
  • mongodb group by date 聚合查询日期 统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
  • java之18天 常用的类(一) Luob. MathDateSystemRuntimeRundom
    System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
  • maven wuai maven
    1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他