信息收集搜索引擎收集、目录扫描、Git信息收集

Google Hacking

原指利用Google Google搜索引擎搜索信息来进行入侵的技术和行为；
现指利用各种搜索引擎搜索信息来进行入侵的技术和行为；

运算符

完整匹配：""
剔除不需要的内容：-
任意字词：文字OR文字
数字范围：数字…数字

高级语法

只搜索指定网站的内容：site:
网页的内容包括：allintext:
网页的标题出现：allintitle:
URL地址包括：allinurl:
文件类型：filetype:
index of：如果没有默认首页，就会出现目录结构

语法数据库

网上应该有，没有私信发你

网络空间搜索引擎

网络搜索引擎：
互联网搜索引擎是万维网中的特殊站点，专门用来帮助人们查找存储在其他站点上的信息。搜索引擎有能力告诉你文件或文档存储在何处

网络空间

Cyber space

搜索引擎

数字图书馆
google
用图片搜索图片
用音乐搜索音乐
用声音搜索电视剧

网络系统

CDN
CMS
IDS intrusion detection system
办公软件
数据库服务
杀毒软件
文件服务NF

网络设备

手机
平板电脑
交换机
路由器
网络摄像头
私人网盘
打印机
ATM
物联网家电
机器人

工业系统

交通信号灯
企业大屏幕
公园控制系统
加油站
电网
自来水厂
核电站

OSINT

开源网络情报

扫描工具

nmap
zmap
IP库
枚举

标识设备

爬虫------------ url
ip --------------- 域名
开放端口
操作系统
物理地址 ------深圳、北京
MAC地址
设备的类型

全球实时威胁地图

https://www.fireeye.com/cyber-map/threat-map.html

Shodan

世界上最早的网络空间搜索引擎
https://shodan.io

有的功能是需要花钱的
Maps:地图的形式

images:一些令人惊讶的信息截图

Montor:监控

Developer:对于开发者

Filter过滤器：
tomcat country:“CN”
apache city:“Changsha”
server: gws hostname:“google”
server:Hikuision-Webs country:“CN”

CLI

GET STARTED NOW----->LEAR MORE----->Command Line Interface
kali是自带Shodan
使用之前是需要APIkey
shodan init YOUR_API_KEY

alert Manage the network alerts for youraccount# 管理账户的网络提示
convert Convert the given input data file into a… # 转换输入文件
search # 返回查询结果数量
download Download search results and save them in a… # 下载查询结果到文件
honeyscore Check whether the IP is a honeypot or not. # 检查 IP 是否为蜜罐
host View all available information for an IP… # 显示一个 IP 所有可用的详细信息
info Shows general information about your account # 显示账户的一般信息
init Initialize the Shodan command-line #初始化命令行
myip Print your external IP address # 输出用户当前公网IP
parse Extract information out of compressed JSON… # 解析提取压缩的JSON信息，即使用download下载的数据
scan Scan an IP/ netblock using Shodan. # 使用 Shodan 扫描一个IP或者网段
search Search the Shodan database # 查询Shodan 数据库
stats Provide summary information about a search… # 提供搜索结果的概要信息
stream Stream data in real-time. # 实时显示流数据

用法案例

shodan host 172.67.167.88
shodan count apache
shodan count vuln:cve-2019-0708
shodan search --fields ip_str,port,org,
hostnames microsoft iis 6.0
shodan stats port:445 SMB
shodan download --limit -1 test net:172.67.167.88/24

其他的网络空间搜索引擎

Censys

https://censys.io
没有收费
收录了证书

ZoomEye

网络空间资源测绘
Xmap

Fofa

目录扫描

部署的网站有一些敏感文件

2. 配置文件
   xxx.cfg
3. 数据文件
   xxx.sql
   .tar.gz
4. 目录
   /backup
   /conf
   /admin

泄露信息

1. 数据库用户名和密码
2. 服务器的用户名和密码
3. 数据库的文件
4. 网站源码
   …

泄露原因

1. 配置不当的问题
2. 本地文件包含dvwa文件包含

常见的敏感目录和文件

1. robots.txt:对爬虫机器进行限制的文件

2. sitemap.xml

3. 网站的备份文件/数据
   在线压缩：路径、文件名、wwwroot-20210819.zip
   帝国备份王： 1.sql 1.zip

4. 后台登录的目录
   /admin
   /manage

5. 安装包（源码）
   非开源，商用
   1.zip

6. 上传的目录
   文件上传漏洞 webshell
   /upload
   /upload.php

7. mysql的管理界面
   web页面去管理
   MYSQL
   phpadmin-密码爆破-webshell

8. 程序的安装路径
   /install

9. php的探针
   phpinfo
   雅黑探针

10. 文本编辑器
    Ueditor-https://github.com/fex-team/ueditor
    kindeditor
    CKeditor
    文件上传漏洞、命令注入

11. Linux
    /etc/passwd
    /etc/shadow-SHA512
    /etc/sudoers-sudo

12. MacOS
    .DS_Store

13. 编辑器的临时文件
    .swp

14. 目录穿越
    Windows IIS
    Apache
    pikachu靶场
    http://localhost/pikachu/vul/dir/dir_list.php?
    title=jarheads.php
    http://localhost/pikachu/vul/dir/dir_list.php?
    title=…/…/…/…/Windows/win.ini

15. tomcat WEB-INF
    WEB-INF/web.xml : Web应用程序配置文件, 描述了servlet和其他的应用组件配置及命名规则.
    WEB-INF/database.properties : 数据库配置文件
    WEB-INF/classes/ : 一般用来存放Java类文件(.class)
    WEB-INF/lib/ : 用来存放打包好的库(.jar)
    WEB-INF/src/ : 用来放源代码(.asp和.php等)

16. 其他非常规文件
    password.txt
    secret.tx

文件扫描思路

做法

直接在域名后面拼接路径/文件名，如果返回
200，就是存在

扫描方法？

1. 递归 dir xxx dir xxx
2. 字典 dict
3. 暴力破解
   1位
   a-z
   0-9
   2位
   aa
   00
   a0
   9z
4. 爬虫
   robots.txt
   sitemap.xlml
   网页中的其他链接
5. fuzz（模糊测试）
   字典
   /word
   /index.php?word=

文件扫描的字典

1. Kali
   wordlists
2. dirb
   /usr/share/wordlists/dirb/common.txt

工具

1. dirb
2. dirbuster
3. 御剑
4. Burp Suite
   Intruder payload
   www.baidu.com/$ bbs $
5. DirBrute
6. Dirsearch
7. Dirmap
8. wfuzz

注意事项

WAF、IDS
代理
网络空间搜索引擎

防御

权限
删除敏感文件
WAF、IDS

Git信息收集

版本控制系统

【1】代码的恢复、备份
修改仓库难以管理
整个工程直接打包，占用空间过多
【2】 Version Control System
【3】发展阶段

1. 版本管理
   本地VCS
2. 协同开发
   文件冲突？
   自动合并不冲突的内容
   标记冲突的内容
   集中化的VCS
   Centralized Version Control Systems-CVCS
   代表
   SVN
   CVS Concurrent Versions System
3. 去中心化
   分布式CVS
   Distributed Version Control System-DVCS
   代表
   Github、Gitlab、码云
   Git Linus Torwalds BitKeeper

为什么Git会导致信息泄露

把私有仓库/隐私文件提交到了github
部署项目的时候，不小心把 .git 文件一起打包进去，放到web网站的目录下

1. java------------------- .class ---------------war
2. .git有用的内容
   .git/logs/HEAD 存储了git的log信息，可以找到历史的commit项
   .git/index 缓存git add的文件，暂存区
   .git/refs/stash git stash 把代码存入缓存区
   .git/refs/heads/master 记录了master的commit的hash
   .git/objects/pack/.pack

Github搜索技巧

kali in:file 搜索文件中包含kali的代码
kali in:path 搜索路径中包含kali的代码
kali in:path,file 搜索路径、文件中包含kali的代码
shodan language:python 搜索关键字shodan，语言为python的代码
filename:config.php language:php 搜索文件名为config.php，且语言为php
kali topics:>=5 标签数量大于等于5的
kali size:<1000 文件小于1KB的
kali stars:10…50 star大于10小于50的
kali pushed:>2021-08-15 搜索在2021年8月15日之后提交的
kali pushed:2021-07-01…2021-08-01 搜索在此区间
kali created:>=2021-06-01 创建时间
kali pushed:<2021-08-01 -language:java 搜索在2020年8月1日前push代码且排除java语
言

Git信息泄露利用方式

【1】找到.git
目录扫描
robots.txt
搜索引擎搜索 intitle:“Index of /.git”
【2】把.git下载到本地
https://github.com/BugScanTeam/GitHack—python GitHack.py xxx.com/.git/

【3】用git的命令获取内容
git log-------获取提交记录
git reset --hard [log hash]--------恢复到某个版本
git diff-------对比版本差异
【4】工具
https://github.com/gakki429/Git_Extract

ctfhub技能树

Git泄露