【Rust项目实战】sensleak，扫描 Git 仓库中的敏感信息

github仓库：https://github.com/open-rust-initiative/sensleak-rs
Rust是一门神奇的编程语言，它提供了内存安全、零成本抽象、并发安全等特性，使开发人员能够编写高性能、高抽象和安全的代码。
这是我用rust开发的第一个工作，希望大家多多指教多多star，多多参与。

介绍

sensleak - 扫描 Git 仓库中的敏感信息
sensleak 是一个基于 Rust 的工具，用于扫描 Git 仓库中的敏感数据，特别是针对嵌入在代码中的密码、API 密钥、证书和私钥等敏感信息。

背景

许多开发人员在代码中存储了诸如密钥和证书等敏感信息，这会带来安全风险。因此，有商业服务如 GitGuardian 用于扫描 GitHub 和 GitLab，以及开源组件如 truffleHog 和 Gitleaks 提供类似功能的支持。

功能

• 增强安全性。使用 Rust 开发工具，以确保提高安全性和内存安全性。 命令行界面。创建用户友好的命令行工具，生成全面的测试报告。
• 带访问控制的 REST API。将工具作为服务运行，并通过 REST API 提供访问控制。利用 Swagger 生成 API 文档。
• 并发扫描。利用线程池控制敏感信息的并发扫描，从而提高整体效率。

技术栈

• 开发语言：Rust
• 命令行交互：clap.rs
• Git 仓库操作：git2
• Web 框架：axum
• 自动生成的 OpenAPI
• 文档：utoipa

用法

命令行界面用法
在命令行界面 (CLI) 中运行工具，进行敏感数据检查。

cargo run --bin scan -- -help

使用说明：scan.exe [选项] --repo <REPO>

选项：
--repo <REPO> 目标仓库
--config <CONFIG> 配置文件路径 [默认值：gitleaks.toml]
--threads <THREADS> sensleak 启动的最大线程数 [默认值：10]
--chunk <BATCH_SIZE> 每个批次处理的 git 文件数量 [默认值：10]
--report <REPORT> 写入泄漏信息的 JSON 文件路径
--report-format <REPORT_FORMAT> 报告格式，可选项为 json、csv、sarif [默认值：json]
-v, --verbose 显示扫描过程的详细输出
--pretty 如果存在泄漏信息，则对 JSON 进行格式化打印
--commit <COMMIT> 要扫描的提交的 SHA
--commits <COMMITS> 以逗号分隔的要扫描的提交列表
--commits-file <COMMITS_FILE> 包含要扫描的提交列表的每行一个提交的文件
--commit-since <COMMIT_SINCE> 扫描比特定日期更新的提交。示例格式：'2006-01-02' 或 '2023-01-02T15:04:05-0700'
--commit-until <COMMIT_UNTIL> 扫描比特定日期更旧的提交。示例格式：'2006-01-02' 或 '2006-10-02T15:04:05-0700'
--commit-from <COMMIT_FROM> 从指定提交开始扫描
--commit-to <COMMIT_TO> 扫描直到指定提交为止
--branch <BRANCH> 要扫描的分支
--uncommitted 对未提交的代码运行 sensleak
--user <USER> 设置要扫描的用户 [默认值： ]
--repo-config 从目标仓库加载配置。配置文件必须是 ".gitleaks.toml" 或 "gitleaks.toml"
--debug 记录调试消息
--disk <DISK> 克隆仓库到磁盘
-h, --help 打印帮助信息（使用 '--help' 获取更多信息）
-V, --version 打印版本信息

运行 'cargo run --bin api' 获取 REST API。
仓库：https://github.com/open-rust-initiative/sensleak-rs

$ cargo run --bin scan -- --repo="D:/Workplace/Java/project/ExpiryReminderAssistant" -v --pretty

[INFO][2023-06-05 09:59:59] Clone repo ...
[
    Leak {
        line: "        String secret = \"1708b0314f18f420d3fe8128652af43c\"; //自己小程序的SECRET",
        line_number: 67,
        offender: "secret = \"1708b0314f18f420d3fe8128652af43c\"",
        commit: "410eb5a84408d3e63edb4d0975e5516e56f6ea6a",
        repo: "ExpiryReminderAssistant",
        rule: "Generic API Key",
        commit_message: "submit code\n",
        author: "sonichen",
        email: "[email protected]",
        file: "/backend/src/main/java/com/cyj/controller/login/WXLoginController.java",
        date: "2023-05-31 18:09:42 -08:00",
    },
   ....
    Leak {
        line: "  secret: \"c6e1180dda3eaca49f3d7ed912718e4d\"   #小程序密钥",
        line_number: 36,
        offender: "secret: \"c6e1180dda3eaca49f3d7ed912718e4d\"",
        commit: "410eb5a84408d3e63edb4d0975e5516e56f6ea6a",
        repo: "ExpiryReminderAssistant",
        rule: "Generic API Key",
        commit_message: "submit code\n",
        author: "sonichen",
        email: "[email protected]",
        file: "/backend/target/classes/application.yaml",
        date: "2023-05-31 18:09:42 -08:00",
    },
]
[WARN][2023-06-05 10:00:02]7 leaks detected. 1 commits scanned in 1.2538834s

API 用法
运行以下命令启动 REST API：

cargo run --bin api

API 文档位于 http://localhost:7000/swagger-ui/#

实现细节

整体的功能设计是模仿gitleaks（https://github.com/gitleaks/gitleaks）。
本项目主要是应用gitleaks的正则表达式规则（https://github.com/gitleaks/gitleaks/blob/master/config/gitleaks.toml），对文本内容进行扫描。

首先，通过git2 library获取到git仓库的文件内容，过了白名单文件allowlist后，再应用gitleaks的正则表达式规则对文本进行扫描，如果文本中含有rule.keyword关键词，就启动一个线程对文本进行正则表达式匹配。最后的结果支持在控制台直接输出或者以多种格式保存到本地。

其中，应用了线程池的知识来提高开发效率：

1. 优化扫描单个文件的逻辑，当遇到一个keyword的时候，就启动一个线程用这个rule的正则表达式规则对内容进行扫描。遇到多个keyword则启动多个线程处理，具体线程数量由用户输入决定。
2. 同时对多个文件内容进行扫描，具体线程数量由用户输入决定。

关于API和API文档

1. Axum提供API
2. 用utoipa集成swagger提供API文档

总结

Sensleak 是一个强大的基于 Rust 的工具，用于扫描 Git 仓库中的敏感数据。
它提供了增强的安全性、用户友好的界面和 REST API 功能。
利用并发扫描和批处理处理，优化了扫描过程。
Sensleak 使用了 Rust、clap.rs、git2、axum 和 utoipa 技术。

希望大家多多支持，多多star，参与进来一直开发。
源代码：https://github.com/open-rust-initiative/sensleak-rs