开源情报 (OSINT)

开源情报 (OSINT)是出于情报目的收集和分析公开数据的行为。

什么是开源数据？

开源数据是公众容易获得或可根据要求提供的任何信息。

OSINT 来源可包括：

▶ 报纸杂志文章以及媒体报道
▶ 学术论文和发表的研究
▶ 书籍和其他参考资料
▶ 社交媒体活动
▶ 人口普查数据
▶ 电话簿
▶ 法庭文件
▶ 逮捕记录
▶ 公开交易数据
▶ 公众调查
▶ 位置上下文数据
▶ 违反或泄露披露信息
▶ 公开共享的网络攻击指标，例如 IP 地址、域或文件哈希值
▶ 证书或域名注册数据
▶ 应用程序或系统漏洞数据

虽然大多数开源数据是通过开放互联网访问的，并且可以在谷歌等搜索引擎的帮助下建立索引，但也可以通过不被搜索引擎索引的更封闭的论坛访问。

尽管大多数深层网络内容对于普通用户来说是无法访问的，因为它位于付费墙后面或需要登录才能访问，但它仍然被认为是公共领域的一部分。

还需要注意的是，每个开源信息通常都可以利用大量二手数据。例如，社交媒体帐户可以挖掘个人信息，例如用户的姓名、出生日期、家庭成员和居住地。

然而，来自特定帖子的文件元数据还可以揭示其他信息，例如帖子的发布地点、用于创建文件的设备以及文件的作者。

如何使用开源数据？

在 OSINT 的背景下，情报是指提取和分析公共数据以获得见解，然后用于改进决策并为活动提供信息。传统上，开源情报是国家安全和执法部门使用的一种技术。然而，近年来它也已成为网络安全领域的一项基本能力。

开源情报和网络安全

在网络安全领域，情报研究人员和分析师利用开源数据更好地了解威胁形势，并帮助组织和个人免受 IT 环境中已知风险的影响。

网络安全中的开源情报用例

在网络安全领域，OSINT 有两种常见用例：

1. 衡量您自己组织的风险
2. 了解行动者、策略和目标

衡量你自己的风险

渗透测试（又称笔测试、安全验证、威胁表面评估或道德黑客）是对现实世界网络攻击的模拟，旨在测试组织的网络安全能力并暴露漏洞。渗透测试的目的是识别 IT 环境中的弱点和漏洞，并在威胁行为者发现和利用它们之前对其进行修复。

虽然渗透测试有许多不同类型，但开源情报环境中最常见的两种是：

外部测试：评估您的面向互联网的系统，以确定是否存在可利用的漏洞，这些漏洞会暴露数据或未经授权访问外部世界。测试包括系统识别、枚举、漏洞发现和利用。

威胁面评估：也称为攻击面分析，旨在确定系统的哪些部分需要检查和测试安全漏洞。攻击面分析的目的是了解应用程序中的风险区域，使开发人员和安全专家了解应用程序的哪些部分容易受到攻击，找到最小化攻击面的方法，并注意攻击面的时间和方式变化以及从风险角度来看这意味着什么。

Web 应用程序渗透测试：使用三阶段过程评估您的 Web 应用程序： 侦察，安全团队发现操作系统、服务和正在使用的资源等信息；发现，其中安全分析师尝试识别漏洞，例如弱凭据、开放端口或未修补的软件；和利用，其中团队利用发现的漏洞来获得对敏感数据的未经授权的访问。

了解行动者、策略和目标

开源数据是网络安全团队利用的多种数据之一，作为全面威胁情报功能的一部分，以了解攻击背后的参与者

威胁情报是分析收集的数据以了解威胁行为者的动机、目标和攻击行为的过程。威胁情报包括使用开源数据，并将其与封闭数据源（例如内部遥测、从暗网收集的数据以及其他外部来源）相结合，以收集更完整的威胁态势图。

一般来说，开源数据通常缺乏对安全团队有意义的上下文。例如，公共留言板上的帖子本身可能无法为网络安全团队提供任何有用的信息。然而，通过在更广泛的收集和威胁情报框架的背景下查看此活动，可以将该活动归因于已知的对手团体，从而为他们的档案添加额外的深度和色彩，可用于保护组织免受此威胁。特定的威胁行为者。

OSINT：一条双向路

开源信息可供所有人使用。这意味着它也可以被威胁行为者和对手团体用于邪恶目的，就像网络安全专业人员或情报界可以轻松访问它一样。

网络犯罪分子利用 OSINT 的最常见原因之一是出于社会工程目的。他们通常会通过社交媒体资料或其他在线活动收集潜在受害者的个人信息，以创建个人资料，然后用于定制网络钓鱼攻击。OSINT 还可以用于规避检测，例如通过审查公开披露的情报，威胁行为者知道组织可以在哪里设置防线并寻找替代攻击方法。

黑客使用的另一种常见技术是Google hacking，有时也称为 Google dorking。谷歌黑客攻击涉及使用谷歌的搜索引擎和应用程序运行高度特定的命令搜索，以识别系统漏洞或敏感信息。例如，网络犯罪分子可以对包含短语“敏感但非机密信息”的文档执行文件搜索。他们可以利用工具来扫描网站代码中的任何错误配置或安全漏洞。然后，这些漏洞可能会被用作未来勒索软件或恶意软件攻击的入口点。

众所周知，攻击者还通过建立包含本质上不可靠的开源数据的虚假网站网络来影响谷歌搜索。攻击者将这些错误信息散播出去，以误导网络爬虫和读者，或诱骗他们传播恶意软件。

开源情报技术

也许与 OSINT 相关的最大挑战是管理数量惊人的公共数据，此类数据每天都在增长。由于人类不可能管理如此多的信息，因此组织必须自动化数据收集和分析，并利用绘图工具来帮助更清晰地可视化和连接数据点。

借助机器学习和人工智能，开源情报工具可以帮助开源情报从业者收集和存储大量数据。这些工具还可以找到不同信息之间的重要链接和模式。

此外，组织必须制定明确的基础策略来定义他们想要收集的数据源。这将有助于避免价值有限或可靠性可疑的信息压垮系统。为此，组织必须明确定义与开源情报相关的目标和目的。

OSINT 收集技术

从广义上讲，开源情报的收集分为两类：被动收集和主动收集。

被动收集将所有可用数据合并到一个易于访问的位置。在机器学习 (ML) 和人工智能 (AI) 的帮助下，威胁情报平台可以协助管理这些数据并确定其优先级，并根据组织定义的规则忽略一些数据点。
主动收集使用各种调查技术来识别特定信息。主动数据收集可临时用于补充被动数据工具识别的网络威胁概况或以其他方式支持特定调查。众所周知的 OSINT 收集工具包括域或证书注册查找，以识别某些域的所有者。用于扫描应用程序的公共恶意软件沙箱是 OSINT 收集的另一个示例。

开源情报框架

虽然网络安全专业人员可以利用大量公开信息，但开源情报数据的庞大数量（分散在许多不同的来源）可能使安全团队难以提取关键数据点。此外，通过开源情报活动收集的高价值相关信息随后与网络安全工具和系统集成也很重要。

OSINT框架是一种集成数据、流程、方法、工具和技术的方法论，可帮助安全团队快速准确地识别有关对手或其行为的信息。

OSINT 框架可用于：

1. 建立已知威胁的数字足迹

2. 收集有关对手的活动、兴趣、技术、动机和习惯的所有可用情报

3. 按来源、工具、方法或目标对数据进行分类

4. 通过系统建议确定增强现有安全态势的机会

开源情报的问题

情报界、国家安全团队和执法部门经常利用开源情报来保护组织和社会免受各种威胁。

然而，如上所述，网络犯罪分子和其他威胁行为者也可以轻松地出于邪恶原因利用开源情报。此外，开源情报近年来引发了关于如何安全、负责任地使用公共领域内的信息的争论。一些最普遍的问题包括：

合法性

公开信息的访问、分析和分发是完全合法的。请记住，攻击者可以利用它通过向某些社区传播误导性或恶意数据来支持或推进非法活动。黑客活动分子尤其以公开分发数据来影响公众舆论而闻名。

道德

虽然网上可以获取大量信息，但个人和公司必须以合乎道德的方式使用这些信息。使用开源情报时，从业者必须确保其出于合法目的，并且信息不会被用来剥削、骚扰、排斥或伤害他人。

隐私

公共领域提供了大量有关私人的信息，数量惊人。通过将社交媒体资料、在线活动、公共记录和其他来源的信息拼凑在一起，可以详细了解一个人的习惯、兴趣和行为。

虽然有关个人消费者的大部分可用数据都是由消费者自己共享的，但他们常常在没有完全理解此类活动的影响的情况下共享这些数据。

关于当消费者使用他们的服务、访问他们的商店或在线互动时，品牌和公司应该能够收集和存储哪些信息以及他们将来如何使用这些信息的争论非常激烈。