什么是开源网络情报（OSINT）及其使用方式
在所有威胁情报子类型中，开源网络情报（OSINT）也许是使用最广泛的情报，这是有道理的。毕竟，它大部分都是免费的，谁能拒绝呢？
不幸的是，就像其他主要的子类型（人类情报，信号情报和地理空间情报，仅举几例）一样，开源网络情报被广泛误解和滥用。
在本文中，福韵数据将介绍开源网络情报的基础知识，包括其使用方式以及可用于收集和分析它的工具和技术。
什么是开源网络情报？
在我们研究开源网络情报的常见来源和应用之前，重要的是要了解它的真正含义。
根据美国公共法，开源网络情报：
- 根据公开可用信息制作
- 及时收集，分析并分发给适当的听众
- 满足特定的情报要求
在此重点关注的重要短语是“公开可用”
术语“开源”专门指可供公众使用的信息。如果需要任何专业技能，工具或技术来访问一条信息，则不能合理地将其视为开源。
至关重要的是，开源信息不仅限于您可以使用主要搜索引擎找到的信息。使用Google可以找到的网页和其他资源无疑构成了开源信息的巨大来源，但它们远非唯一的来源。
首先，使用主要的搜索引擎无法找到互联网的很大一部分（根据Google前首席执行官埃里克·施密特（Eric Schmidt）的说法，超过了99％）。这种所谓的“深层网络”是大量的网站，数据库，文件等，而Google，Bing，Yahoo或其他任何形式的索引（由于多种原因，包括登录页面或收费墙的存在）都无法索引。您会想到的搜索引擎。尽管如此，深层Web的许多内容仍可以被认为是开源的，因为它很容易被公众使用。
此外，还有很多免费的在线信息，可以使用传统搜索引擎以外的其他在线工具找到这些信息。稍后将对此进行详细介绍，但作为一个简单示例，可以使用Shodan和Censys之类的工具来查找IP地址，网络，开放端口，网络摄像头，打印机以及几乎所有连接到Internet的其他东西。
如果可用利用的开源信息是：
- 面向公众发布或广播（例如，新闻媒体内容）
- 可根据要求提供给公众（例如，人口普查数据）
- 通过订阅或购买向公众提供（例如，行业期刊）
- 任何临时观察者都可以看到或听到
- 在公开会议上公开
- 通过访问任何地方或参加任何对公众开放的活动而获得
此时，您可能会想：“伙计，这是很多信息了……”
你是对的，我们正在谈论的是数量惊人的信息，其增长速度远远超过任何人都希望跟上的速度。即使我们将范围缩小到单一信息源（例如Twitter），我们也不得不每天应对数亿个新数据点。
作为一名情报分析师，拥有如此大量的信息既是福也是祸。一方面，您几乎可以访问可能需要的所有内容，但另一方面，您必须能够在无休止的数据洪流中真正找到它。
如何使用开源情报？
既然我们已经了解了开源网络情报的基础知识，我们就可以看看它通常如何使用。
有两种常见的用例：
1.黑客与渗透测试
安全专业人员使用开源网络情报来识别网络中的潜在弱点，以便可以在受到威胁者利用之前对其进行补救。
常见的弱点包括：
- 敏感信息的意外泄漏，例如通过社交媒体
- 开放端口或不安全的互联网连接设备
- 未修补的软件，例如运行旧版常见CMS产品的网站
- 资产泄漏或暴露，例如粘贴在垃圾箱上的专有代码
2.识别外部威胁
正如我们过去多次讨论的那样，互联网是了解组织最紧迫威胁的极好的信息来源。从识别哪些新漏洞被积极利用到拦截即将发生的攻击的威胁参与者，开源网络情报使安全专业人员，可以优先考虑其时间和资源，来应对当前最重要的威胁。
在大多数情况下，这种类型的工作需要情报分析师在采取行动之前识别并关联多个数据点以验证威胁。例如，虽然一条威胁性推文可能不会引起人们的关注，但是如果将同一条推文与已知在特定行业活跃的威胁组联系在一起，则将以不同的角度查看该推文。
关于开源网络情报的最重要的事情之一是，它通常与其他智能子类型结合使用。来自内部遥测，封闭的暗网社区和外部情报共享社区等封闭源的情报通常用于过滤和验证开源网络情报。有各种各样的工具可以帮助分析师执行这些功能，我们将在稍后介绍。
开源网络情报技术
既然我们已经介绍了开源网络情报的使用，那么现在该看看可以用来收集和处理开源信息的一些技术了。
首先，您必须具有清晰的策略和框架来获取和使用开源网络情报。不建议从发现任何有趣或有用的事物的角度来研究开源网络情报，正如我们已经讨论过的那样，通过开源可获得的大量信息只会使您不知所措。
相反，您必须确切地知道您要实现的目标（例如，识别并修复网络中的弱点），并将精力专门用于实现这些目标。
其次，您必须确定一套用于收集和处理开源信息的工具和技术。再一次，可用的信息量太大，以至于手动处理甚至效率不高。
从广义上讲，开源网络情报的收集分为两类：被动收集和主动收集。
被动收集通常涉及使用威胁情报平台（TIP）将各种威胁源组合到一个易于访问的位置。尽管这是从手动情报收集中迈出的重要一步，但信息过载的风险仍然很大。诸如Recorded Future之类的更高级的威胁情报解决方案通过使用人工智能，机器学习和自然语言处理来自动解决根据组织的特定需求确定优先级和取消警报的过程。
主动收集是使用多种技术来搜索特定的见解或信息。对于安全专业人员，通常出于以下两个原因之一来进行这种收集工作：
- 被动收集的警报已突出显示了潜在威胁，需要进一步了解
- 情报收集练习的重点非常具体，例如渗透测试
开源网络情报工具
最后，我们将介绍一些用于收集和处理开源网络情报的最常用工具。
尽管有许多免费和有用的工具可供安全专业人员和威胁参与者使用，但一些最常用（和滥用）的开源网络情报工具是像Google这样的搜索引擎。
正如我们已经解释的那样，安全专业人员面临的最大问题之一是正常的，善意的用户意外地将敏感资产和信息暴露给互联网的规律性。有一系列称为“ Google dork”查询的高级搜索功能，可用于识别其公开的信息和资产。
Google询问器查询基于IT专业人员和黑客每天用来执行其工作的搜索运营商。常见的示例包括“ filetype：”（将搜索结果缩小到特定文件类型）和“ site：”（仅返回来自指定网站或域的结果）。
除了搜索引擎之外，实际上还有数百种工具可用于识别网络弱点或暴露的资产。例如，您可以使用Wappalyzer来识别网站上使用的技术，然后将结果与Sploitus或国家漏洞数据库合并，以确定是否存在任何相关漏洞。更进一步，您可以使用诸如Recorded Future之类的更高级的威胁情报解决方案来确定漏洞是否正在被积极利用，或者是否包含在任何有效的利用工具包中。
当然，这里给出的示例只是使用开源网络情报工具可能实现的一小部分，有大量免费和高级工具可用于查找和分析开源信息，其常用功能包括：
- 元数据搜索
- 代码搜索
- 人与身份调查
- 电话号码研究
- 电子邮件搜索和验证
- 关联社交媒体帐户
- 图像分析
- 地理空间研究与制图
- 无线网络检测和数据包分析