资产发现技术方案

1 开始步入正题
lets go
2 综述
2.1 概述
资产发现(探测)常需要对一定范围内的主机或应用系统指纹识别（对操作系统版本、开放端口、提供的服务、服务版本进行识别进行识别）进行摸排，区别于传统资产发现，该产品具备自动探测发现未知(未管理)资产功能，并对资产进行全生命周期管理的功能，资产类型包括主机、网络设备、安全设备、数据库、中间件、应用组件(含数据,人员)等；具备资产新增和退役管理、属性自动更新等功能；具备资产类型和系统指纹自定义功能，实现全类型覆盖管理。资产发现采用分布式组件化设计，主被动资产发现(主动在于主动进行网络主机探测、端口探测扫描，硬件特性及版本信息检测,被动在于被动探测方法是指采集目标网络的流量,对流量中应用 层 HTTP,FTP,SMT等协议分析,从而实现对网络资产信息的被动探测)方式相结合，主动探测主要用于对未知网络下的资产探测，被动扫描主要用于持续性的监听已知网络下的未发现资产，并通过信息补全和深度扫描等方式完成资产属性的补全，最终实现全量资产的发现与生命周期的管理。
注:目前需求未知，只能根据自己主观判断得出方案、技术、业务等语义及场景，具体业务需求还需产品有深入的认识和研究
2.2 需求卡片
需求编号（可由需求人员填写） 需求类型（可由需求人员填写）
包含“采集时刻 + 采集者”信息 功能需求、非功能需求等
来源（Who）（重要信息，方便追根溯源）
产生需求的用户：最好有该用户的联系方式等信息
用户背景资料：受教育程度、岗位经验，以及其他与本单项需求相关经验
场景（Where、When）（重要信息，用来理解需求发生的场景）
产生该需求的特定的时间、地理、环境等
描述（What）（最重要的信息）
尽量用（主语+谓语+宾语）的语法结构，不要加入主观的修饰语句
原因（Why）（需求人员要保持怀疑的心，很多时候理由是假想出来的）
为什么会有这样的需求，以及采集者的解释
验收标准（How） 需求重要性权重（How much）：
（如何确认这个需求被满足了）

1. 尽量用量化的语言

2. 无法量化的举例解释 满足后（“1：一般”到“5：非常高兴”）
   未实现（“1：略感遗憾”到“5：非常懊恼”）
   需求生命特征（When） 需求关联（Which）

3. 需求的紧急度

4. 时间持续性 1. 人：和此需求关联的任何人

5. 事：和此需求关联的用户业务与其他需求

6. 物：和此需求关联的用户系统、设备；需求关联的其他产品等
   参考材料 竞争者对比
   在需求采集活动中的输入材料，只要引用一下，能找到即可 按照“1分：差”到“10分：好”进行评估：

7. 竞争者对该需求的满足方式

8. 用户、客户对竞争者及公司在该需求上的评价

3 产品背景
近几年，随着企业业务的多样化以及各类支撑平台和信息管理系统增多，网络规模不断扩大，网络设备，主机，安全设备等越来越复杂，信息安全管理部门同业务部门之间协调难度也日益凸显，传统的探针为支撑的网络探测方法已经难以满足现实情境的需求，一些基于网络扫描、网络流量分析、搜索引擎等技术的新型网络资产发现技术得到了重视。
有时候经常需要对一定范围内的主机或应用系统进行摸排。传统基于人工统计,基于客户端实现困难非常大且效率非常低。采用新型的技术实现解决了用户的痛点问题,减轻了运维人员的时间成本,让其更注重业务上的安全。当然资产发现也可帮助安服人员实时了解暴露外网的高危端口，避免由高危端口开放而不知情导致入侵等问题。

3.1 用户价值
 满足规范要求，对网络接入资产进行扫描
 实时掌握资产开发,降低系统被内、外部攻击风险，提升安全性
 解决传统类探测技术从繁琐的人工统 计发展到基于客户端的自动统计提升效率
 资产全生命周期的流程管理
3.2 自身价值
 新型快速网络资产探测技术
 熟知暴露的高危端口,降低系统安全风险，提升安全性
 相比传统扫描技术提升资产发现能力和效率
 满足规范要求，实现快速发现，完善指纹信息，常态化管理

4 技术选择
4.1 原始场景
目前市面上多数资产发现的网络会产生噪声影响，效率低，并且可能会影响业务的流转。且业务的多样化以及各类支撑平台和信息管理系统增多，网络规模不断扩大，网络设备，主机，安全设备等越来越复杂比较困难，传统基于人工统计,基于客户端实现困难。
4.2 用户应用场景
资产发现通过对网络资产发现(探测),了解目标网络内主机的操作系统类型、开放端口及其后 所运行的应用程序类型和版本信息.掌握目标网络的安全状况自动发现接入网络的资产,有时候经常需要对一定范围内的主机或应用系统进行摸排。新型的网络探测技术对目标网络运行的影响小，效率高。
4.3 产品代价
需要产品经理定期维护产品文档，收集需求，进行需求设计，解决项目上产生的问题。研发人员按照需求设计进行产品设计，实现功能,调试代码等。
4.4 技术分析选择
前期团队做过相应的技术调研，实现方式，文档整理等归纳梳理了各自的特点与缺陷,分析了新型网络资产探测技术所涉及的高速网络扫描、网络流量分析和网络资产指纹识别技术，优势所在，受影响的范围做出分析得出最优的解决方案和技术实现。
网络扫描是信息收集的重要手段。通过扫描可以发现存活主机、开放端口，进而发现其运行的服务、操作系统等信息，为下一步的工作奠定基础。扫描工具的选取尤为重要。目前，有不少扫描工具可供选择，且各有特色。其中，Nmap以其强大而丰富的功能被绝大部分人所使用。

4.4.1 传统技术方案分析
传统网络资产探测 人工统计是最原始的资产探测方法 基于客户端的自动统计方法需要在每台设备上安装客户端,入侵性最强、成本较高，效率低下。可能会影响到业务系统的业务流转。
4.4.2 SNMP协议
广为执行的网络协议，它使用嵌入到网络设施中的代理软件来收集网络通信信息和有关网络设备的统计数据。代理不断地收集统计数据，如所收到的字节数等，并把这些数据记录到一个管理信息库(MIB)中，网管员通过向代理的MIB发出查询信号就可以得到这些信息
缺点:每个目标主机需开启SNMP协议,繁琐的过程且导致安全问题层出不穷
4.4.3 MassCan和Zmap
端口扫描大家都不陌生，为了发现主机服务层次的安全风险，通常第一件事就是扫描端口确定服务开放状况，一个端口就代表着一个通信渠道，通常我们使用的端口扫描工具有Nmap、Masscan、Zmap等，各有优劣性，Nmap指纹识别较为完善、Masscan较为快速、Zmap较为中庸，为了满足全端口快速扫描又不会造成漏报。ZMap Masscan基于异步无状态扫描工具对扫描机制进行了改进,但通常只能进行端口扫描和主机发现,对操作系统、服务及应用的探测则无能为力
4.4.4 Masscan+Nmap
Masscan是大网段全端口扫描神器，就扫描速度来说应该是现有端口扫描器中最快的Nmap是基于响应协议栈指纹的网络资产探测工具的典型代表,我的思路是用Masscan进行第一遍的快速扫描，然后在进行Nmap(系统指纹信息是最全的)确认服务，实现快速全端口扫描，至于漏报则是建立在有一定结果的基础上进行的。
4.4.5 总结
采用新型的网络资产主动发现(探测) Masscan+Nmap，注意点：Masscan不能识别UDP扫描UDP服务有限，需用nmap增加UDP常用端口扫描。全端口扫描的速度得到了大幅提升外网端口的开放情况也了解的比较，借助Nmap丰富的服务指纹库来提高我们监控数据的准确性。Masscan和Nmap等结合的方式来实现高效准确的新型网络资产发现提供支撑。当然被动发现是基于网络流量分析的资产发现可根据不同用户需求选择对应的技术实现，也可关注基于搜索引擎的资产发现(适用场景不同)
4.5 业务流程图
如果产品功能复杂， 可省略

5 方案设计
5.1功能描述
资产发现是通过新增资产发现任务，在任务列表可以对列表任务进行启动该任务进行支持多个ip段的自定义的端口下资产进行扫描并且入库，列表界面可以对资产扫描结果查看。Ip段管理是对ip段的新增和修改便于在新建资产发现任务的时候选择ip段进行扫描，待登记资产是对资产发现的所有资产进行一个汇总其中包括导入漏洞的资产进行资产发现通过管理人员去进行维护是硬件资产还是软件资产，指定区域并且到资产运维平台进行统一的资产管理。
5.2总体设计
包括资产发现任务，IP段设置，待登记资产。资产发现任务有新增资产发现任务，执行任务，修改，删除，查看结果，查看任务结果状态，导出等功能。IP段设置包括新增ip段供新建资产发现任务使用，待登记资产是未确定区域的资产。

5.4资产发现任务
5.1.1.1 功能描述
资产发现任务的新建，手动；录入任务名称，支持任务类型三个：（1）周期任务，（2）定时任务，（3）立即执行并且支持Cron表达式。支持扫描端口类型三个：全端口，自定义端口，常用端口，手动录入ip段。支持查看任务结果

5.1.1.2 总体设计
5.1.1.3 新增资产发现任务
在资产发现任务列表提供新增资产发现任务
5.1.1.4 删除资产发现任务
资产发现任务列表提供删除资产发现任务
5.1.1.5 修改资产发现任务
资产发现任务列表提供删除资产发现任务
5.5 IP段管理
5.1.1.6 功能描述
提供IP段的新增，修改删除，查看详情。新增IP网段：手动录入网段名称，网段地址，网段类型。在IP段列表对IP进行新增，修改，删除。查看详情。

5.1.1.7 总体设计
IP段配置，主要功能有新增，修改，删除，查看详情功能。

5.1.1.8 新增IP网段
提供手动录入网段名称，网段地址，网段类型。
5.1.1.9 删除网段
提供IP段列表删除
5.1.1.10 修改IP网段
提供修改IP网段
5.6待登记资产
5.1.1.11 功能描述
待登记资产是对没有进行划分的硬件资产和软件资产的资产作为资产发现。待登记资产提供搜索功能，资产的删除，导出，和修改以及查看详情。其中修改资产可以设置待登记资产里面的资产为硬件资产或者软件资产进行管理。
5.1.1.12 总体设计
待登记资产的总体设计，包括几个功能模块，待登记资产的查询，修改，删除和查看详情，修改可以编辑待登记为软件资产或者硬件资产。
 
5.1.1.13 待登记资产流程

5.1.1.14 待登记资产修改
待登记修改设置待登记资产为硬件资产或者软件资产，提供手动录入，资产类型，所属的区域，以及其他指纹信息，主机名，端口。

5.1.1.15 待登记资产删除
提供对待登记资产列表的删除

6 方案特点
资产全生命周期的流程管理
强大的资产主被动发现能力(被动发现是基于网络流量分析的资产发现)
持续性的流量识别和分析能力(如果做网络流量分析的资产发现可纳入)
深度扫描的暴露系统指纹信息能力
资产信息信息补全
分布式部署不干扰用户网络和业务系统的正常运行

7 非功能说明
从网络资产管理的角度看,网络资产探测能够为统一软硬件版本、更新升级软件和设备等工作提供信息基础。通过网络资产探测可以发现旧版本的软件,根据最新的威胁情报准确地启动响应措施,避免其存在的漏洞带来威胁。还可以发现非法资产,网络资产探测不仅为网络安全监控、威胁态势感知提供了系统认知基础。
8 附录
8.1 词汇表（举例）
文档使用的生僻术语、引用的文档等信息进行解释说明。
词语 解释
资产 面向设备的集合
系统 业务支撑系统中的一种资产类型，包括主机、数据库、网络设备、安全设备、中间件。
协议 所有设备之间通信规则的集合
端口 协议集成到操作系统的内核中，在操作系统中引入了一种新的输入/输出接口技术
扫描工具 通过调用平台部署端上的Nmap+Masscan和工具，通过协议代理服务器完成运维，待发现主机无需打开Snmp协议。
指纹识别 对操作系统版本、开放端口、提供的服务、服务版本进行识别进行识别