云原生网站威胁扫描系统

云原生网站威胁扫描系统_第1张图片
随着企业上云的业务需求,扫描业务需求和使用场景也发生了变化,网站威胁扫描产品逐步受到云上租户的青睐,特别是云原生的网站威胁扫描系统。网站威胁扫描系统可以广泛用于以下业务场景:

  • 云上业务系统上线或者重要活动保障,需要对业务系统简装修做一次安全体检。
  • 0day漏洞爆发的时候,全面掌握云上业务资产的漏洞情况,有针对性及时修复漏洞。
  • 合规检查过等保的时候,需要提供业务系统漏洞扫描结果。
  • 每年对云上业务系统做渗透测试的时候,需要通过自动化扫描器降低人力的投入。

在设计和开发公有云威胁扫描系统之前,我们对公有云和传统厂商的扫描器进行了竞品分析,我们发现传统扫描器有以下缺点:

1. 扫描速度很慢

  • 传统的以硬件盒子交付的扫描产品,不支持分布式扫描部署。同时,由于业务线承压访问能力,必须要对QPS限速,限制了整体扫描速度。无法通过增加机器资源,提升整体扫描速度。
  • 扫描模块包含Web漏洞扫描、主机漏洞扫描、配置核查扫描等太多的扫描模块,导致扫描速度受限。特别是对海量的企业资产,扫描速度完全无法满足用户要求。
  • 智能动态爬虫以及POC扫描插件优化力度不足。

2. SaaS化服务能力不足

  • 传统厂商0day漏洞更新速度很慢,降低了企业用户的漏洞发现和修复时间。

针对以上缺陷,京东云与AI网络威胁扫描产品功能定位:

  • 支持分布式扫描架构。
  • 扫描模块只包含Web漏扫扫描、端口漏洞扫描。
  • 智能爬虫&精选POC扫描插件。
  • SaaS化更新0day扫描插件。

01 产品架构

产品技术架构图如下:
云原生网站威胁扫描系统_第2张图片
云原生网站威胁扫描系统_第3张图片
1. 网站威胁扫描产品采用分布式、松耦合的设计理念,主要分为API、调度、Worker 3大模块,数据存储采用Redis与MySQL。各个组件的功能如下:

  • API负责对完服务,所有设置、获取类别的请求都通过API接口进行。
  • 调度属于扫描的“核心”,负责worker信息的收集、监控,任务的获取、分发等工作。
  • Worker主要是“干活”的,执行调度派下来的任务,并将通过API存入数据库。
  • Redis主要存储运行中的一些临时信息,比如任务进行中时,需要频繁的读写任务的状态和结果都存在Redis中。任务结束后,会将Redis中的数据内容同步到MySQL中。
  • MySQL存储所以的任务以及结果信息。
  • POC插件以及worker组件支持热更新升级, 升级文件存放在文件中心中。

2.网站威胁扫描产品的Worker部分采用分步骤执行:

  • 每个步骤可以单独使用并进行扫描,步骤之间松耦合。
  • 但也支持部分Worker组件依赖前面的Worker组件的结果。例如端口漏洞扫描可以依赖端口扫描与端口指纹的结果,这样会提升扫描的准确性与扫描速度。

3.产品采用分布式架构,满足一致性、可用性和分区容错性的特点,可以提供高质量、高稳定的扫描服务:

  • 任务分派与执行任务分模块工作,并且会有任务状态监控机制,保证出错的任务会被重新派发。
  • 会有Worker工作资源的监控机制,如果Worker主机状态不可用,调度会将该主机提出可用列表,并不会再向其派发任务。
  • 采用多区域,双、多活部署,防止某区域的主机出问题时,依然可以正常提供服务。
  • 如果当前没有运行任务,或者运行任务较少时,Worker会进入睡眠状态。减少资源无意义的使用率。当有新的任务派发下来后,会酌情唤醒Worker去工作。
  • 下面是产品工作时序图,阐述了worker工作的简化流程:

云原生网站威胁扫描系统_第4张图片

02 技术优势与产品功能亮点

产品功能

集资产自动关联发现、Web漏洞扫描、端口漏洞扫描、弱密码检测四大核心功能,发现网站或服务器在网络中的安全风险,为云上业务提供多维度的安全检测服务,满足合规要求,让网站安全漏洞无所遁形。

产品优势

深度漏洞扫描:支持:OWASP Top10 漏洞检测类型,PoC插件检测,资产指纹扫描关联能力。

全面报告:提供详尽的漏洞扫描报告,包括:系统存在的Web安全漏洞、应用系统安全漏洞,系统存在的弱口令等及修复建议,引导并帮助用户修补漏洞。

高效精准:采用web2.0智能爬虫技术,内部验证机制不断优化,提高检测准确。

分布式扫描架构:基于云原生分布式扫描框架,可以充分利用云平台的技术优势,对系统中的各个模块要尽量解耦,降低他们之间的依赖程度,使得整个系统具有较高的稳定性和扩展性。

入门指南:

  • https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Threat-Overview.md
  • https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Asset-Management.md
  • https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Task-Management.md
  • https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Risk-Management.md

点击【阅读】,了解更多京东云网站威胁扫描相关信息

欢迎点击“京东云”了解更多精彩内容

Alt
云原生网站威胁扫描系统_第5张图片

你可能感兴趣的:(云原生网站威胁扫描系统)