OpenSOC------大数据采集／存储／分析／展现之利器

阅读更多

OpenSOC是思科用于安全领域的一个开源框架，或者可以说就是SOC（安全运营中心）的开源框架。其组件包含了：

引用

!  Telemetry Capture Layer:Apache Flume
!  Data Bus:Apache Kafka
!  Stream Processor: Apache Storm
!  Real-Time Index and Search: Elastic Search
!  Long-Term Data Store:Apache Hive
!  Long-Term Packet Store: Apache Hbase
!  Visualization Platform:Kibana

  

我觉得无论什么系统，都可以从上面这几个组件演化，或裁剪，或扩展。
Flume采集数据，数据源可以是文本，是syslog，是http请求，相当灵活。
Kafka这个角色，就是早期系统里的消息队列，现在叫数据总线，功能也是杠杠的。
storm里面的spout和bolt简直也是强大无比，OpenSOC里给出了一般化的数据处理流程，例如数据解析，格式化，过滤，增强（就是补充信息），业务处理，在框架之上可以灵活的加入任何业务。
Elastic Search也是很好的检索工具。
Kibana这个web展现工具不是太习惯。
这个框架融合了大部分大数据工具，是学习和工作的必备利器。