大数据安全分析——分析师篇

这是大数据安全分析的最后一篇文章。解决方案总是要涉及到产品技术、流程和人三个方面，其中人的因素最为重要：

• 攻防最终是人与人之间的对抗；
• 再好的想法也需要一个团队，开发成为产品落地；

所以作为最后一篇一定要说有关人的问题。

从安全分析上看，大多数组织缺乏相应的开发能力，他们需要采购厂商的成熟产品，招聘安全分析师，建立自己的安全运营中心。有一些可能采用服务外包形式，但由于数据收集、分析过程中越来越需要组织内部的信息，安全要求比较高的组织会更慎重考虑这种选择及具体操作方式。极少数具备一定规模的组织，其关注的安全问题有一定特殊性，可能会考虑自行开发，这种方式在互联网和金融领域比较常见。因此就涉及了两种角色，分别以安全运营和平台开发为主要任务。相较于安全分析师的称呼，后者更合适作为一个开发团队讨论。下面我们就来谈谈这两者。

一、安全分析师

2013－2014年是国内安全行业风云变换的起始，看似格局已定的网络安全行业猛然发现：面对日趋严重的定向攻击以及APT，传统的老几样产品似乎失去了作用，动荡之时思人才，但暮然回首却发现近二十年的发展，在攻防领域成长起来的可用之才却少之又少，加之互联网企业的大力争夺，大家一时间均在感叹人才难得。
很多人都会同意的看法，在整个短缺的人才中，安全分析师是首当其冲的。安全分析是要解读报警、针对相关数据分析和调查，并确定事件是否需要进一步升级，分析师还可能参与事件响应过程或者其它任务（如：主机取证或者恶意软件分析等）。一个简单的事实是，组织的网络安全性取决于安全分析师是否能有效的做好自己的工作。安全分析师的工作如此重要，而需要他们的不仅是安全厂商，合理的情况是只要组织需要安全建设运营，就需要他们，可以想见需求数量之多。而实际上现今这方面人才又有多少呢？安全分析师应该是一种不错的职业选择！

1.1 所需的技能

如何成为一个安全分析师，就是需要回答这个问题的时候。由于自身并不是一个专业的安全分析人员，所以这里只能整理业内专家的建议［1］，供有意愿的人参考：
分析师的技能可以分为基础技能和专业技能两类，基础技能是所有分析师都应该拥有的，而专业技能方面，理想情况下应该掌握2-3个领域。事实上在FireEye的有关团队中要求至少一个。

• 基础技能
  1. 安全理念：威胁为中心的安全、NSM（网络安全监控）和NSM周期；
  2. TCP/IP协议；
  3. 通用应用协议；
  4. 包分析；
  5. Windows体系结构；
  6. Linux体系结构
  7. 基本数据解析（BASH、grep、SED、AWK等）
  8. IDS使用
  9. IOC和IDS签名调优
  10. 开源情报收集
  11. 基本的分析诊断方法
  12. 基本的恶意软件分析
• 专业技能
  1. 进攻战术（Red Team）：集中在渗透测试和安全评估。此类演练可以用来识别其他分析师的弱点。并且具备这方面优势的分析师可以更好的识别某些攻击者的活动；
  2. 防守战术（Blue Team）：精通检测和分析的大师。涉及构思新的工具和分析方法，及时了解网络防御相关的新的工具和研究，并评估这些工具为组织使用。具体如：对网络通信协议更详尽的了解、IDS机制与运维，IDS签名调整以及基于统计的检测。
  3. 编程能力：精通编程就能够开发定制的检测和分析解决方案。他们应该成为精通解释性语言（如Python或者Perl）、网络语言（PHP或Java），最终可能涉及编译语言（如C）。
  4. 系统管理：系统管理本身是一个更通用的技能，专注于此，可以更好的参与收集数据的过程。以深入了解Windows和Linux平台为基础，更进一步深入，可以更好的理解和收集日志。
  5. 恶意软件分析：分析过程经常会存在已知或可疑恶意软件样本的收集，一般的分析师可以利用沙箱做IOCs提取，但如果遇到有针对性的恶意软件，则一个在恶意软件分析上有较高水准的人就非常有价值。
  6. 基于主机的取证：从已被攻陷的主机进行取证分析获得情报，情报可以用来进一步优化组织的数据收集过程，同时也可用于评估和实现新的基于主机的检测机制，并生成IOCs。有用的技能包括硬盘驱动器和文件系统取证、内存取证和案发过程回溯等。

1.2 分析师等级

当我第一次读到上面的内容时，心里不由感叹，要成为一个分析师太不容易了！其实并非如此，如果能够达到以上标准，那是需要很长的时间的，分析师需要一点点成长起来，现实中分析师是分层级的，你可以先成为一个低级别的分析师，然后逐步积累带到更高。在美国惯例把分析师划为3个等级：

• L1级分析师:拥有前面列出的基本技能，但还没有选择特定的专业技能。大多数组织内，大多数的分析师都属于L1分类中。
• L2级分析师:拥有扎实的基本技能，通常情况下至少有一种专业技能。L2往往充当L1的导师；
• L3级分析师：最高级分析师，擅长所有基本技能和至少一种专业技能。
  三级分析师有各自的分工，在工作中相互配合。就如下图Splunk［2］给出的建议：

安全分析师分工.png

在接触上面相关材料的时候，不由的对SANS组织在美国的安全分析师培养上发挥的作用感到震撼，针对以上提到的分析师技能，他们都有专门的培训课程［3］（如：SEC401、SEC501、SEC503、SEC504、SEC561、FOR610等），并且这些课程提供了被业界认可的专业性和美誉度，在我跟踪的几个重要分析师博客中，可以发现他们对SANS的尊重及对其课程的重视，很多有影响的分析师会在那里亲自授课。真心期盼我们国内的相关培训也能尽快的迎头赶上。

二、平台开发团队

大数据安全分析平台相关的产品无疑是当前网络安全行业的热点，国际、国内进入的厂商很多。在实际工作中，大家会发现其对跨领域专业要求非常广泛，涉及到：

• 计算机编程
• 大数据系统架构
• 机器学习算法
• 可视化
• 数学及统计学
• 安全分析领域知识
  这么广泛的领域，没有人能够做到面面俱到，因此很多时候在建立团队时要求“通才”或者“全栈工程师”是不现实的，组建一个团队，让不同的领域专家通力合作更为可行。这种情况下团队的交流沟通就至为重要了，如何让团队更好的沟通合作是成功的基本条件。

关于团队在统计模型方面的能力，需要着重提一下。我们先看一下Drew Conway总结，被广泛认同的数据科学维恩图［4］（其中的Hacking Skills指的的计算机领域技能）：

The Data Science Venn Diagram.png

请特别注意这里面的Danger Zone，他这样论述：

Finally, a word on the hacking skills plus substantive expertise danger zone. This is where I place people who, "know enough to be dangerous," and is the most problematic area of the diagram. In this area people who are perfectly capable of extracting and structuring data, likely related to a field they know quite a bit about, and probably even know enough R to run a linear regression and report the coefficients; but they lack any understanding of what those coefficients mean. It is from this part of the diagram that the phrase "lies, damned lies, and statistics" emanates, because either through ignorance or malice this overlap of skills gives people the ability to create what appears to be a legitimate analysis without any understanding of how they got there or what they have created. Fortunately, it requires near willful ignorance to acquire hacking skills and substantive expertise without also learning some math and statistics along the way. As such, the danger zone is sparsely populated, however, it does not take many to produce a lot of damage.

《大数据时代：生活、工作与思维的大变革》使大数据的概念成为公众话题，但相关性到底是大数据的优势或者不足，也许我们需要收集更多的信息，有自己独立的思考。

三、总结

大数据安全分析整个四篇文章就全部结束了，写作过程也是一个总结提高的过程，在这个过程中个人有很多收获，同时也希望能够给花时间阅读这些文字的同行一些收获。愿我们能够共同努力，早日让大数据安全分析在国内结出累累硕果。
最后推广一下我的[主页]（[http://www.jianshu.com/users/8e057f1f9a4b/latest_articles]） 。可以在那儿方便的看到这个系列的全部文章，包括大数据分析的理念、数据收集、分析、可视化等内容。

参考资料：

1. Chris Sanders 等：《Applied Network Security Monitoring ：Collection, Detection, and Analysis》；
2. Splunk 白皮书：《Building a SOC with Splunk 》
3. SANS 白皮书：《Building a World-Class Security Operations Center: A Roadmap 》
4. [http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram]