运维工程师 能力要求

一 、运维工程师发展路径

1、按领域来划分
1）、基础设施运维：IDC/网络运维、服务器/存储设备运维
2）、系统运维：系统中间件运维、云计算平台运维
3）、数据运维：数据库运维、大数据技术平台运维
4）、应用运维：应用软件系统
5）、云平台运维：公有云平台运维
6）、容器运维：基于容器服务的运维

2、按技术切面来分
1）、安全运维
2）、性能运维
3）、数据运维
4）、集成运维
3、按流程来划分
1）、构建/持续集成、发布
2）、安装部署、升级、迁移、合并、扩展
3）、配置、初始化、配置变更
4）、备份、传输、恢复
5）、日志、监控、预警
6）、诊断排查、优化

二 、系统运维工程师的技能要求

• 系统运维工程师 对基础要求比较强。对开源软件的，做的都是系统的基础的运维，（系统安装，基础服务 监控 脚本 虚拟化）

三 、web运维技能要求

• web运维是运维岗位最多的，劳资干的也是web运维
• web运维也是 要求掌握知识比较多的一个工种

四 、大数据运维工程师

• 这个大数据运维，是17年大数据产业兴起而伴随的一个工种
• 大数据运维，一般工资比较高，但是能力也需要高，一般也是开发公司转行过来
• 大数据运维工程师，对代码和逻辑还是比较强的一个岗位
  

五、容器运维工程师

• 容器可以说一次革命性的改变
• docker 是近些年最火的技能
  

七、日志

• 日志可以说是一个运维工程师最恨最爱的东西
• 对数据的维护和管理只管重要，特别是日志数据，对运维来说，通过日志可以比较准确全面地知道系统或是设备的运行情况，可以返查问题产生的原因，还原问题发生的整个过程。通过日志也可以提前预测系统可能要发生的问题或是故障，如系统安全日志，如果网络攻 击会在系统安全日志中有一定的体现。

下面简单介绍下，运维重点收集的日志数据有哪些部分以及用途。

• 1、系统日志
  系统日志主要指的是操作系统的日志，主要在/var/log下的各种日志信息。包含系统操作日志、系统安全日志、定时任务日志等。系统日志是运维管理安全模块中审计的重要依据。一般默认的操作系统日志不能满足要求，需要对系统的参数进行修改，如为history命令加上时间戳、IP，并且长久保留历史等功能。并且对日志文件进行处理，不允许用户进行清空命令，只能追加。

• 2、应用日志
  应用日志主要记录应用服务的健康运行情况以及业务操作的具体日志两部分。应用监控运行情况反应应用服务的健康状态，如果应用占用CPU或是内存过高或是忽高忽低不定，都可以通过分析应用日志结合业务操作日志得出结论。业务操作日志可以为业务审计提供主要依据。有一些系统喜欢把业务操作日志写到数据库中，这个也是需要注意的。不过不管在哪个地方，要求是不可缺少的，它为以后业务审计和问题返查提供依据。

• 3、数据库日志
  数据库日志主要反馈数据库的运行情况。通过监控和管理数据库的日志，及时了解数据库的运行情况，遇到问题及时解决等。可以通过数据库日志结合数据库系统自带的数据库如Oracle的系统视图v$开头，MySQL的performance_schema等。虽然数据库的一些信息不是存在日志中而是在数据库里面，但是也可以作为数据库日志的一部分进行管理和监控，已便我们及时知道数据库的监控状况，从而预防可能出现的问题。

• 4、设备日志
  设备日志一般是一个比较容易忽略的地方，但设备日志往往可以反映设备的运行情况。交换机故障，防火墙故障等设备故障都可能引起大面积的系统和服务故障。所以设备日志一定要收集，分析和监控预警。常用的设备日志有交换机日志、防火墙日志、网络安全设备日志等。

八 、 ELK 收集分析 统计日志信息

• 这么多的日志，运维要通过各种手段完成日志的收集、过滤分析、可视化展示，那么如何实现这些功能呢，方法很多，例如ELK集成套件（Elasticsearch , Logstash, Kibana）就可以轻松实现日志数据的实时收集、分析传输以及图形化展示。

1、Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
2、Logstash主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
3、Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

• 另外，还有Filebeat可以替换Logstash作为日志收集工具，Filebeat隶属于Beats。目前Beats包含四种工具：
  Packetbeat（搜集网络流量数据）
  Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
  Filebeat（搜集文件数据）
  Winlogbeat（搜集Windows事件日志数据）