02企业级AIOps实施建议白皮书和智能运维学习笔记

企业级AIOps智能运维实施建议白皮书目录

1运维的发展概述

1.1运维的概念：

一个互联网产品的生成一般经历的过程：产品经理--》需求分析--》研发部门开发--》测试部门测试--》运维部门部署发布以及长期的运行维护。运维，这里指互联网运维，通常属于技术部门，与研发、测试、系统管理同为互联网产品技术支撑的4大部门。

1.2运维的发展

高效运维社区

范伦挺-阿里巴巴-高级运维专家 提出DataOps  

DataOps 主要依据于数据加各种算法模型能够给出一个比较智能的结果。它相比 AIOps 更多是在于它给出的结果是一个辅助决策的作用，就你不敢拿它的结论直接去对接你的自动化平台。

AIOps 实际在人这个决策上会有很大的区别，只是进行一些异常的响应，平常没事就不需要人的干预。DataOps 还是需要经过人的决策过程，这是两者之间最大的区别，目前还是主要处在 DataOps 的阶段，离 AIOps 还是有一定距离

范伦挺-阿里巴巴

总结：现在运维的趋势是：机器学习+运维

裴丹老师提出的智能运维

手工运维      =行业领域知识 + 脚本（人操作的比较多）
DevOps       =运维 + 开发
自动化运维  = 行业领域知识+ 运维场景领域知识
AIOps          =自动化运维+ 机器学习知识 

1.3智能运维产生的原因

我们已经到达了这样的一个时代，数据科学和算法正在被用于自动化传统的IT运维任务和流程。算法被集成到工具里，帮助企业进一步简化运维工作，把人类从耗时又容易出错的流程中解放出来。人们不再需要在遗留的管理系统中定义和管理无穷无尽的规则和过滤器。

智能运维，是对规则的AI化，即将人工总结运维规则的过程变为自动学习的过程。在2015GOPS全球智能运维大会：腾讯游戏的刘栖铜提出了智能运维。

AIOps，基于 算 法 的 IT运维（AlgorithmicIT Operations）Gartner在2016年提出，2017修改Artificial IntelligenceOperations,即目前广泛接受的智能运维。

2智能运维的目标

运维的目标是力争所运营系统的综合收益最大化，是让AI调度中枢管理的，质量、成本、效率三者兼顾的无人值守运维

发现问题--》分析问题--》处理问题

•发现问题：系统报警

•分析问题：异常检测，关联分析，故障定位

•处理问题：系统调整和修改

3智能运维的能力框架

4AIOps平台能力体系

5智能运维团队角色

6AIOps 常见应用场景

按照功能划分

按照时间来分

7智能运维实施的关键技术

1.数据采集（硬件，业务指标等）

2.数据预处理（特征工程）

3.数据可视化

4.数据存储（数据仓库，Hadoop分布式存储）

5.智能算法

数据采集

性能数据，性能数据 cpu性能，网络消耗，硬盘数据

用户数据：流量，错误率，访问情况，操作信息等个性化信息

运维事件信息，新程序上线扩容，配置更新，软件更新

数据处理

数据字段提取：通过正则解析，KV 解析，分隔符解析等解析方式提取字段

规范化数据格式：对字段值类型重定义和格式转换

数据字段内容替换：基于业务规则替换数据字段内容，比如必要的数据脱敏过程，同时可实现无效数据、缺失数据的替换处理

时间规范化：对各类运维数据中的时间字段进行格式统一转换

数据可视化

数据可视化：快速看到想要的信息，辅助快速分析问题解决问题

要做数据可视化先建立数据关联：

    产品 服务层级关联关系

    服务模块之间关联关系

    运维事件与指标数据关联关系

    指标数据与分维度指标数据关联关系

    总体指标数据与分维度指标数据关联关系

智能算法

8智能运维案例

请参考企业级AIOps实施建议白皮书

参考：

1清华--裴丹老师

基于机器学习的智能运维

http://www.sohu.com/a/112321506_354963

我在智能运维科研领域的一些思考

http://www.sohu.com/a/166627757_262549

2企业级AIOps实施建议白皮书

下载地址：http://www.gaowei.vip/lib-94991143.html

3深入浅出 AIOps-极客帮2017

4《智能运维从0到1搭建大规模分布式AIOps系统》

5阿里巴巴大数据运维之道
https://mp.weixin.qq.com/s/giGhCEmT8mZ0-UYjKVGXpA