AI人工智能技术近几年发展得如火如荼,而随着深度学习技术的成熟,AI也正在逐步从尖端技术慢慢变得普及,AI目前已经可以实现很多功能了,如语音识别、自然语言理解、数据挖掘、计算机视觉等。除此之外,现在又多了一个落地应用——这是一座尚未开采的金矿——AIOps。
2016年,Gartner定义了一个新名词——AIOps,即基于算法的IT运维(Algorithmic IT Operations),这可能和你的第一反应Artifical Intelligence Operations有所偏差,不过本质上意义是一样的。Algorithmic IT Operations源自业界之前所说的ITOA(IT Operations and Analytics),算法的效率提升了 AIOps 的价值,通过持续学习,智能运维将把运维人员从纷繁复杂的告警和噪音中解放出来,运维插上了机器学习和算法的虎翼,将变得更自动化、智能化。Gartner 的报告宣称,到 2020 年,将近 50% 的企业将会在他们的业务和 IT 运维方面采用 AIOps,远远高于今天的 10%。
智能运维的必要性相信不必多言,如今的IT基础架构相比于前五年,前十年,规模和复杂度都呈倍数增长,服务数量更是呈指数增长,早期的运维方式已经无法负荷愈加沉重的工作量,而人工智能的发展给运维带来了契机,AIOPS应运而生。
IT 运维发展历程
1. 人工运维时代
初期阶段IT基础设施通常处在小规模状态。几台至几十台机器的规模,足以满足业务需求。早期一般企业采用的都是人工运维,决策分析几乎完全由人工完成。
2.自动化运维时代
随着云时代到来,IT基础设施迅速发展成几百上千台服务器,更多的业务系统上线,因此,各类孤岛式的运维管理工具也开始上线,提升运维效率。
3. DevOps时代
DevOps是一组过程、方法与系统的统称,企业希望将原本笨重的开发与运维之间的工作移交过程变得流畅无碍,便可借助DevOps来完成,DevOps的目标是流程的自动化——让代码完成过去手工的工作,从而大大节省成本。
4. AIOps时代
AIOps智能运维,用机器学习方法做决策分析,算法的效率提升了 AIOps 的价值,通过持续学习,智能运维将把运维人员从纷繁复杂的告警和噪音中解放出来。
AIOps智能运维如何做好?
清华计算机系副教授,智能运维算法专家裴丹教授为我们提出了如下见解。
机器学习本身有很多成熟的算法和系统,及其大量的优秀的开源工具。如何成功的将机器学习应用到运维之中?还需要以下三个方面的支持:
1. 数据。互联网应用本身具有海量的日志。需要做优化存储。 数据不够还需要自主生成。
2. 标注的数据。日常运维工作会产生标注的数据。 比如出了一次事件后,运维工程师会记录下过程, 这个过程会反馈到系统之中, 反过来提升运维水平。
3. 应用。运维工程师是智能运维系统的用户。用户使用过程发现的问题可以对智能系统的优化起正向反馈作用。
AIOps落地谁家?
Google | 数据中心人工智能模型
早在2014年,人工智能就在IT运维领域有所应用,在Google,人工智能是提高各个大型数据中心效率的重要工具。
Google使用“类神经网络”技术分析其众多数据中心的工作情况,并根据所得数据进行维护。这个“类神经网络”的核心部分其实是一些算法,可以识别模型(patterns),并根据相应模型做出判断,即Google使用这些算法管理数据中心。它们无法超越人脑,但在某些情况下却更快,更全面。
从具体来看,每隔几秒,Google就会收集数据中心所有的处理信息,从设备耗能多少,到硬件冷却到室温需要多少水无一不包括。Google数据中心青年工程师Jim Gao就是使用这些数据构造人工智能模型,在不同条件下预测数据中心效率。如果数据中心的效率低于模型预测,公司就会收到相关信息。这个模型,同样可以帮助Google决定何时管理数据中心的设备,比如何时清理热交换器,提高设备冷却性能。这样一来,这个模型具有辨别功能,解放了Google的工程师们,也大大提高数据中心的运维效率。
百度 | 基于日志 trace 的智能故障定位系统
结合机器学习技术的进步,百度实现了一套基于日志 trace 的智能故障定位系统及其背后的一套技术方案,最终能够实现 WQPS/sec 的 PV 根因定位能力,并能够根据根因做统计上的多维度汇聚,该系统应用于百度核心搜索系统,极大的提升了重大异常问题定位效率。
阿里 | 机器学习在大规模服务器治理复杂场景的实践
我们今天面临的问题,云、支付和交易的程序通过虚拟化打散在百万级的服务器上, 面对如此庞大的基础设施, 传统的运维方法受到了极大地挑战。海量告警无法及时处理、脏数据影响定位、批量问题如何提炼。
在无高质量样本的情况下,通过关联分析和异常检测算法,构建算法闭环。自动迭代,让批量问题的预测精度不断提高。打通故障定位和装机系统,提供从发现 ->定位 ->跟踪 ->修复的一站式解决方案。
各个行业的企业正在采用AIOps——银行、娱乐、交通、零售,甚至政府。从运维的发展角度看, AIOps 是必然趋势,将为企业带来最直接最深远的价值。