智能运维_计算机_钱兵(2022.05.12)

计算机-智能运维-大数据/AI技术

文章目录

  • 计算机-智能运维-大数据/AI技术
    • 报告正文及笔记整理
      • P1 提纲
      • P2 什么是运维
      • *P3 传统运维为什么往智能运维演进
      • P4 政策:第三代人工智能到来
      • P5 政策和技术:数字化转型深入到知识化转型
      • P6 技术:人工智能两大核心技术迅猛发展
      • P7 运维发展阶段
      • P8 传统运维工作模式
      • P9 智能运维工作模式
      • P10 智能运维的场景
      • *P11 智能运维的场景
      • P12 智能运维所需要的技术
      • P13 AI技术图谱
      • *P14 总结:三大热门技术、四类核心算法
      • P15 技术推动运维的研发路径
      • *P16 传统运维于智能运维模式对比
      • P17 技术推动运维中的顾虑
      • P18 应用案例
      • P19 运维中算法思路
      • P20 算法演进过程
      • P21 专家打标的问题
      • P22 异常监测的场景复杂
      • P23 无监督和有监督算法在异常监测上的问题
      • P24-25 两种解决方案
      • P26-27-28 半监督和深度学习依然存在的问题
      • P29 改进思路
      • P30 改进后的效果
      • P31 运维知识图谱构建思路*(案例2)*
      • P32 图谱本体构建
      • P33-34 实体抽取+对齐
      • P35 语义相似性匹配
      • P36 知识图谱建立
      • P37 知识图谱应用
    • 问答
    • 参考文献

报告正文及笔记整理

P1 提纲

智能运维_计算机_钱兵(2022.05.12)_第1张图片

P2 什么是运维

智能运维_计算机_钱兵(2022.05.12)_第2张图片
总体还是围绕这三个目标

*P3 传统运维为什么往智能运维演进

智能运维_计算机_钱兵(2022.05.12)_第3张图片
互联网的红利期已经过去。运维工作也进行这么多年,日常运维工作的90%+还是可以用传统的运维方法覆盖。但为什么还是要智能运维?

  • 业务需求侧,确实可以推进,但是可以通过①增加人、②增加工具来实现运维,比如人做报表,用SQL语句,虽然复杂但是可以实现。
  • 运维的真正发展,实际上是右边的牵引力拉动这朝向运维发展——==政策、战略、技术。==①政策;②战略,市场的趋势,保证不落后,提质增效将本;③技术趋势。外部的牵引力牵动朝向智能运维的发展。

P4 政策:第三代人工智能到来


人工智能的发展,朝向认知智能。
上下文语意。

P5 政策和技术:数字化转型深入到知识化转型


数字换转型:大多数做自动化实现——企业做的专家系统,平台、SAAS等。
智能的发展,驱使从数字化转型朝向知识化转型的发展。

P6 技术:人工智能两大核心技术迅猛发展


AI迅速发展的两大核心技术是深度学习和知识图谱。
国内发布的“大模型”。
我们人可以理解百科知识,但是机器看到的是问题,不能用于指导实践。

P7 运维发展阶段


2015还是保守了,现在也是靠专家规则,它是有用的,可以维持日常工作开展。
一项AI技术从预研到落地,需要有钱、有人,还要有时间。

P8 传统运维工作模式

智能运维_计算机_钱兵(2022.05.12)_第4张图片
出现问题——排查解决;
中间所采用的方法是经典方法——>不记录;采用的是新型方法——>详细记录,作为学习案例。

P9 智能运维工作模式

智能运维_计算机_钱兵(2022.05.12)_第5张图片
中间过程变多了,从问题发生到解决,都有专家、算法人员的参与。
智能推荐——由算法基于历史数据等,给出建议,相对于单个专家而言,更具有参考性。

P10 智能运维的场景

智能运维_计算机_钱兵(2022.05.12)_第6张图片
事件预警:短期、中期、长期。短期——针对特定KPI指标进行预测;中期——按天、周;长期——做规划、建议。
效能优化——资源调度,涉及到最优化、动态优化;统计学、数学建模、运筹学。

*P11 智能运维的场景

智能运维_计算机_钱兵(2022.05.12)_第7张图片
现在已经在做的:根因诊断、异常发现、效能优化;
这三个部分的算法等成熟后,给 故障自愈 策略,实现自愈化;技术难度不高,更多的是敢不敢做,测试环境可行,但生产环境很麻烦。

故障自愈——保证用户的正常实用,比如正在打游戏
技术上可以实现,主要是业务的障碍。

预警、预测
地震的预警——事情发生、快速传播消息,告诉后果,立刻响应。
预测——事情没发生,告诉运维人员在未来什么时候发生。

注意这个坐标轴:基于预测、基于规则。这是划分机械设备运维的参考思路。

P12 智能运维所需要的技术


系统开发和大数据:
开发运维技术;很成熟的技术,也有更新但是更新速度很慢。
数据工程师、运维工程师、系统开发人员。

AI技术:数据科学家、算法工程师。
AI技术很多,要学习的内容是很多的。

这是两个领域的人才。

P13 AI技术图谱


互联网+ 行业
AI+ 行业

*P14 总结:三大热门技术、四类核心算法

智能运维_计算机_钱兵(2022.05.12)_第8张图片
大数据处理:技术基础
NLP:文本数据越来越多,建立知识绕不开自然语言处理
知识图谱:需要用到图数据库、图模型

运维核心基础算法:每个领域至少知道一个算法一个案例。
异常监测算法:
根因诊断算法:
趋势预测算法:
事物分类算法:

其他的,比如图像识别、视频监控、迁移学习、强化学习这些,可能不是必备的,可以入门之后慢慢学习。

P15 技术推动运维的研发路径


智能运维的推动——外部环境:领导、政策等

*P16 传统运维于智能运维模式对比


专业数据集
这个概念很有意思,以往讲专业知识用“公式+解释(机理模型)”表示;后续用“软件+配置化”表示;那么在智能化时代,用“模型+数据集(数据模型)”来表征。

P17 技术推动运维中的顾虑

智能运维_计算机_钱兵(2022.05.12)_第9张图片

P18 应用案例

智能运维_计算机_钱兵(2022.05.12)_第10张图片

P19 运维中算法思路

智能运维_计算机_钱兵(2022.05.12)_第11张图片

P20 算法演进过程

传统规则就是做单指标,当然有些数理统计基础好的专家,也可能会做多指标。

时空序列预测模型;

P21 专家打标的问题

智能运维_计算机_钱兵(2022.05.12)_第12张图片

P22 异常监测的场景复杂

智能运维_计算机_钱兵(2022.05.12)_第13张图片
存在的三个问题:
无监督学习 算法问题
专业打标的不确定性
场景复杂

异常周期:

P23 无监督和有监督算法在异常监测上的问题


KNN、SVM、孤立森林、PCA
有监督——准确程度无法把握;黄色曲线,专业认为有问题,算法没判断出来
无监督——整体准确的不高。

P24-25 两种解决方案

智能运维_计算机_钱兵(2022.05.12)_第14张图片

P26-27-28 半监督和深度学习依然存在的问题

智能运维_计算机_钱兵(2022.05.12)_第15张图片
智能运维_计算机_钱兵(2022.05.12)_第16张图片

可解释性的AI模型来做运维算法。


通过特征提取的新的维度,这些派生的指标,具体是什么含义并不知道,所以导致可解释性很难。
(1) 异常点为什么分布在聚类之外?
(2) 专家定义指标是有方向性的,这个指标越大越好还是越小越好?比如流量很大,在数据上属于异常,但是在业务上并非属于异常。
增加模型可解释性和指标的方向性

P29 改进思路


YOPSIS 综合评价方法的一种。

P30 改进后的效果

智能运维_计算机_钱兵(2022.05.12)_第17张图片

P31 运维知识图谱构建思路*(案例2)*

P32 图谱本体构建


5大实体、7大关系。

P33-34 实体抽取+对齐


P35 语义相似性匹配

P36 知识图谱建立


静态应用——查询响应
动态应用——在异常监测过程中,支持推理等

P37 知识图谱应用


基于知识图谱的预测算法研究

类似新冠病毒、传染病模型的预测,这样的故障预测需要带着时间标签的。
小区A出现故障,其对小区B的影响,如何分析,这样就需要带有时间标签。


问答

Q1:智能运维革新会取代传统运维人员吗?
A1:节省工作时间,发挥其他价值,明确智能运维的优先级;
AI模型的优化,需要运维人员的经验,他们的经验视角非常重要。
二者都发展为复合型人才。

Q2:下一个风口是什么?是AI吗?
A2:我觉得AI更靠谱一些;AI是互联网的一个综合应用。

Q3:AI和运维关系?
A3:运维只是AI应用的一个场景。系统的内容提升自动化,AI提升智能化水平。AI+好多领域可以。

Q4:传统运维到智能运维的转变?
A4:看领导规划,领导没战略,转型也很难。

Q5:专家系统Or智能运维?
专家系统是基于规则,A+B发生——》C发生;C指标>X——》故障。
智能运维:指标是动态的,基于数据而来。

问:学习AI建议?
答:嵌入到实际场景下进行学习,提高更高效率。需要有实际任务、或者自己找到的任务,和AI、智能运维相关的任务。在参加过程中学习新的知识。

问:什么是智能运维?和自动化运维之间是什么关系?
钱兵:简单来说,智能运维就是在传统IT运维的基础上,通过AI和大数据技术实现运维工作的智能化,减少技术人员在运维过程中的参与度。自动化运维是通过软件系统、专家规则等方法解决运维的自动化问题,提高运维效率;而智能运维是在自动化运维工具基础上,引入了AI技术。

问:那么,智能运维需要哪些核心技术?目前在哪些领域有比较成功的落地案例?
钱兵:其实,目前智能运维处于发展中前期,主要使用的是已经经过反复验证的成熟技术。如近年来迅速发展并成熟起来的大数据和AI技术,在智能运维领域都得到了广泛的应用。
具体用到的核心技术主要有:大数据采集、数据预处理技术,统计学、机器学习等技术,这些技术在智能运维领域都有很好的成功案例。
另外,智能运维领域非常重视知识的提取、应用、更新,这就用到了时下很受关注的自然语言处理和知识图谱技术,与之相关的文本数据标注工具、文本相似性算法等一系列AI技术,也得到了非常普遍的应用。
应用场景方面,在我们电信网络运营领域中,流量趋势预测是一个很重要的应用场景。我在《智能运维之道——基于AI技术的应用实践》一书中把其细分为短期、中期和长期的趋势预测。短期流量预测的时间一般是秒级、分钟级,可用于故障预警;中期流量预测一般是小时级、天级别,可应用于异常检测;而长期流量预测主要应用于远期的资源规划,时间颗粒度一般都是季度、年为单位。这个流量趋势预测就用到了ARIMA、向量自回归、LSTM、Logistic、SVM等分类和时序预测算法。

问:智能运维在当前发展是否称得上顺利?还存在什么问题?
钱兵:这个问题非常好,只有长期在这个领域的人对这个问题才有深刻体会。大家对智能运维的看法基本是:前途是光明的,但道路是曲折的。
由于当前正处在IT运维向智能运维转型的环节,因此宏观上,企业的研发需要钱、人和时间的投入,这就让很多小企业望而却步,只有大企业才有这些条件优先实现智能运维转型。而大企业并不会长期无条件的投入这三类资源,也会对产出有所期望,这就导致微观上也存在一些问题。
微观上,企业内有三类人在推动智能运维的发展:管理层、运维工程师、数据或算法工程师。由于他们三者所处的位置和职责不同,他们在智能运维研发过程中的收获和体会存在很大差异,这就导致他们对此的态度是不完全一样的。智能运维发展的挑战在于:短期内一些场景看不到AI技术对运维的实际帮助,并且运维人员要在日常运维中,额外为智能运维研发付出时间和人力。
比如在智能问答的场景中,每个模型训练和知识提取,都需要运维人员标注大量数据,标注完的数据需要反复清洗,清洗后的数据还需要再让运维人员二次审核确认,最后训练出来的模型准确率却不尽如人意,需要反复优化,这个过程中别说有些管理者等不及,很多一线研发人员都可能失去信心。
因此,总体来看,当前智能运维是在曲折中前进,逐步从一个个单场景实现智能运维,最终实现全域智能运维。

问:一线运维人员和其他人员对智能运维的态度不一样,那他们有担心过自己会被智能运维替代或者淘汰吗?
钱兵:这个问题对当前的运维人员来说,完全不用担心,因为企业智能运维处于探索期,还不完全成熟。在智能运维研发和实现过程中,现在的运维人员会参与研发过程中,他们在技能上会逐渐转型为复合型人才,他们是跟随当前的技术往前在发展的人,不用担心被淘汰。
如果说对未来从事运维从业人员的影响,可能是智能运维对运维人员的需求量将逐渐减少,运维相关专业方向的年轻人面临的就业压力会更大,但他们是年轻人,可以在学校里就做好转型准备,有更多的转型机会。

问:智能运维和数字化转型之间是什么关系?
钱兵:智能运维是一种全新的数字化运维能力,也将是企业数字化转型的必备能力。当前数字化转型走在前边的企业,每天都有很多系统故障告警事件需要处理,而这类事件之间是有关联的,这就可以通过智能运维中的故障传播路径图建立图谱进行分析,找出具有因果关联的两个或多个故障,并做出相关预警机制,从而帮助企业有效应对系统故障。

问:智能运维和东数西算之间是什么关系?
钱兵:随着数字化转型、5G甚至6G技术的快速发展,未来的数据资源和算力资源一定是基于分布式架构部署的。“东数西算”是国家从宏观层面对数据和算力资源的分布式战略安排,与未来技术发展趋势相匹配。各类系统产生的大量数据、AI模型所需要的算力,离不开智能运维的规划与调度,智能运维对数据和算力起到的优化配置作用,刚好与“东数西算”这个战略的目标相契合。

另外“东数西算”战略也会带来一些新的智能运维场景,比如国家对8个算力枢纽内规划设立的10个数据中心集群,设定PUE标准,这是智能运维中典型的能效优化场景。事实上,只要跟数字化沾边的,大到战略规划,小到一个具体的项目实施,甚至是一个信息系统的管理,都离不开运维和运维工程师。

图片

图片
图片
以上是钱兵老师对智能运维的概念、运维工作对数字化转型的重要意义的解读。

是否还想深入了解更多精彩内容?可以观看下方的钱兵老师专题讲座直播视频。

如果大家想获取更多关于智能运维的知识,还可以阅览钱兵团队编著的《智能运维之道——AI技术的应用实践》一书,这本书系统总结了智能运维的过程及方法,剖析12大智能运维的真实场景和案例,将对大家参与智能运维工作具有很好的启发意义和实用价值!


参考文献

  • B站视频地址:大数据和AI技术在运维领域的作用有多大
  • 微信文章地址:钱兵 《智能运维之道——基于AI技术的应用实践》

你可能感兴趣的:(智能运维,运维)