IT运维服务整体方案
导读：信息系统服务的目标是，对用户现有的信息系统基础资源进行监控和管理，及时掌握网络信息系统资源现状和配置信息，反映信息系统资源的可用性情况和健康状况，创建一个可知可控的IT环境，从而保证用户信息系统的各类业务应用系统的可靠、高效、持续、安全运行。
IT运维服务整体方案
本文主要内容：
- IT运维服务内容
- IT运维服务流程
- IT运维服务管理制度规范
- IT运维应急服务响应措施
一、服务内容
1.1服务目标
运行维护服务包括，信息系统相关的主机设备、操作系统、数据库和存储设备及其他信息系统的运行维护与安全防范服务，保证用户现有的信息系统的正常运行，降低整体管理成本，提高网络信息系统的整体服务水平。同时根据日常维护的数据和记录，提供用户信息系统的整体建设规划和建议，更好的为用户的信息化发展提供有力的保障。
用户信息系统的组成主要可分为两类：硬件设备和软件系统。硬件设备包括网络设备、安全设备、主机设备、存储设备等；软件设备可分为操作系统软件、典型应用软件(如：数据库软件、中间件软件等)、业务应用软件等。
通过运行维护服务的有效管理来提升用户信息系统的服务效率，协调各业务应用系统的内部运作，改善网络信息系统部门与业务部门的沟通，提高服务质量。结合用户现有的环境、组织结构、IT资源和管理流程的特点，从流程、人员和技术三方面来规划用户的网络信息系统的结构。将用户的运行目标、业务需求与IT服务的相协调一致。
信息系统服务的目标是，对用户现有的信息系统基础资源进行监控和管理，及时掌握网络信息系统资源现状和配置信息，反映信息系统资源的可用性情况和健康状况，创建一个可知可控的IT环境，从而保证用户信息系统的各类业务应用系统的可靠、高效、持续、安全运行。
服务项目范围覆盖的信息系统资源以下方面的关键状态及参数指标：
运行状态、故障情况
配置信息
可用性情况及健康状况性能指标
统计运维数椐、提供信息系统管理和工作报告、归纳总结并提供用户想了解的数椐报告
1.2信息资产统计服务
此项服务为基本服务，包含在运行维护服务中，帮助我们对用户现有的信息资产情况进行了解，更好的提供系统的运行维护服务。
服务内容包括：
硬件设备型号、数量、版本等信息统计记录
软件产品型号、版本和补丁等信息统计记录
网络结构、网络路由、网络IP地址统计记录
综合布线系统结构图的绘制
其它附属设备的统计记录
硬件设备清单统计
1.3网络、安全系统运维服务
从网络的连通性、网络的性能、网络的监控管理三个方面实现对网络系统的运维管理。网络、安全系统基本服务内容：
| 序号 | 服务模块 | 内容描述 | 提供方 |
| 1 | 现场备件安装 | 配合用户进行，按备件到达现场时间工程师到达现场 | |
| 2 | 现场软件升级 | 首先分析软件升级的必要性和风险，配合用户进行软件升级 | |
| 3 | 现场故障诊断 | 按服务级别：7×24小时 5×8小时 | |
| 4 | 电话远程技术支持 | 7×24小时 | |
| 5 | 问题管理系统 | 对遇到的问题进行汇总和发布 |
| 网络核心交换机巡视典型作业计划书 | ||||||
| 系统管理单位： | 维保单位： | |||||
| 设备名： | 设备型号： | 管理IP： | ||||
| 检查内容 | 参考标准 | 检查结果 | 检查结论 | 巡视方法描述 | 巡检周期 | |
| 硬件运行状态 | 电源运行状态 | □正常 □异常 | ||||
| 风扇运行状态 | □正常 □异常 | |||||
| 模块运行状态 | □正常 □异常 | |||||
| 系统运行状态检查 | VLAN 状态 | □正常 □异常 | ||||
| 配置 状态 | □正常 □异常 | |||||
| OSPF 状态 | □正常 □异常 | |||||
| 日志检查 | 日志 状态 | □正常 □异常 | ||||
| 其他检查内容 | □正常 □异常 | |||||
| □正常 □异常 | ||||||
| □正常 □异常 |
(1) 用户现场技术人员值守
根据用户的需求提供长期的用户现场技术人员值守服务，保证网络的实时连通和可用，保障接入交换机、汇聚交换机和核心交换机的正常运转。
现场值守的技术人员每天记录网络交换机的端口是否可以正常使用，网络的转发和路由是否正常进行，交换机的性能检测，进行整体网络性能评估，针对网络的利用率进行优化并提出网络扩容和优化的建议。
现场值守人员还进行安全设备的日常运行状态的监控，对各种安全设备的日志检查，对重点事件进行记录，对安全事件的产生原因进行判断和解决，及时发现问题，防患于未然。
同时能够对设备的运行数据进行记录，形成报表进行统计分析，便于进行网络系统的分析和故障的提前预知。具体记录的数据包括：
配置数据
性能数据
故障数据
(2) 现场巡检服务
现场巡检服务是对客户的设备及网络进行全面检查的服务项目，通过该服务可使客户获得设备运行的第一手资料，最大可能地发现存在的隐患，保障设备稳定运行。
同时，将有针对性地提出预警及解决建议，使客户能够提早预防，最大限度降低运营风险。
巡检包括的内容如下：
| 编号 | 巡检内容 | |
| 1 | 硬件运行状态检查项目 | |
| 单板状态检查 | 电源模块状态检查 | 风扇状态检查 |
| 整机指示灯状态检查 | 机框防尘网检查 | 机房温度、湿度检查 |
| 设备地线检查 | ||
| 2 | 软件运行情况检查项目 | |
| 设备运行情况检查 | 网络报文分析 | 设备对接运行状况检查 |
| 路由运行情况检查 | ||
| 3 | 网络整体运行情况调查 | |
| 网络运行问题调查 | 网络变更情况调查 | 网络历史故障调查 |
(3) 网络运行分析与管理服务
网络运行分析与管理服务是指工程师通过对网络运行状况、网络问题进行周期性检查、分析后，为客户提出指导性建议的一种综合性高级服务，其内容包括：
| 服务内容 | 服务优点 |
| 向客户提供网络专家电话号码。 | 保证重大问题第一连线至网络专家。 |
| 网络专家组每周与客户进行不少于2小时的电话技术交流 | 以最小成本保证及时解答客户关心的技术问题，并就某一领域技术问题展开深层次沟通。 |
| 每月向客户提交CASE汇总分析报告，并可扩展到每年17次(月度、季度、年度) | 使客户了解网络历史故障情况以及故障预防建议，最大程度减少网络故障隐患，更高效的进行网络管理。 |
(4) 重要时刻专人值守服务
保证重要时刻设备稳定运行对客户成功尤为关键，因此，可对客户提供重要时刻的专人现场值守支持，包括政府客户的重大会议期间、金融客户的年终结算日、运营商客户的生产网重大割接或其它任何客户认为可能对其业务运营产生重大影响的时刻。
如需专人值守，客户需至少提前3周与授权服务商客户服务经理联系。对每位合约客户，授权服务商均需按事先合同约定提供专人值守服务。客户如需超出合同约定范围的更多值守支持，需额外支付相应人力和差旅费用。
1.4主机、存储系统运维服务
主机、存储系统的运维服务包括：主机、存储设备的日常监控，设备的运行状态监控，故障处理，操作系统维护，补丁升级等内容。
主机存储系统基本服务内容：
| 序号 | 服务模块 | 内容描述 | 提供方 |
| 1 | 现场备件安装 | 配合用户进行。按备件到达现场时间工程师到达现场 | |
| 2 | 补丁服务 | 消除软件漏洞给系统带来的安全隐患，并对安装补丁所引起的系统连锁反应进行合理的平衡。 | |
| 3 | 升级服务 | 对系统进行软件或硬件的升级，以改进、完善现有系统或消除现有系统的漏洞。 | |
| 4 | 现场故障诊断 | 按服务级别：7×24小时 5×8小时 | |
| 5 | 电话远程技术支持 | 7×24小时 | |
| 6 | 问题管理系统 | 对遇到的问题进行汇总和发布 | |
| 7 | 系统优化 | 对客户系统的括主机、存储设备、操作系统、提供优化服务。 |
现场值守人员可进行监控管理的内容包括：
CPU 性能管理；
内存使用情况管理；
硬盘利用情况管理；
系统进程管理；
主机性能管理；
实时监控主机电源、风扇的使用情况及主机机箱内部温度；
监控主机硬盘运行状态；
监控主机网卡、阵列卡等硬件状态；
监控主机HA运行状况；
主机系统文件系统管理；
监控存储交换机设备状态、端口状态、传输速度；
监控备份服务进程、备份情况(起止时间、是否成功、出错告警)；
监控记录磁盘阵列、磁带库等存储硬件故障提示和告警，并及时解决故障问题；
对存储的性能(如高速缓存、光纤通道等)进行监控。
| 小型机系统巡检典型作业计划书 | ||||||
| 系统管理单位： | ||||||
| 设备名： | 设备型号 | 设备序列号 | 管理IP： | |||
| 检查内容 | 参考标准 | 检查结果 | 状态是否正常 | 巡检方法描述 | 巡检周期 | |
| 硬件运行状态 | 电源指示灯 | ▅正常 □异常 | ||||
| 面板指示灯 | ▅正常 □异常 | |||||
| 内置磁带机 | ▅正常 □异常 | |||||
| CPU 状态 | ▅正常 □异常 | |||||
| 内存状态 | ▅正常 □异常 | |||||
| 磁盘状态 | ▅正常 □异常 | |||||
| 网卡状态 | ▅正常 □异常 | |||||
| HBA卡运行状态 | ▅正常 □异常 | |||||
| 系统检查 | 系统日志 | ▅正常 □异常 | ||||
| ▅正常 □异常 | ||||||
| 文件系统，包括磁盘卷剩余空间 | ▅正常 □异常 | |||||
| 硬件检测 | ▅正常 □异常 | |||||
| 交换分区 | ▅正常 □异常 | |||||
| 固件版本 | ▅正常 □异常 | |||||
| 补丁包版本 | ▅正常 □异常 | |||||
| 系统镜像 | ▅正常 □异常 | |||||
| 存储磁盘 | ▅正常 □异常 | |||||
| 存储驱动 | ▅正常 □异常 | |||||
| 进程状态 | ▅正常 □异常 | |||||
| 系统性能检查 | CPU利用率 | ▅正常 □异常 | ||||
| 内存利用率 | ▅正常 □异常 | |||||
| 磁盘I/O性能 | ▅正常 □异常 | |||||
| 数据库运行状态 | 数据库安装目录 | ▅正常 □异常 | ||||
| 数据库进程状态 | ▅正常 □异常 | |||||
| 集群检查 | 集群进程状态 | ▅正常 □异常 | ||||
| 集群日志 | ▅正常 □异常 | |||||
| 存储检查 | 存储设备故障灯状态 | ▅正常 □异常 | ||||
| SAN交换机端口状态 | ▅正常 □异常 | |||||
| 存储交换机环境状态 | ▅正常 □异常 | |||||
| 系统故障报告 | ▅正常 □异常 |
1.5数据库系统运维服务
数据库运行维护服务是包括主动数据库性能管理，数据库的主动性能管理对系统运维非常重要。通过主动式性能管理可了解数据库的日常运行状态，识别数据库的性能问题发生在什么地方，有针对性地进行性能优化。同时，密切注意数据库系统的变化，主动地预防可能发生的问题。
数据库运行维护服务还包括快速发现、诊断和解决性能问题，在出现问题时，及时找出性能瓶颈，解决数据库性能问题，维护高效的应用系统。
数据库运行维护服务，主要工作是使用技术手段来达到管理的目标，以系统最终的运行维护为目标，提高用户的工作效率。
具体数据库运行维护监控的基本服务内容包括：
| 序号 | 服务模块 | 内容描述 | 提供方 |
| 1 | Oracle数据库 7*24电话支持服务 | 每周7天，每天24小时支持中心电话，电子邮件答询，以满足业务发展的需要。 Oracle产品技术专家直接同客户对话，帮助解决客户提出的疑难问题。 根据问题的严重程度，将优先解决客户认为是关键而紧急的任务。 对客户提出的一般性问题进行技术咨询、指导。 定期的客户管理报告, 避免问题再度发生。 | |
| 2 | Oracle数据库产品 现场服务响应 | 数据库宕机 数据坏块 影响业务不能进行的产品问题 软件产品的更新及维护。 | |
| 3 | Oracle数据库产品 系统健康检查 | 对系统的配置及运作框架提出建议，以帮助您得到一个更坚强可靠的运作环境 降低系统潜在的风险，包括数据丢失、安全漏洞、系统崩溃、性能降低及资源紧张 检查并分析系统日志及跟踪文件，发现并排除数据库系统错误隐患 检查数据库系统是否需要应用最新的补丁集 检查数据库空间的使用情况 协助进行数据库空间的规划管理 检查数据库备份的完整性 监控数据库性能 确认系统的资源需求 明确您系统的能力及不足 优化Oracle Server的表现 通过改善系统环境的稳定性来降低潜在的系统宕机时间 | |
| 4 | Oracle数据库产品 性能调优 | 分析用户的应用类型和用户行为 评价并修改ORACLE数据库的参数设置 评价并调整ORACLE数据库的数据分布 评价应用对硬件和系统的使用情况，并提出建议 利用先进的性能调整工具实施数据库的性能调整 培训用户有关性能调整的概念 提供用户完整的性能调整报告和解决方法 |
1.6中间件运维服务
中间件管理是指对BEA Weblogic、MQ等中间件的日常维护管理和监控工作，提高对中间件平台事件的分析解决能力，确保中间件平台持续稳定运行。中间件监控指标包括配置信息管理、故障监控、性能监控。
执行线程：监控WebLogic配置执行线程的空闲数量。
JVM内存：JVM内存曲线正常，能够及时的进行内存空间回收。JDBC连接池：连接池的初始容量和最大容量应该设置为相等，并且至少等于执行线程的数量，以避免在运行过程中创建数据库连接所带来的性能消耗。
检查WEBLOG日志文件是否有异常报错
如果有WEBLOG集群配置，需要检查集群的配置是否正常。
二、运维服务流程
建议用户采用的服务方式为两种：一种为技术人员现场值守，另一种是定期巡检结合故障现场服务。
技术人员现场值守运行维护服务的基本操作流程如下图所示：
定期巡检结合故障现场运行维护服务的基本操作流程如下图所示：
三、服务管理制度规范
3.1服务时间
(1) 接收服务请求和咨询：在5*8 小时工作时间内设置由专人职守的热线电话，接听内部的服务请求，并记录服务台事件处理结果。
(2) 在非工作时间设置有专人7*24 小时接听的移动电话热线，用于解决内部的技术问题以及接听7*24 小时机房监控人员的机房突发情况汇报。
(3) 服务响应时间：
| 故障级别 | 响应时间 | 故障解决时间 |
| I级：属于紧急问题；其具体现象为：系统崩溃导致业务停止、数据丢失。 | 30分钟，2小时内提交故障处理方案 | 12小时以内 |
| II级：属于严重问题；其具体现象为：出现部分部件失效、系统性能下降但能正常运行，不影响正常业务运作。 | 30分钟，2小时内提交故障处理方案 | 24小时以内 |
| III级：属于较严重问题；其具体现象为：出现系统报错或警告，但业务系统能继续运行且性能不受影响。 | 30分钟，2小时内提交故障处理方案 | 48小时以内 |
| IV级：属于普通问题；其具体现象为：系统技术功能、安装或配置咨询，或其他显然不影响业务的预约服务。 | 30分钟，2小时内提交故障处理方案 | 5天内 |
技术支持人员在解决故障时，会最大限度保护好数据，做好故障恢复的文档，力争恢复到故障点前的业务状态。
对于“系统瘫痪，业务系统不能运转”的故障级别，如果不能于12小时内解决故障，将在16小时内提出应急方案，确保业务系统的运行。故障解决后24小时内，提交故障处理报告。说明故障种类、故障原因、故障解决中使用的方法及故障损失等情况。
3.2行为规范
(1) 遵守用户的各项规章制度，严格按照用户相应的规章制度办事。
(2) 与用户运行维护体系其他部门和环节协同工作，密切配合，共同开展技术支持工作。
(3) 出现疑难技术、业务问题和重大紧急情况时，及时向负责人报告。
(4) 现场技术支持时要精神饱满，穿着得体，谈吐文明，举止庄重。接听电话时要文明礼貌，语言清晰明了，语气和善。
(5) 遵守保密原则。对被支持单位的网络、主机、系统软件、应用软件等的密码、核心参数、业务数据等负有保密责任，不得随意复制和传播。
3.3现场服务支持规范
运维服务人员要做到耐心、细心、热心的服务。工作要做到事事有记录、事事有反馈、重大问题及时汇报。严格遵守工作作息时间，严格按照服务工作流程操作。
(1) 现场支持工程师应着装整洁、言行礼貌大方，技术专业，操作熟练、严谨、规范；现场支持时必须遵守用户单位的相关规章制度。
(2) 现场支持工程师在进行现场支持工作时必须在保证数据和系统安全的前提下开展工作。
(3) 现场支持时出现暂时无法解决的故障或其他新的故障时，应告知用户并及时上报负责人，寻找其他解决途径。
(4) 故障解决后，现场支持工程师要详细记录问题的发生时间、地点、提出人和问题描述，并形成书面文档，必要时应向用户介绍故障出现的原因及预防方法和解决技巧。
3.4问题记录规范
根据使用人员提出问题的类别，将问题分为咨询类问题和系统缺陷类问题二类：咨询类问题是指通过服务热线或现场解疑等方式能够当场解决用户提出的问题，具有问题解答直接、快速和实时的特点，该问题到现场支持人员处即可中止，对于该类问题的记录可使用咨询类问题记录模版进行记录。系统缺陷类问题是指使用人员提出的问题涉及到系统相应环节的确认修改，需要经过逐级提交、诊断、确认、处理和回复等环节，处理解决需要项目组的分析确认，问题有解决方案后，将解决方案反馈给用户。具体提交流程如下：
(1) 问题提交。应用信息系统的用户发现属于系统缺陷类的问题时，填写系统缺陷类问题提交单，提交服务支持中心。
(2) 问题分析。服务中心接到用户提交的问题单，要组织相应人员对问题单中描述的问题进行分析研判，确定问题的类型(技术问题、业务问题或者操作问题)。
属于技术问题，提交服务中心技术人员对存在的问题提出具体的处理意见和建议；属于业务问题，提交服务中心业务人员进行处理；属于操作问题，可安排相关人员对问题提出人进行解释，并将系统缺陷类问题提交单转为系统咨询类问题提交单。
(3) 问题确认、解决。服务中心的技术人员和业务人员收到系统缺陷类问题提交单后，对提交的问题进行归类汇总和分析、确认。
可以解决的，明确问题解决的具体处理建议和措施，经主管领导签字同意后，交实施人员进行解决方案的实施。服务人员确认是否解决，并将解决方法附在系统缺陷类问题提交单上反馈给问题提出人员。
(4) 问题上报。服务人员收到经业务或技术人员确认的系统缺陷类问题提交单后，上报服务中心。
(5) 问题回复。服务中心根据提交问题的进行分析，制定解决方案并进行实施的解决，同时做好变更记录。将解决方案汇总后及时向问题提交单位或问题交办单位作出回复，并将分析过程和问题产生原因一并提交。
四、应急服务响应措施
针对项目制定了详尽的设计、应急处理预案，整个流程严谨而有序。但是，在服务维护过程中，意外情况将难以完全避免。
下面，我们将对项目实施的突发风险进行详细分析，并且针对各类突发事件，设计了相应的预防与解决措施，同时提供了完整的应急处理流程。
4.1应急基本流程
维护服务应急处理流程
4.2预防措施
针对上门服务过程中可能遇到的各种各样的风险，针对一些可能出现的情况，制定了一系列预防处理措施，举例如下：
| 类型 | 事件 | 预防措施 | 处理 |
| 应用软件 | 无法启动软件可执行文件 | 上门人员提前准备好各类需维护软件安装程序 | 将应用软件数据文件备份后，重新安装 |
| 软件打开过程中或运行中异常错误关闭 | 上门人员准备好安装程序，操作系统优化和修补软件，查杀病毒软件 | 判断出错原因，备份数据，采取相关修复措施 | |
| 操作系统 | 使用者本机操作系统异常或系统资源占用严重 | 准备好系统检查程序及修补程序，以及查杀病毒软件 | 告知使用者错误原因可能类型，提出解决方案，经使用者认可后采取相应措施 |
| B/S结构系统，IE浏览器异常或无法下载控件 | 准备流氓软件清理程序、修复浏览器软件、查杀病毒软件 | 检查IE浏览器选项设置，分析原因进行修复 | |
| 网络或服务器 | B/S结构系统网络流量异常或服务器登录异常 | 判断服务器是否异常，否则准备杀毒软件 | 检查网络流量，流量异常小则报修网络服务商，流量异常大则查杀病毒 |
4.3突发事件应急策略
系统运维应急方案是对中断或严重影响业务的故障，如宕机、数据丢失、业务中断等，进行快速响应和处理，在最短时间内恢复业务系统，将损失降到最低。
在系统维护过程中，突发事件的出现将是很难完全避免的，针对这种情况，设计了完善的突发事件应急策略。
系统巡检人员要定期规范检查各硬件设备的运转情况和应用软件运行情况，同时做好日常的数据增量备份和定期全备份。
对发现的问题在报各级负责人的同时，要协调相关资源分析问题根源，确定解决方案和临时解决措施，避免造成更大的影响。问题得到稳定或彻底解决后，要形成问题汇报，避免以后类似重大紧急情况的发生。
对发现的问题在报负责人的同时，要协调相关资源分析问题根源，确定解决方案和临时解决措施，避免造成更大的影响。问题得到稳定或彻底解决后，要形成问题汇报，避免以后类似重大紧急情况的发生。
当获悉出现突发事件时，技术支持人员可以立即从知识库中获取相应的应急策略，并综合用户方的具体情况，给出相关解决方案，然后在第一时间以电话、邮件支持或现场服务的方式帮助用户解决问题，尽最大努力减小突发事件对用户日常应用的影响。
| 紧急情况 | 预防措施 | 应急策略 |
| 硬件损坏 | 项目单位操作用电脑硬件损坏 | 在磁盘数据未丢失情况下，保证数据安全性，建议项目单位替换相关硬件。 |
| 操作失误 | 加强培训力度，掌握培训效果，检验操作人员操作水准，提示注意事项。 | 操作失误未造成即成结果或数据未丢失情况下，保障数据安全，反之，协调相关部门，进行补救。对操作人员强调注意事项 |
| 配置丢失 | 培训时强调使用前配置方法和步骤，并特别提示需在使用前按要求操作 | 派出上门维护、培训人员重新配置，并耐心讲解。 |
| 数据丢失 | 培训时强调使用过程中注意定期备份重要数据，日常维护过程中，上门服务人员实时备份数据并告知用户 | 协调有关部门，进行补救，无法补救，提交报告说明原因。 |
突发事件应急策略服务流程图如下：