IT故障排查

一篇 CPU 占用高，导致请求超时的故障排查

一、发现问题的系统检查一个管理平台门户网页进统计页面提示请求超时，随进服务器操作系统检查loadaverage超过4负载很大，PID为7163的进程占用到了800%多。二、定位故障根据这种故障的一般处理思路，先找出问题进程内CPU占用率高的线程，再通过线程栈信息找出该线程当时在运行的问题代码段，操作如下：根据思路查看高占用的“进程中”占用高的“线程”，追踪发现7163的进程中16298的线程占用较
运维派V·2019-09-10 14:30

云服务器集群性能故障排查手记

作者：田逸（wxformyz）本人的忠告当前依然有部分人（包括一些程序员）认为，用了云主机，网上搜搜，安装文档配置一下，哪里还需要什么专业的系统管理员（俗称运维狗）。当然，这也有云服务商宣传上的暗示（买了云主机，稳定无忧，数据扔上去一劳永逸）。事实果真如此么？如果你的应用没什么流量，一天没几个人访问，还真不用花钱雇用专职系统管理员；如果你靠互联网养活一帮人，而且希望有更多的用户访问，还有上述认知的
sery·2019-09-09 22:44

xshell连接故障排查

远程连接不了服务器时，可能原因有：sshd服务未开启、防火墙阻挡、端口未开放或者被占用、selinux阻挡。这里介绍一下常见原因及处理办法。1、sshd服务未开启#servicesshdstatus（查看sshd状态）#servicesshdstart（开启sshd服务）#servicenetworkrestart（重启网络服务）设置为开机自启动，避免每次出现同一原因。#chkconfigsshd
wx5d0cd2f748c0c·2019-09-08 22:57

故障排查之httpd服务

1、查看服务状态#systemctlstatushttpd（1）配置文件出错可以看到：Syntaxerroronline364of/etc/httpd/conf/httpd.conf:（/etc/httpd/conf/httpd.conf的第364行出现语法错误：）Invalidcommand'adModule',perhapsmisspelledordefinedbyamodulenotincl
wx5d0cd2f748c0c·2019-09-07 22:33

Rsync 故障排查整理

Rsync服务常见问题汇总讲解：==============================================================================================1客户端的错误现象：Noroutetohostrsync服务端开启的iptables防火墙[root@nfs01tmp]#rsync-avz/etc/hostsrsync_back
IT界小学生·2019-09-04 09:00

02：linux 磁盘满了，却找不到大文件问题处理 lsof命令

故障排查步骤：之前磁盘满了，一般都是由于服务器上面再跑的服务日志引起的占用太多空间，服务器上有java程序，去删除多余的日志就可以了。但是我记得这台服务器我是做过日志自动清理机制的。
小小xu·2019-09-01 11:00

K8s常见故障排查思路

step_1:kubectlgetnode1.查看集群节点是否处于Ready状态a.如果是Ready状态，再使用kubectldescribenode,资源使用率b.如果是NotReady，则使用kubectlgetnode-owide查看对应的节点，然后登陆到对应节点上,查看kubelet和docker服务是否正常；step_2:kubectlgetcs1.查看集群关键组件的状态是否是Healt
great_yonchin·2019-08-29 15:09

抓包问题故障排查

文章目录Q1:之前能用，现在加载不出数据，一直转圈Q1.1问题截图如下：Q1.2解决办法如下：Q2:之前能用，现在显示加载失败，点击没有反应Q2.1问题截图如下：Q2.2解决办法如下：对抓包工具抓包故障问题的排查总结，适用于所有的抓包工具：以下的所有之前能用均为设置好代理，配置好证书，且正常抓包已成功过！Q1:之前能用，现在加载不出数据，一直转圈Q1.1问题截图如下：Q1.2解决办法如下：分析：一
_长情·2019-08-29 11:27

flink 1.9 新特性状态处理API文档翻译

state_processor_api.htmlApacheFlink的状态处理器API为使用Flink DataSet API读取,写入和修改 Savepoint 和 Checkpoint提供了强大的功能.这有利于分析相关的状态模式,检查状态差异进行故障排查或
huzechen·2019-08-27 00:00

Java进程故障排查（CPU资源占用高，接口响应超时，功能接口停滞等）

故障分析#导致系统不可用情况（频率较大）：1）代码中某个位置读取数据量较大，导致系统内存耗尽，进而出现FullGC次数过多，系统缓慢；2）代码中有比较消耗CPU的操作，导致CPU过高，系统运行缓慢；#导致某功能运行缓慢（不至于导致系统不可用）：3）代码某个位置有阻塞性的操作，导致调用整体比较耗时，但出现比较随机；4）某线程由于某种原因进入WAITTING状态，此时该功能整体不可用，但无法复现；5）
卡子火·2019-08-23 11:00

【JVM从小白学成大佬】1.开篇

特别是JVM调优，故障排查性能调优，你知道该从哪些方面入手吗？
猿人谷6·2019-08-19 10:48

【JVM从小白学成大佬】开篇

特别是JVM调优，故障排查性能调优，你知道该从哪些方面入手吗？
夏雪冬日·2019-08-18 19:00

【JVM从小白学成大佬】1.开篇

特别是JVM调优，故障排查性能调优，你知道该从哪些方面入手吗？
·2019-08-16 00:00

CentOS7中df命令卡死故障排查

系统信息CentOSLinuxrelease7.2.1511(Core)故障排查过程使用stracedf命令对进程进行追踪，结果如下：...stat("/sys/fs/cgroup/cpu,cpuacct
品鉴初心·2019-08-13 10:16

记一次磁盘故障排查

事故背景：物理机（192.168.200.10）安装了KVM虚拟化，虚拟化的机器无法正常启动，进入vnc界面查看到linux系统在读取硬盘的时候需要30s-60s左右，正常启动的话几秒钟即可。怀疑是和硬盘有关系。解决思路：1、查看当前系统硬盘负载情况2、查看哪个进程占用了硬盘IO步骤1、使用iostat–x1iostat还有一个比较常用的选项-x，该选项将用于显示和io相关的扩展数据。如图rrqm
细哥细妹·2019-08-12 15:07

Java进程CPU占用高导致的网页请求超时的故障排查

一、发现问题的系统检查：一个管理平台门户网页进统计页面提示请求超时，随进服务器操作系统检查loadaverage超过4负载很大，PID为7163的进程占用到了800%多。二、定位故障根据这种故障的一般处理思路，先找出问题进程内CPU占用率高的线程，再通过线程栈信息找出该线程当时在运行的问题代码段，操作如下：２.1、根据思路查看高占用的“进程中”占用高的“线程”，追踪发现7163的进程中16298的
荣书·2019-08-05 15:00

ES大数据搜索引擎安装配置及故障排查

Elasticsearch安装配置及故障排查搜索引擎使用就是对数据的检索，数据一般分为两种类型，结构化数据和非结构化数据，结构化数据：二维表结构数据，严格遵照数据的格式和长度规范，主要是通过关系型数据库进行存储和管理
郭柏雅·2019-07-31 10:13

Blog.4 故障排查

测试提Bug的基本要素，主要包括：期望得到的结果实际得到的结果如何重现问题生产环境出了故障，当然也脱离不开这3个要点。只不过相对重现问题会略微复杂。毕竟，故障总是我们意外之外的情况。根据Bug发生的现象，我们会提出很多假设，然后进行逐步排除。当问题发生时，最应想到的是：系统最近是否有过改动。很大概率上，一个正常工作的服务会一直维持工作，直到某种外力出现。如果确实是新功能上线导致的，可以结合具体情况
渐行渐远·2019-07-28 00:00

linux中一次非常有意思的/etc/rc.local不运行任何脚本故障排查

最近在运维公司一台恒生行情服务器过程中，突然某周一发现之前配置/etc/rc.local中能随机器启动脚本没有随机器启动，但手动执行均正常。根据网上各种眼花缭乱资料，核查相关执行权限都有，但就是不执行，连touch/var/lock/subsys/local都不执行。没办法，想过重装，虽然是虚拟机，克隆安装简单，但感觉如果是物理服务器，那是非常麻烦，故还是希望找到原因。中途考虑过做成服务，在rc5
lysweb·2019-07-25 18:51

Tensorflow内存溢出问题

本文在实现Tensorflow模型的保存(save)和重新调用(restore)过程中，程序总是发生内存溢出而中止的问题，所以对其进行故障排查。
芮芮杰·2019-07-25 01:37

分析日志文件

分析日志文件与故障排查一、日志文件的概述；1.概念：记录系统和应用程序的运行信息，用于排查和诊断系统的故障；2.linux系统中日志记录的范围：加载内核、init进程启动、启动/etc/rc.d/rc3
一二毛钱·2019-07-21 21:08

深度好文｜TCP连接的状态详解以及故障排查

我们通过了解TCP各个状态，可以排除和定位网络或系统故障时大有帮助。1、TCP状态了解TCP之前，先了解几个命令：linux查看tcp的状态命令：1)netstat-nat#查看TCP各个状态的数量2)lsof-i:port#可以检测到打开套接字的状况3)sar-nSOCK#查看tcp创建的连接数4)tcpdump-ianytcpport9000#对tcp端口为9000的进行抓包网络测试常用命令;
·2019-07-18 08:00

存储互斥失败导致数据丢失的数据恢复成功案例

管理员在在正常工作时为该存储网络又连接了一台Windows2003服务器，结果这台存储突然无法使用了，管理员对存储进行故障排查时发现存储虚拟磁盘丢失，分区表丢失。重启该存储后故障依然没有解决。
宋国建·2019-07-05 15:23

(6)二进制文件方式部署Kubernetes高可用集群----------安装Docker Engine

这里，我们没有使用粗暴式的yuminstalldocker安装而是使用二进制文件方式安装docker组件，虽然过程较复杂，但是有利于做定制化需求开发和故障排查。
AndOne丶·2019-06-25 21:28

Java 性能瓶颈分析工具 你知道几个？

本文介绍了常用的性能分析工具和故障排查工具，希望可以帮助开发人员在排查性能问题的时候快速定位到性瓶颈。
dragonpeng2008·2019-06-10 08:12

记一次OOM排查过程(入门版)

第一次线上遇到问题，最近也在学jvm，记录一下，算是一个入门版jvm故障排查，希望能给新手带来一点干货。
葵续浅笑·2019-06-06 10:14

一次ECS安全组的故障排查

1、问题说明客户反馈某台阿里云的Centos7的ECS，无法正常访问外网域名，也没法使用外网yum2、排查方法a）检测到8.8.8.8是否正常，经过检测是正常的（说明网络是正常的状态）b）pingwww.aliyun.com，提示无法联通（建议客户添加一个公网dns，223.5.5.5），添加完成后，pingwww.aliyun.com，无法联通c）网络能通，但dns无法连通，怀疑是不是安全组对d
冰冻vs西瓜·2019-06-04 21:38

一个奇葩的docker启动服务故障排查

环境：os:=====>centos7.4docker:=====>1.13.1docker-compose:=====>1.23.2image:=====>php:7.2-apacheimage:=====>mysql:5.7问题表现：使用同一个docker镜像启动服务，一部分节点启动服务正常，一部分节点容器内服务启动报错！问题起因：公司需要建立官网站点，使用wordpress服务，借助dock
无锋剑·2019-05-25 00:29

LINUX CENTOS7 配置网卡

LINUXCENTOS7配置网卡文章目录LINUXCENTOS7配置网卡查看网卡信息切换ROOT账户配置网卡重启网卡服务测试连通性故障排查查看网卡信息最小化安装CENTOS7时，默认是没有ifconfig
陆小司·2019-05-22 17:04

Rsync 故障排查整理(经典)

Rsync故障排查整理Rsync服务常见问题汇总讲解：1客户端的错误现象：Noroutetohostrsync服务端开启的iptables防火墙[root@nfs01tmp]#rsync-avz/etc
xiyuxingxia·2019-05-21 16:07

Spring Cloud（8）：Sleuth和Zipkin的使用

譬如，对于大规模分布式系统，数据存储可分为实时数据和全量数据两部分.实时数据用于故障排查（
一清·2019-05-20 10:00

后端服务故障排查 -- dubbo服务超时、线程池耗尽 CPU高负载

文章目录问题现象dubbo线程池耗尽的异常日志cpu占用情况问题排查dubbo线程池耗尽排查cpu高负载排查排查相关命令排查初步定位问题场景验证，确认问题点原因分析调整后验证其他执行的一些优化点参考资料问题现象5-6到5-7，某测试环境我们的服务时常收到调用方反馈，dubbo接口超时。查看后台的错误日志信息，以及环境监控情况。有两个问题，一是dubbo服务通道关闭，线程池耗尽了。调用方表现为服务超
【随风飘流】·2019-05-19 12:43

Rsync服务故障排查整理

Rsync服务常见问题汇总讲解：（CentOS6.5操作系统）=========================================================================1、客户端错误信息：Noroutetohostrsync客户端报错信息：[root@localhostscripts]#[email protected]::o
heian95tianshi·2019-05-16 19:32

AWS的性能检测服务X-Ray（APM）

虽然微服务或Serverless确实是可以提升业务的持续服务和可靠性，但是业务复杂度，管理难度和管理成本随之提升，如何做好业务故障排查，特别是性能和稳定是
Eteng·2019-05-11 15:36

ES集群故障排查记录

这两天线上的ES集群总是有问题，开始查找原因发现这段时间各个机器的负载都很高，本来希望通过jstack找到一些信息，但居然提示‘Unabletoopensocketfile:targetprocessnotrespondingorHotSpotVMnotloaded’，度娘提示应该是机器很久没有重启了，没办法，只能放弃这种方式。第一步就没有走通。继续查发现几台机器cpu内存都很高，但是硬盘不太对劲
大海之中·2019-05-10 15:16

kubernetes node 节点启动报错: No valid private key

kubernetesnode节点启动报错故障排查报错场景：kubernetes集群安装部署期间，部署node节点kubelet服务时，执行systemctlstartkubelet，tailf/var/
无锋剑·2019-05-05 22:08

记一次上线就跪的故障排查案例

这个是我很早以前解决的一个案例，其现象是系统每次上线后，20多台机器，总有两三机器，出现假死的情况。如何判断出系统假死？借助的是一个第三方公司运维监控平台；这种情况，前同事称之为的“假死”，需要重新启动系统才能恢复。因为我是新来乍到，觉得这种情况不正常，而且对研发（在这边是研发上线）来说，是一个非常大的上线负担；于是我决定解决一下这个“百年难题”。我亲自上线，果然很快就碰到了假死的机器。我看到机器
猿界汪汪队·2019-04-30 09:24

【Junos】手动生成Core-dump文件

常规情况下，当JUNOS进程异常或内核崩溃时，将自动生成一个Core-dump文件，有时故障排查的需要下，需手动的去生成一个Core-dump文件。
带刺的板栗·2019-04-24 16:20

Node.js 应用故障排查手册 —— 雪崩型内存泄漏问题

摘要：还有一些问题场景下下应用的内存泄漏非常严重和迅速，甚至于在我们的告警系统感知之前就已经造成应用的OOM了，这时我们来不及或者说根本没办法获取到堆快照，因此就没有办法借助于之前的办法来分析为什么进程会内存泄漏到溢出进而Crash的原因了。楔子实践篇一中我们也看到了一个比较典型的由于开发者不当使用第三方库，而且在配置信息中携带了三方库本身使用不到的信息，导致了内存泄漏的案例，实际上类似这种相对缓
阿里云云栖社区·2019-04-23 00:00

生产环境用Docker？8个常见故障！

—Docker虚拟化故障排错—所有的Docker虚拟化故障排查诊
Max_LP·2019-04-22 15:02

排错中的直觉，其实源自长期以来积累的经验---记一次网络故障排查

又是很久一段时间没写什么了，这次带来了一次网络故障排查。先把背景描述一下，前一天晚上，客户的网络核心进行割接，用新设备替换老设备。
三角线·2019-04-18 15:34

10款常见MySQL高可用方案选型解读

主要负责UCloud云数据库udb的内核故障排查工作以及数据库新特性的研发工作。
xudc·2019-04-11 22:22

Node.js 应用故障排查手册 —— 大纲与常规问题指标简介

楔子你是否想要尝试进行Node.js应用开发但是又总听人说它不安全、稳定性差，想在公司推广扩张大前端的能力范畴和影响又说服不了技术领导。JavaScript发展到今天，早已脱离原本浏览器的战场，借助于Node.js的诞生将其触角伸到了服务端、PC跨平台客户端方案等各个领域，但是与此同时，JSRuntime对于绝大部分的开发者来说又一如既往的处于黑盒状态——开发者无法感知其运行状态，出现一些性能、内
阿里云云栖社区·2019-04-11 00:00

Node.js 应用故障排查手册 —— 综合性 GC 问题和优化

楔子本章前面两节生产案例分别侧重于单一的CPU高和单一的内存问题，我们也给大家详细展示了问题的定位排查过程，那么实际上还有一类相对更复杂的场景——它本质上是V8引擎的GC引发的问题。简单的给大家介绍下什么是GC，GC实际上是语言引擎实现的一种自动垃圾回收机制，它会在设定的条件触发时（比如堆内存达到一定值）时查看当前堆上哪些对象已经不再使用，并且将这些没有再使用到的对象所占据的空间释放出来。许多的现
阿里云云栖社区·2019-04-09 11:12

Node.js 应用故障排查手册 —— 综合性 GC 问题和优化

楔子本章前面两节生产案例分别侧重于单一的CPU高和单一的内存问题，我们也给大家详细展示了问题的定位排查过程，那么实际上还有一类相对更复杂的场景——它本质上是V8引擎的GC引发的问题。简单的给大家介绍下什么是GC，GC实际上是语言引擎实现的一种自动垃圾回收机制，它会在设定的条件触发时（比如堆内存达到一定值）时查看当前堆上哪些对象已经不再使用，并且将这些没有再使用到的对象所占据的空间释放出来。许多的现
阿里云云栖社区·2019-04-09 00:00

Win 8.1远程桌面报错案例

二、实验环境名称IP操作系统Win8.1-01192.168.31.69Windows8.1中文版Win8.1-02192.168.31.166Windows8.1英文版三、故障排查3.1在Win8.1
waqlewaqle·2019-04-06 21:49

Node.js 应用故障排查手册 —— 正确打开 Chrome devtools

楔子前面的预备章节中我们大致了解了如何在服务器上的Node.js应用出现问题时，从常规的错误日志、系统/进程指标以及兜底的核心转储这些角度来排查问题。这样就引出了下一个问题：我们知道进程的CPU/Memory高，或者拿到了进程Crash后的核心转储，要如何去进行分析定位到具体的JavaScript代码段。其实Chrome自带的Devtools，对于JavaScript代码的上述CPU/Memory
阿里云云栖社区·2019-04-04 00:00

Node.js 应用故障排查手册 —— Node.js 性能平台使用指南

楔子前一节中我们借助于Chromedevtools实现了对线上Node.js应用的CPU/Memory问题的排查定位，但是在实际生产实践中，大家会发现Chromedevtools更加偏向本地开发模式，因为显然Chromedevtools不会负责去生成分析问题所需要的Dump文件，这意味着开发者还得额外在线上项目中设置好v8-profiler和heapdump这样的工具，并且通过额外实现的服务来能够
阿里云云栖社区·2019-04-03 00:00

Node.js 应用故障排查手册 —— 利用 CPU 分析调优吞吐量

楔子在我们想要新上线一个Node.js应用之前，尤其是技术栈切换的第一个Node.js应用，由于担心其在线上的吞吐量表现，肯定会想要进行性能压测，以便对其在当前的集群规模下能抗住多少流量有一个预估。本案例实际上正是在这样的一个场景下，我们想要上线Node.js技术栈来做前后端分离，那么刨开后端服务的响应QPS，纯使用Node.js进行的模板渲染能有怎么样的表现，这是大家非常关心的问题。本书首发在G
阿里云云栖社区·2019-04-02 00:00

Node.js 应用故障排查手册 —— 冗余配置传递引发的内存溢出

楔子前面一小节我们以一个真实的压测案例来给大家讲解如何利用Node.js性能平台生成的CPUProfile分析来进行压测时的性能调优。那么与CPU相关的问题相比，Node.js应用中由于不当使用产生的内存问题是一个重灾区，而且这些问题往往都是出现在生产环境下，本地压测都难以复现，实际上这部分内存问题也成为了很多的Node.js开发者不敢去将Node.js这门技术栈深入运用到后端的一大阻碍。本节将以
阿里云云栖社区·2019-04-01 00:00
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他