一、：背景
凌晨12点多突然服务器通过外网，无法 ssh远程连接，VNC也无法远程连接，初步怀疑是怀服务器宕机（关机）了。
但是以下通过以下分析过程，分析 log 后，发现服务器可能并不是宕机，虽然通过外网的方式无法远程连接，但是在内网，并没有测试过能否远程连接，所以并不能说明服务器就是宕机了。之所以外网远程无法连接很可能是由于服务器的 CPU 、memory 的占用过高，导致无法登陆服务器。
未进行测试：登陆其他机器，使用内网ping 一下怀疑宕机的这台服务器的ip，假设：可以ping 通，说明服务器未宕机，之所以外网远程无法连接很可能是由于服务器的 CPU 、memory 的占用过高，导致无法登陆服务器。若是ping 不通，ping 回包显示 主机不可达，说明服务器就真的是宕机了。
二、服务器宕机分析定位过程
1、熟知/var/log下的日志信息
以下是日志文件的所在位置以及它们包含的内容。在系统运行正常的情况下学习了解这些不同的日志文件有助于你在遇到紧急情况时从容找出问题并加以解决。
以下介绍的是20个位于/var/log/ 目录之下的日志文件。其中一些只有特定版本采用，如dpkg.log只能在基于Debian的系统中看到。
/var/log/messages — 包括整体系统信息，其中也包含系统启动期间的日志。此外，mail，cron，daemon，kern和auth等内容也记录在var/log/messages日志中。
/var/log/dmesg — 包含内核缓冲信息（kernel ring buffer）。在系统启动时，会在屏幕上显示许多与硬件有关的信息。可以用dmesg查看它们。
/var/log/auth.log — 包含系统授权信息，包括用户登录和使用的权限机制等。
/var/log/boot.log — 包含系统启动时的日志。
/var/log/daemon.log — 包含各种系统后台守护进程日志信息。
/var/log/dpkg.log – 包括安装或dpkg命令清除软件包的日志。
/var/log/kern.log – 包含内核产生的日志，有助于在定制内核时解决问题。
/var/log/lastlog — 记录所有用户的最近信息。这不是一个ASCII文件，因此需要用lastlog命令查看内容。
/var/log/maillog /var/log/mail.log — 包含来着系统运行电子邮件服务器的日志信息。例如，sendmail日志信息就全部送到这个文件中。
/var/log/user.log — 记录所有等级用户信息的日志。
/var/log/Xorg.x.log — 来自X的日志信息。
/var/log/alternatives.log – 更新替代信息都记录在这个文件中。
/var/log/btmp – 记录所有失败登录信息。使用last命令可以查看btmp文件。例如，”last -f /var/log/btmp | more“。
/var/log/cups — 涉及所有打印信息的日志。
/var/log/anaconda.log — 在安装Linux时，所有安装信息都储存在这个文件中。
/var/log/yum.log — 包含使用yum安装的软件包信息。
/var/log/cron — 每当cron进程开始一个工作时，就会将相关信息记录在这个文件中。
/var/log/secure — 包含验证和授权方面信息。例如，sshd会将所有信息记录（其中包括失败登录）在这里。
/var/log/wtmp或/var/log/utmp — 包含登录信息。使用wtmp可以找出谁正在登陆进入系统，谁使用命令显示这个文件或信息等。
/var/log/faillog – 包含用户登录失败信息。此外，错误登录命令也会记录在本文件中。
除了上述Log文件以外， /var/log还基于系统的具体应用包含以下一些子目录：
/var/log/httpd/或/var/log/apache2 — 包含服务器access_log和error_log信息。
/var/log/lighttpd/ — 包含light HTTPD的access_log和error_log。
/var/log/mail/ – 这个子目录包含邮件服务器的额外日志。
/var/log/prelink/ — 包含.so文件被prelink修改的信息。
/var/log/audit/ — 包含被 Linux audit daemon储存的信息。
/var/log/samba/ – 包含由samba存储的信息。
/var/log/sa/ — 包含每日由sysstat软件包收集的sar文件。
/var/log/sssd/ – 用于守护进程安全服务。
除了手动存档和清除这些日志文件以外，还可以使用logrotate在文件达到一定大小后自动删除。可以尝试用vi，tail，grep和less等命令查看这些日志文件。
2、分析的步骤
a、在/var/log/message 下查看系统日志，查看是否有告警信息，根据告警信息具体检查
b、查看/var/log/secure查看安全日志判断是否有人恶意攻击服务器
c、dmesg查看内核日志
在以上的三种日志种并没有找到关于此次宕机的相关的信息，以下是重点，关于此次宕机判断的所使用到命令和日志
3、sar命令
参数
-A:所有报告的总和
-b:显示I/O和传递速率的统计信息
-B:显示换页状态
-d:输出每一块磁盘的使用信息
-e:设置显示报告的结束时间
-f:从制定的文件读取报告
-i:设置状态信息刷新的间隔时间
-P:报告每个CPU的状态
-R:显示内存状态
–u:输出cpu使用情况和统计信息
–v:显示索引节点、文件和其他内核表的状态
-w:显示交换分区的状态
-x:显示给定进程的装
-r:报告内存利用率的统计信息
[root@cam63 log]# sar -u -f /var/log/sa/sa09 |more
%user 用户空间的CPU使用
%nice 改变过优先级的进程的CPU使用率
%system 内核空间的CPU使用率
%iowait CPU等待IO的百分比
%steal 虚拟机的虚拟机CPU使用的CPU
%idle 空闲的CPU
在以上的显示当中，主要看%iowait和%idle，%iowait过高表示存在I/O瓶颈，即磁盘IO无法满足业务需求，如果%idle过低表示CPU使用率比较严重，需要结合内存使用等情况判断CPU是否瓶颈。
Linux 2.6.32-642.el6.x86_64 (cam63) 07/09/2020 _x86_64_ (32 CPU)
12:00:01 AM CPU %user %nice %system %iowait %steal %idle
12:10:01 AM all 11.87 0.00 3.42 0.08 0.00 84.63
12:20:01 AM all 11.87 0.00 3.42 0.06 0.00 84.65
12:30:01 AM all 11.86 0.00 3.43 0.06 0.00 84.64
12:40:01 AM all 11.86 0.00 3.42 0.07 0.00 84.64
12:50:01 AM all 11.86 0.00 3.39 0.06 0.00 84.69
01:00:01 AM all 11.87 0.00 3.41 0.06 0.00 84.66
01:10:01 AM all 11.86 0.00 3.41 0.08 0.00 84.65
01:20:01 AM all 11.87 0.00 3.40 0.08 0.00 84.65
01:30:01 AM all 11.83 0.00 3.44 0.09 0.00 84.63
01:40:01 AM all 11.86 0.00 3.41 0.07 0.00 84.66
01:50:01 AM all 11.86 0.00 3.39 0.07 0.00 84.68
02:00:01 AM all 11.86 0.00 3.43 0.10 0.00 84.62
02:10:01 AM all 11.86 0.00 3.41 0.08 0.00 84.64
02:20:01 AM all 11.86 0.00 3.42 0.09 0.00 84.63
02:30:02 AM all 11.86 0.00 3.43 0.08 0.00 84.63
02:40:01 AM all 11.85 0.00 3.42 0.12 0.00 84.61
02:50:01 AM all 11.85 0.00 3.40 0.08 0.00 84.66
03:00:01 AM all 11.84 0.00 3.44 0.09 0.00 84.62
03:10:01 AM all 11.85 0.00 3.42 0.11 0.00 84.62
03:20:01 AM all 11.86 0.00 3.40 0.09 0.00 84.65
03:30:01 AM all 11.86 0.00 3.43 0.11 0.00 84.59
03:40:01 AM all 11.86 0.00 3.40 0.11 0.00 84.63
03:50:01 AM all 11.86 0.00 3.40 0.10 0.00 84.65
04:00:01 AM all 11.84 0.01 3.43 0.10 0.00 84.61
04:10:01 AM all 12.03 0.00 3.21 0.09 0.00 84.67
04:20:01 AM all 12.01 0.00 3.21 0.12 0.00 84.66
04:30:01 AM all 12.01 0.00 3.21 0.08 0.00 84.70
04:40:01 AM all 12.01 0.00 3.20 0.09 0.00 84.70
04:50:01 AM all 11.99 0.00 3.23 0.14 0.00 84.65
05:00:01 AM all 11.97 0.00 3.22 0.09 0.00 84.72
05:10:01 AM all 11.98 0.00 3.20 0.11 0.00 84.71
05:20:01 AM all 11.96 0.00 3.23 0.10 0.00 84.71
05:30:01 AM all 11.96 0.00 3.21 0.13 0.00 84.70
05:40:01 AM all 11.96 0.00 3.20 0.12 0.00 84.72
05:50:01 AM all 11.93 0.00 3.21 0.11 0.00 84.74
06:00:01 AM all 11.94 0.00 3.21 0.10 0.00 84.76
06:10:01 AM all 11.94 0.00 3.20 0.10 0.00 84.76
06:20:01 AM all 11.93 0.00 3.19 0.10 0.00 84.77
06:30:01 AM all 11.93 0.00 3.20 0.15 0.00 84.72
06:40:01 AM all 11.90 0.00 3.20 0.05 0.00 84.85
06:50:01 AM all 11.86 0.00 3.23 0.09 0.00 84.81
07:00:01 AM all 11.86 0.00 3.25 0.10 0.00 84.79
07:10:01 AM all 11.86 0.00 3.24 0.10 0.00 84.80
07:20:01 AM all 11.83 0.00 3.24 0.14 0.00 84.79
07:30:01 AM all 11.85 0.00 3.24 0.09 0.00 84.81
07:40:01 AM all 11.85 0.00 3.60 0.11 0.00 84.44
07:50:01 AM all 11.83 0.00 3.65 0.09 0.00 84.44
08:00:01 AM all 11.90 0.00 3.50 0.06 0.00 84.54
08:10:01 AM all 11.93 0.00 3.40 0.07 0.00 84.60
08:20:01 AM all 11.83 0.00 3.23 0.07 0.00 84.88
08:30:01 AM all 11.83 0.00 3.26 0.09 0.00 84.81
08:40:01 AM all 11.83 0.00 3.24 0.10 0.00 84.83
08:50:01 AM all 11.82 0.00 3.24 0.09 0.00 84.85
09:00:01 AM all 11.81 0.00 3.27 0.09 0.00 84.83
09:10:01 AM all 11.82 0.00 3.24 0.07 0.00 84.87
09:20:01 AM all 11.81 0.00 3.26 0.08 0.00 84.84
09:30:01 AM all 11.82 0.00 3.27 0.10 0.00 84.81
09:40:01 AM all 12.02 0.00 3.26 0.07 0.00 84.65
09:50:01 AM all 11.86 0.00 3.23 0.06 0.00 84.84
10:00:01 AM all 11.83 0.00 3.39 0.09 0.00 84.68
10:10:01 AM all 15.14 0.00 3.51 0.14 0.00 81.21
10:20:01 AM all 17.48 0.00 3.67 0.09 0.00 78.75
10:30:01 AM all 16.77 0.00 3.82 0.17 0.00 79.24
10:40:01 AM all 19.72 0.00 4.02 0.14 0.00 76.13
10:50:01 AM all 16.03 0.00 3.30 0.12 0.00 80.55
11:00:01 AM all 20.69 0.00 3.51 0.15 0.00 75.64
11:10:01 AM all 16.71 0.00 3.89 0.16 0.00 79.24
11:20:01 AM all 19.72 0.00 3.49 0.21 0.00 76.58
11:30:01 AM all 17.10 0.00 4.22 0.17 0.00 78.51
11:40:02 AM all 19.15 0.00 5.40 0.10 0.00 75.35
11:50:01 AM all 17.45 0.00 4.97 0.09 0.00 77.49
12:00:01 PM all 20.07 0.00 6.18 0.09 0.00 73.66
12:10:01 PM all 17.89 0.00 3.82 0.13 0.00 78.16
12:20:01 PM all 25.25 0.00 4.68 0.11 0.00 69.96
12:30:01 PM all 21.30 0.00 4.31 0.11 0.00 74.28
12:40:01 PM all 12.23 0.00 3.57 0.10 0.00 84.10
12:50:01 PM all 11.38 0.00 3.59 0.10 0.00 84.93
01:00:01 PM all 11.42 0.00 3.58 0.08 0.00 84.93
01:10:01 PM all 11.41 0.00 3.57 0.11 0.00 84.90
01:20:01 PM all 12.45 0.00 3.70 0.14 0.00 83.71
01:30:01 PM all 13.90 0.00 3.54 0.09 0.00 82.47
01:40:01 PM all 13.00 0.00 3.71 0.13 0.00 83.16
01:50:01 PM all 17.85 0.00 6.37 0.13 0.00 75.65
02:00:01 PM all 25.95 0.00 5.34 0.23 0.00 68.49
02:10:01 PM all 22.94 0.00 3.66 0.09 0.00 73.31
02:20:01 PM all 16.79 0.00 3.88 0.14 0.00 79.18
02:30:02 PM all 16.87 0.00 4.86 0.11 0.00 78.17
02:40:01 PM all 17.81 0.00 5.21 0.16 0.00 76.82
02:50:01 PM all 14.53 0.00 3.58 0.36 0.00 81.53
03:00:01 PM all 14.99 0.00 4.22 0.43 0.00 80.36
03:10:01 PM all 15.04 0.00 4.20 0.23 0.00 80.52
03:20:01 PM all 15.59 0.00 3.84 0.34 0.00 80.23
03:30:01 PM all 14.30 0.00 3.64 0.45 0.00 81.61
03:40:01 PM all 12.51 0.00 3.65 0.23 0.00 83.61
03:50:01 PM all 11.60 0.00 3.54 0.89 0.00 83.97
04:00:01 PM all 11.78 0.00 3.42 0.22 0.00 84.58
04:10:01 PM all 12.04 0.00 3.44 0.24 0.00 84.29
04:20:01 PM all 12.37 0.00 3.29 0.35 0.00 83.99
04:30:01 PM all 12.07 0.00 3.09 0.29 0.00 84.56
04:40:01 PM all 12.25 0.00 3.08 0.27 0.00 84.40
04:50:01 PM all 11.86 0.00 3.35 0.23 0.00 84.56
05:00:01 PM all 12.24 0.00 3.20 0.31 0.00 84.25
05:10:03 PM all 13.23 0.00 4.81 0.13 0.00 81.83
05:20:01 PM all 41.53 0.00 4.18 0.13 0.00 54.17
05:30:01 PM all 24.98 0.00 3.80 0.13 0.00 71.09
05:40:01 PM all 26.52 0.00 3.55 0.06 0.00 69.87
05:50:01 PM all 16.71 0.00 4.16 0.12 0.00 79.02
06:00:01 PM all 26.34 0.00 3.86 0.08 0.00 69.71
06:10:01 PM all 55.24 0.00 4.74 0.08 0.00 39.94
06:20:01 PM all 28.44 0.00 4.14 0.11 0.00 67.31
06:30:01 PM all 18.51 0.00 3.77 0.08 0.00 77.64
06:40:01 PM all 18.04 0.05 3.83 0.12 0.00 77.96
06:50:01 PM all 19.59 0.00 3.95 0.10 0.00 76.36
07:00:01 PM all 22.49 0.00 4.23 0.12 0.00 73.16
07:10:01 PM all 20.18 0.00 3.92 0.08 0.00 75.83
07:20:01 PM all 21.88 0.00 3.85 0.09 0.00 74.18
07:30:01 PM all 18.07 0.00 3.62 0.09 0.00 78.22
07:40:01 PM all 19.41 0.00 5.46 0.07 0.00 75.05
07:50:01 PM all 23.48 0.00 4.86 0.07 0.00 71.59
08:00:01 PM all 22.27 0.00 4.25 0.11 0.00 73.37
08:10:01 PM all 19.99 0.00 4.20 0.09 0.00 75.73
08:20:01 PM all 32.38 0.00 5.08 0.08 0.00 62.47
08:30:01 PM all 19.31 0.00 4.04 0.13 0.00 76.51
08:40:01 PM all 13.79 0.00 3.72 0.09 0.00 82.41
08:50:01 PM all 13.54 0.00 3.74 0.10 0.00 82.62
09:00:01 PM all 12.97 0.00 3.71 0.13 0.00 83.19
09:10:01 PM all 15.02 0.00 3.42 0.09 0.00 81.46
09:20:01 PM all 26.88 0.00 3.41 0.10 0.00 69.61
09:30:01 PM all 23.28 0.00 3.51 0.13 0.00 73.08
09:40:01 PM all 27.63 0.00 3.23 0.64 0.00 68.50
09:50:04 PM all 28.97 0.00 1.74 4.37 0.00 64.92
10:00:01 PM all 27.71 0.00 2.61 3.39 0.00 66.28
10:10:01 PM all 34.85 0.00 2.27 2.54 0.00 60.34
10:20:01 PM all 27.55 0.00 1.84 3.02 0.00 67.59
10:30:01 PM all 39.12 0.00 1.77 3.46 0.00 55.65
10:40:01 PM all 46.31 0.00 2.00 2.71 0.00 48.99
10:50:01 PM all 49.86 0.00 2.89 2.90 0.00 44.35
11:00:01 PM all 48.56 0.00 2.65 5.08 0.00 43.72
11:10:11 PM all 48.24 0.00 1.96 4.50 0.00 45.30
11:20:01 PM all 46.30 0.00 1.88 5.39 0.00 46.43
11:30:02 PM all 38.18 0.00 2.23 5.04 0.00 54.55
Average: all 17.43 0.00 3.57 0.42 0.00 78.57
总结：从通过获取CPU 的输出信息中， %idle 可以明显的看到CPU 的空闲率只有50%左右。一般CPU的使用率达到35%以上，服务器就会开始有明显的卡顿，若是CPU 的使用率达到%40 以上，服务器就会很卡。从最后几行输出中可以看到CPU 的使用率已经达到45% 左右，CPU 在高速的进行运算，memory很可能会成为瓶颈。
[root@cam63 log]# sar -r -f /var/log/sa/sa09 |more
kbmemfree 空闲的物理内存大小
kbmemused 使用中的物理内存大小
%memused 物理内存使用率
kbbuffers 内核中作为缓冲区使用的物理内存大小，kbbuffers和kbcached:这两个值就是free命令中的buffer和cache.
kbcached 缓存的文件大小
kbcommit 保证当前系统正常运行所需要的最小内存，即为了确保内存不溢出而需要的最少内存（物理内存+Swap分区）
commit 这个值是kbcommit与内存总量（物理内存+swap分区）的一个百分比的值
kbactive
kbinact
kbdirty
Linux 2.6.32-642.el6.x86_64 (cam63) 07/09/2020 _x86_64_ (32 CPU)
12:00:01 AM kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit
12:10:01 AM 28618304 467546228 94.23 2879824 252312852 234541344 41.56
12:20:01 AM 27972448 468192084 94.36 2879908 252944948 234538844 41.56
12:30:01 AM 27010688 469153844 94.56 2879952 253874860 234539116 41.56
12:40:01 AM 26347244 469817288 94.69 2879996 254516068 234539940 41.56
12:50:01 AM 26024116 470140416 94.75 2880048 254834624 234538064 41.56
01:00:01 AM 25368964 470795568 94.89 2880100 255470656 234539168 41.56
01:10:01 AM 24738692 471425840 95.01 2880156 256088968 234539208 41.56
01:20:01 AM 24085584 472078948 95.15 2880216 256722348 234539884 41.56
01:30:01 AM 22913844 473250688 95.38 2880236 257858636 234542368 41.56
01:40:01 AM 22265100 473899432 95.51 2880284 258491284 234539036 41.56
01:50:01 AM 21942728 474221804 95.58 2880368 258805604 234539972 41.56
02:00:01 AM 20958556 475205976 95.78 2880380 259756624 234539508 41.56
02:10:01 AM 20321092 475843440 95.90 2880408 260384744 234537416 41.56
02:20:01 AM 19668740 476495792 96.04 2880440 261018868 234540248 41.56
02:30:02 AM 18704004 477460528 96.23 2880516 261957380 234540036 41.56
02:40:01 AM 18058360 478106172 96.36 2880592 262586244 234539772 41.56
02:50:01 AM 17409952 478754580 96.49 2880644 263217012 234540352 41.56
03:00:01 AM 16233628 479930904 96.73 2880664 264359360 234540616 41.56
03:10:01 AM 15563392 480601140 96.86 2880672 265013052 234542048 41.56
03:20:01 AM 14918148 481246384 96.99 2880688 265642768 234540124 41.56
03:30:01 AM 13931136 482233396 97.19 2880700 266594816 234540532 41.56
03:40:01 AM 13219888 482944644 97.34 2880720 267227144 234541040 41.56
03:50:01 AM 12469868 483694664 97.49 2880756 267870236 234540728 41.56
04:00:01 AM 11581872 484582660 97.67 2881140 268720552 234540560 41.56
04:10:01 AM 10918748 485245784 97.80 2881208 269365212 234543700 41.56
04:20:01 AM 10278728 485885804 97.93 2881252 269989280 234540224 41.56
04:30:01 AM 9626788 486537744 98.06 2881296 270632600 234539384 41.56
04:40:01 AM 8971404 487193128 98.19 2881340 271263740 234540560 41.56
04:50:01 AM 7997900 488166632 98.39 2881364 272210448 234540068 41.56
05:00:01 AM 7357512 488807020 98.52 2881404 272836832 234539756 41.56
05:10:01 AM 6697968 489466564 98.65 2881472 273477304 234540636 41.56
05:20:01 AM 5717528 490447004 98.85 2881540 274428440 234540680 41.56
05:30:01 AM 5080900 491083632 98.98 2881608 275051708 234539544 41.56
05:40:01 AM 4419992 491744540 99.11 2881664 275693608 234539100 41.56
05:50:01 AM 3580744 492583788 99.28 2881728 276513040 234539564 41.56
06:00:01 AM 2920576 493243956 99.41 2881764 277152580 234539972 41.56
06:10:01 AM 2276252 493888280 99.54 2881804 277779036 234540080 41.56
06:20:01 AM 1626856 494537676 99.67 2881844 278406136 234540460 41.56
06:30:01 AM 931440 495233092 99.81 2881880 279037796 234540020 41.56
06:40:01 AM 688524 495476008 99.86 2864924 279275548 234539972 41.56
06:50:01 AM 764628 495399904 99.85 2775548 279304244 234539532 41.56
07:00:01 AM 1601476 494563056 99.68 2766996 278476152 234538972 41.56
07:10:01 AM 971444 495193088 99.80 2767012 279106952 234540144 41.56
07:20:01 AM 2193992 493970540 99.56 2250184 278389668 234540232 41.56
07:30:01 AM 1553672 494610860 99.69 2250200 279023616 234539984 41.56
07:40:01 AM 14085744 482078788 97.16 2250184 266487332 234540860 41.56
07:50:01 AM 13429888 482734644 97.29 2250204 267128184 234539924 41.56
08:00:01 AM 12779704 483384828 97.42 2250256 267756648 234541004 41.56
08:10:01 AM 12141188 484023344 97.55 2250292 268380956 234539548 41.56
08:20:01 AM 11490156 484674376 97.68 2250328 269017600 234538472 41.56
08:30:01 AM 10505848 485658684 97.88 2250352 269971724 234540356 41.56
08:40:01 AM 9859088 486305444 98.01 2250380 270601800 234540288 41.56
08:50:01 AM 9212204 486952328 98.14 2250408 271233584 234540132 41.56
09:00:01 AM 8238148 487926384 98.34 2250424 272179460 234539708 41.56
09:10:01 AM 7586876 488577656 98.47 2250452 272813716 234540356 41.56
09:20:01 AM 6531592 489632940 98.68 2250568 273723936 235773844 41.78
09:30:01 AM 5628480 490536052 98.87 2250632 274602780 235773856 41.78
09:40:01 AM 3102292 493062240 99.37 2250732 275286132 237599256 42.10
09:50:01 AM 2261444 493903088 99.54 2250788 276096264 237601864 42.10
10:00:01 AM 1489572 494674960 99.70 2250924 276739384 238840852 42.32
10:10:01 AM 7958004 488206528 98.40 2247372 266397440 242957228 43.05
10:20:01 AM 6735164 489429368 98.64 2245832 267273976 242268364 42.93
10:30:01 AM 5964460 490200072 98.80 2245924 267936068 242733792 43.01
10:40:01 AM 5583484 490581048 98.87 2246112 268090912 242980616 43.06
10:50:01 AM 4353884 491810648 99.12 2246184 269032676 243390752 43.13
11:00:01 AM 3370776 492793756 99.32 2246224 269942712 243565888 43.16
11:10:01 AM 3080248 493084284 99.38 2246252 270224400 243566052 43.16
11:20:01 AM 1835168 494329364 99.63 2246376 271387232 243679260 43.18
11:30:01 AM 1594760 494569772 99.68 2245576 271478756 243827952 43.21
11:40:02 AM 2118628 494045904 99.57 2245564 270282172 244906324 43.40
11:50:01 AM 2037440 494127092 99.59 2245640 270837820 244223160 43.28
12:00:01 PM 861800 495302732 99.83 2245796 271290932 245202212 43.45
12:10:01 PM 2057996 494106536 99.59 2245832 270658924 244769124 43.37
12:20:01 PM 1544508 494620024 99.69 2245892 271096236 244935392 43.40
12:30:01 PM 1608372 494556160 99.68 2245292 271040616 244934596 43.40
12:40:01 PM 748992 495415540 99.85 2245228 271929784 244933432 43.40
12:50:01 PM 770900 495393632 99.84 2245232 271916636 244933608 43.40
01:00:01 PM 726796 495437736 99.85 2245268 271964636 244934060 43.40
01:10:01 PM 770436 495394096 99.84 2245308 271928928 244932640 43.40
01:20:01 PM 710436 495454096 99.86 2245340 272899764 242959448 43.05
01:30:01 PM 718652 495445880 99.86 2245420 272910580 242959924 43.05
01:40:01 PM 1776224 494388308 99.64 2245716 273340980 242451796 42.96
01:50:01 PM 1590336 494574196 99.68 2245628 270796092 248575036 44.05
02:00:01 PM 1467396 494697136 99.70 2245888 271025828 246111964 43.61
02:10:01 PM 2582656 493581876 99.48 2245952 271636920 243610884 43.17
02:20:01 PM 1951508 494213024 99.61 2246004 272275072 243607932 43.17
02:30:02 PM 1801192 494363340 99.64 2246208 272165424 243995592 43.24
02:40:01 PM 1975324 494189208 99.60 2246128 261596304 254518528 45.10
02:50:01 PM 708712 495455820 99.86 2246176 259382596 258058296 45.73
03:00:01 PM 719940 495444592 99.85 2246096 259937280 256763312 45.50
03:10:01 PM 754324 495410208 99.85 2245992 259334472 257180204 45.57
03:20:01 PM 743740 495420792 99.85 2246064 259305364 257306944 45.60
03:30:01 PM 923136 495241396 99.81 2246180 258919080 257669084 45.66
03:40:01 PM 743656 495420876 99.85 2246308 259292944 257514848 45.63
03:50:01 PM 7226828 488937704 98.54 2246400 272345252 236877472 41.98
04:00:01 PM 6597732 489566800 98.67 2247212 272948416 236914312 41.98
04:10:01 PM 6178140 489986392 98.75 2247828 273614048 236721576 41.95
04:20:01 PM 5022692 491141840 98.99 2247980 274767316 236783280 41.96
04:30:01 PM 4387976 491776556 99.12 2248116 275400068 236844840 41.97
04:40:01 PM 3743432 492421100 99.25 2248152 276042716 236936588 41.99
04:50:01 PM 2531460 493633072 99.49 2248204 276894156 237426580 42.07
05:00:01 PM 2404540 493759992 99.52 2248232 277384636 237049736 42.01
05:10:03 PM 891272 495273260 99.82 2248200 276884300 239825032 42.50
05:20:01 PM 2121464 494043068 99.57 2248236 277025952 238147368 42.20
05:30:01 PM 2040828 494123704 99.59 2248268 277769888 237343128 42.06
05:40:01 PM 1049132 495115400 99.79 2248288 278407004 237910912 42.16
05:50:01 PM 756668 495407864 99.85 2248156 277249348 239415328 42.43
06:00:01 PM 2388784 493775748 99.52 2248140 270792720 245547044 43.51
06:10:01 PM 2748016 493416516 99.45 2248172 269984332 245999276 43.59
06:20:01 PM 1546180 494618352 99.69 2248188 270524708 251801592 44.62
06:30:01 PM 2347840 493816692 99.53 2248220 270351960 246124544 43.61
06:40:01 PM 890372 495274160 99.82 2251184 271355228 246464368 43.67
06:50:01 PM 902268 495262264 99.82 2251200 271359944 246496660 43.68
07:00:01 PM 1414124 494750408 99.71 2251236 270855232 246566180 43.69
07:10:01 PM 705184 495459348 99.86 2251252 271485492 246671520 43.71
07:20:01 PM 709748 495454784 99.86 2251248 271375608 246805936 43.73
07:30:01 PM 744488 495420044 99.85 2251288 271357348 246798868 43.73
07:40:01 PM 1189372 494975160 99.76 2251308 270419612 247510368 43.86
07:50:01 PM 777224 495387308 99.84 2251324 269365888 249392636 44.19
08:00:01 PM 2129264 494035268 99.57 2251340 269624288 247393092 43.84
08:10:01 PM 2152756 494011776 99.57 2251352 270019656 246822912 43.74
08:20:01 PM 1216536 494947996 99.75 2251356 270933184 246821824 43.74
08:30:01 PM 734060 495430472 99.85 2250080 271474564 246822948 43.74
08:40:01 PM 716828 495447704 99.86 2250088 271508000 246819528 43.74
08:50:01 PM 713128 495451404 99.86 2250092 271525740 246820168 43.74
09:00:01 PM 755800 495408732 99.85 2250088 271507664 246819764 43.74
09:10:01 PM 735296 495429236 99.85 2250084 271542788 246820636 43.74
09:20:01 PM 743400 495421132 99.85 2250084 271528644 246820140 43.74
09:30:01 PM 767192 495397340 99.85 2250144 271530108 246819732 43.74
09:40:01 PM 704968 495459564 99.86 2254448 271582200 246822864 43.74
09:50:04 PM 750712 495413820 99.85 2272276 272960656 244144548 43.26
10:00:01 PM 2573040 493591492 99.48 2353336 272396108 242226408 42.92
10:10:01 PM 4893692 491270840 99.01 2422208 270333864 242126908 42.91
10:20:01 PM 925452 495239080 99.81 2446272 273830544 242515408 42.97
10:30:01 PM 15370824 480793708 96.90 2476520 261819756 240798512 42.67
10:40:01 PM 5269864 490894668 98.94 2499596 268329840 256952296 45.53
10:50:01 PM 739280 495425252 99.85 2529768 274246324 242129992 42.91
11:00:01 PM 5222048 490942484 98.95 2538340 269896048 242128400 42.91
11:10:11 PM 700880 495463652 99.86 2553228 273335936 243009172 43.06
11:20:01 PM 722900 495441632 99.85 2557904 273524760 243009488 43.06
11:30:02 PM 796356 495368176 99.84 2561472 271372456 245252760 43.46
Average: 6371523 489793009 98.72 2456315 269758985 240642012 42.64
总结：通过该输出可以看到内存的使用率从凌晨开始到晚上宕机前的使用率一直都是95左右，一整天内存的使用率都是很大的，内存趋于被吃完的境况，证明刚才判断的内存成为瓶颈是正确的。
[root@cam63 log]# last -x -f /var/log/wtmp |more
总结：在该输出中可以看到服务器中每个用户登录、注销，最重要的是系统的启动、停机的事件 时间
/var/log/wtmp也是一个二进制文件，记录每个用户的登录次数和持续时间等信息。
该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件。因此随着系统正常运行时间的增加，该文件的大小也会越来越大，
增加的速度取决于系统用户登录的次数。该日志文件可以用来查看用户的登录记录，
last命令就通过访问这个文件获得这些信息，并以反序从后向前显示用户的登录记录，last也能根据用户、终端tty或时间显示相应的记录。
查看方法：
可以用last命令输出当中内容：
debian:/var/log# last
debian pts/9 221.215.176.148 Thu Oct 17 10:15 still logged in
debian pts/8 221.215.176.148 Thu Oct 17 09:56 still logged in
debian pts/7 221.215.176.148 Thu Oct 17 09:32 - 10:44 (01:12)
root pts/5 114.255.31.253 Thu Oct 17 09:30 - 10:20 (00:50)
root pts/4 114.255.31.253 Thu Oct 17 09:30 - 10:20 (00:50)
..
或者用last -f /var/log/wtmp
last 命令：
功能说明：列出目前与过去登入系统的用户相关信息。
语 法：last [-adRx][-f ][-n ][帐号名称...][终端机编号...]
补充说明：单独执行last指令，它会读取位于/var/log目录下，名称为wtmp的文件，并把该给文件的内容记录的登入系统的用户名单全部显示出来。
参 数：
-a 把从何处登入系统的主机名称或IP地址，显示在最后一行。
-d 将IP地址转换成主机名称。
-f 指定记录文件。
-n 或- 设置列出名单的显示列数。
-R 不显示登入系统的主机名称或IP地址。
-x 显示系统关机，重新开机，以及执行等级的改变等信息。