aio-max-nr达到上限导致数据库性能问题

问题说明：

rac数据库节点一表面上看由于归档等待事件导致业务性能问题。

问题分析过程：

查看awr报告top事件，等待事件主要为归档切换问题：

查看事件，归档等待达到20多分钟

检查节点alert日志发现，最早12点53分49秒就有归档失败报错，如下：

到13:19:39的时候，发生了所有online logs需要归档，导致数据库等待归档事件，如下：

查看最早发生归档异常时间段的trace日志，如下图：

在告警中，报asynch I/O内核限制，主要是由于异步IO请求达到AIO-MAX-NR的上限。
查看当前内核参数配置，cat /etc/sysctl.conf，如下图：

结论及解决：

结论分析

异步IO请求达到AIO-MAX-NR的上限，导致后续文件句柄不能生成，不能打开新的文件，所以导致归档不能打开写入到本地。

解决方案

1. 优化内核参数，建议调整如下参数：

调整fs.aio-max-nr为当前1.5倍，并同时调整file-max、fs.aio-nr为当前1.5倍，fs.aio-nr没有设置，可以通过“sysctl -a|grep aio”命令查看当前的fs.aio-nr配置，具体设置值参考如下：
fs.aio-max-nr = 4718592
fs.file-max = 10223616
使用“sysctl -p”使参数生效。
aio-max-nr ：允许的并发请求的最大个数，一是来自网络的I/O；二是对文件(设备)的I/O。
对于服务器程序，I/O是制约系统性能最关键的因素。对于需要处理大量连接的高并发服务器程序，异步I/O几乎是不二的选择。