记一次IHS无法启动解决过程

周末有项目反应有系统启动webseal的时候无法访问门户，远程过去，现场人员演示问题：

1、启动服务器一的webseal的时候，浏览器报错

third server no response

2、启动服务器二的webseal的时候，可以正常访问门户系统

附上服务器部署结构图（简单版） ：

注：webseal是IBM的TAM的组件，httpserver是IBM HTTP Server,appServer是IBM WebSphere Server

通过错误可以知道，是由于第三方服务器无响应。

步骤一：通过url排查是否是中间件的问题

解决问题的思路是先排查问题，到底是什么问题，从浏览器输入的请求会经过多少个中间件系统，然后到达业务应用，然后是数据库或者文件系统。

通过浏览器上url的测试，发现是httpserver1没启动。通过ssh连接上服务器，输入启动命令:

apachectl start

通过linux命令查看端口是否已经在监听了

netstat -nap | grep 82

通过命令发现82(IHS的监听端口)并未在监听

步骤二：解决IHS无法启动的问题

中间件无法启动的问题主要从以下几个方面去思考：

1. 中间件文件损坏；
2. 日志文件过大，日志无法写入；
3. 监听端口被占用；
4. 服务器硬盘满了
5. IP地址更换
6. 其他（以我的见识只能想到这几点了）

正所谓无风不起浪，通过和现场实施人员的沟通，知道，发现问题是出在前晚的空间扩容上，并在排查了以下现象：

1. 中间件文件损坏；
2. 移除日志文件，并新建一个空的日志文件也无法启动IHS
3. 监听端口未被占用
4. 服务器磁盘空间未满，至少IHS安装的目录依然可以读写
5. IP地址未更换
6. 通过下面命令发现安装配置没问题

   apachectl -t

7. 通过下面命令发现启动日志中没错误

   apachectl -e DEBUG

8. 授予安装目录最高权限

   chmod 777 -R HTTPServer1

9. 启动依旧没端口监听，logs中依旧没有httpd.pid文件，进程号
10. 同台机存在正常启动的IHS（是其他appserver上的ihs），
11. 通过下面命令发现很多启动命令的进程号

    ps -ef | grep http

步骤三：重启服务器

这时候最坏的情况，就是文件有损坏，很多问题通过重启系统可能都有好转，于是重启系统，可是重启系统之后问题依旧。

步骤四:复制正常的IHS

本着不重新安装的思想，因为同机有另一个appserver的ihs可以正常启动，打算复制正常的IHS，一开始走了一条弯路：我复制的是同机的其他appserver的IHS，步骤：

1. 移走IHS1（有问题的）
2. 复制正常的IHS到IHS1的位置
3. 替换IHS1（有问题的）下的/conf文件到复制之后的IHS1上
4. 启动发现，监听的端口居然是IHS的，不知所措，怎么修改conf下的http.conf文件都不起作用

，这IHS分发着其他appserver上面的应用的静态文件，而且监听端口也不一样，于是复制服务器2，和IHS1处于同等位置的IHS2，监听端口也是82，都是同一个应用集群上的IHS，尝试之后，居然可以启动，但是到was控制台，不管怎么重新生成插件，发布插件，重建webserver，应用都无法通过IHS1的监听端口进行访问。

步骤四：重新安装IHS

在重新安装了IHS，安装目录是HTTPServer2(原来是HTTPServer1)，并打上和原来相同版本的补丁之后，通过控制台创建webserver，并生成插件，发布插件之后成功通过新安装的监听端口访问应用，原本问题到这里就解决了，但是新安装的目录和原本的目录不一样，本着精益求精的思想，做了一下操作：

1. 移走HTTPServer1
2. 修改HTTPServer2文件夹名成HTTPServer1
3. 替换新安装的IHS中的conf文件夹（用出问题的conf文件夹替换，这样可以达到新安装的IHS可以拥有和原来相同的优化参数）

用启动命令启动时发现无法启动，说找不到HTTPServer2目录，于是大胆的把出问题的bin文件夹替换到新安装的bin文件夹下，发现可以正常启动，一切正常，于是在was控制，新建webserver,生成插件发布插件，一切都好使，并检查原来出问题的现象，也消失，问题到这里就解决了。。。

记一次服务器出错的解决思路。。。流水账

转自：http://linjunlong.com/p/1186.html