网站流量诊断及分析技术

近一个月以来，笔者所在公司运营的网第（ [url]www.wondi.cn[/url]）等网站访问速度感觉越来越慢。由于一直在专心处理别的事情，没有顾及过来。上周四上午开始，访问速度极其糟糕。

唐僧西天取经，经历九九八十一难。在随后的三天，通过技术手段对网站流量进行了全方位的分析。已成功地将服务器流量从1.5m/s以上降低到0.5m/s以下，服务器访问速度得到很大的提升。在此特别将这些技术手段记录下来，以籍总结和分享。

1. 分析各服务器的带宽使用情况

由于我们是多台服务器独享2M带宽，所以我们第一步是需要分析各服务器的带宽使用情况。我们通过查看各服务器任务管理器的“联网”实时数据即可知道大致流量情况。网络应用的平均使用率乘以线路速度就得到这台服务器的平均占用带宽。以下是一个查看服务器带宽使用的图示：

不要人为地认为服务器的网站内容简单，流量肯定不大。这次笔者就犯了这个错误，而导致没有去认真查看内容简单的服务器。而实际上真正占用带宽资源的就是这台服务器。

2. 诊断服务器上的IP带宽使用情况

通过第一步分析，我们了解每台服务器的带宽占用情况。对于带宽占用超过预估的服务器，我们需要进一步进行诊断。由于一台服务器上可以配置多个IP地址，因此我们需要了解不同IP的带宽使用情况。

在网络连接属性中，我们分别取消具体的IP地址，观测流量的变化即可知道这个IP大致的占用带宽比例。这种分析方法也适合在遭受恶意攻击时使用。

3. 分析各个网站的带宽使用情况

通过第二步分析，我们对流量在各个IP之间的占用比例有了大致的了解。我们需要对流量异常的IP进行进一步分析。由于同一IP下可能开设不同的网站或服务，所以我们需要逐一关闭单个网站或服务来观测流量变化。

需要特别注意的是：对于DOS等恶意攻击行为，关闭网站或服务是不能检测到流量的变化，而需要配合第二步，同时将域名解析逐一关闭掉进行跟踪分析才能得到受攻击的网站或IP。

4. 分析访问日志的具体行为

通过第三步跟踪，我们知道了出现异常的网站或服务，或者是被恶意攻击的网站或IP。对此，我们需要启用IIS或其他服务的访问日志记录。通过日志分析，我们能够了解异常流量的IP来源和行为。针对具体网站或服务，最好有独立的访问日志文件。

这次我们得到的访问日志分析结果为：YodaoBot爬虫大量访问根本不存在的mp3文件，Sosospider爬虫太过频繁地访问页面。至今还不知道YodaoBot为什么拼命爬根本不存在的mp3文件？

5. 对症下药

针对第四步的分析结果，我们设置了爬虫访问限制，详细参考“禁止搜索引擎爬虫”一文。然而出乎意料的是YodaoBot和Sosospider竟然不理会爬虫规则，看来这些爬虫需要改进的工作不少。

需要特别说明的是：设置IIS限制IP访问不能限制IP的访问来源，只限制页面的访问权限。对于上述的爬虫虽然设置其IP访问限制，但占用的带宽资源依然没有得到释放。

最后只能开出一方猛药：在防火墙上限制其IP段！由于我们用的是Windows自带的防火墙，不能设置IP限制。经过咨询一位做网管的专家，可以在Windows的本地安全策略中的“IP安全策略”中进行设置。创建新的IP安全策略，添加新的IP安全规则及IP筛选器，添加新的筛选器操作。完成IP安全策略的建立后，最后记得需要“指派”此IP安全策略，重新启动IIS或其他服务后生效。

6. 恶意攻击

笔者了解到不少知名网站都曾遭受到服务器恶意攻击的事件。面对恶意攻击，我们需要确定被攻击目标是域名还是IP，如果被攻击目标是IP则只需要禁用被攻击的IP，把域名更换到没有被攻击的IP上即可。如果被攻击目标是域名，则是个很头疼的问题，如果简单把域名停用掉，则用户也访问不了。比较好的做法是把被攻击域名指向一台临时服务器，临时服务器上设置一个用户提示或自动跳转页面，再让用户访问真正的网站，真正的网站需要用一个临时域名。

经过第一步到第五步的处理，网站流量得到很大的改观。以下是处理前后的流量对比图：

参考内容：

禁止搜索引擎爬虫

[url]http://hi.baidu.com/ksir/blog/item/ec3cc3263ae93b158a82a1ca.html[/url]

本次占用带宽资源的爬虫及IP段信息

61.135.220.*为YodaoBot

124.115.0.*为Sosospider

124.115.4.*为Sosospider

0人

了这篇文章

类别：未分类┆阅读( 0)┆评论( 0) ┆ 返回博主首页┆ 返回博客首页

上一篇 网速变慢原因分析 下一篇 上网入门之Skype软件介绍

相关文章

• 怎样通过流量分析来检测病毒
• 【原创分析】从技术角度分析陈冠希事件的必然性
• Cisco路由器故障诊断技术(1)

职位推荐

• 前台兼人事助理
• 高级系统运维工程师
• 信息安全研究工程师
• 桌面工程师
• 系统工程师

文章评论

 

 

发表评论            

昵  称：

登录  快速注册

验证码：

点击图片可刷新验证码请点击后输入验证码博客过2级，无需填写验证码

内  容：

同时赞一个

每日博报 精彩不止一点

Copyright By 51CTO.COM 版权所有