网管的三个重要服务：AAA、NTP和SYSLOG

   新浪微博： @wandering

    博客地址：  dayong.info

   我就职于一家互联网企业，主要工作是网络管理，准确的说是面向IDC生产网络的设计与维护，架构勉强有一些吧，距离自己心中的架构还远得很。专职做网络差不多快5年了，之前系统、开发都涉及一点，但过于肤浅毫无建树以至于浪费了大好时光，如果早点进入专项的技术方向就好了，当然这只是个人看法，因人而异。

   公司大大小小几十个机房分布在全国各地，网络结构比较简单，只是多年积累下来的陈年旧账、面对特殊情况产生的特殊问题，给网络维护、发展带来一些麻烦，也遇到不少有意思的问题、挑战，加上网络团队的同事都是真正做技术的人，因此几年下来感觉有了不小的收获。

   在工作中遇到的很多问题，很多企业在其网络发展过程中，很多网络工程师在其成长过程中，都会遇到，因此想聊一聊自己遇到的有意思的事情，希望可以在分享的过程中有所收获。

   ＯＫ，切入正题：我是如何实现AAA、NTP和SYSLOG的。

   为什么自己会比较重视这三项服务呢？

   公司网络发展，初期是比较缓慢的，中期随着关键业务的快速发展，要求所有相关基础服务也快速跟进，这时因为不得不保证速度和规模，而没有考虑太多细节。当前，不但要求网络规模增长快速，互联网业务类型也多样化发展，由先前的南北向流量为主，变成了东西向流量占据了半壁江山，高密度万兆接入、低延时高可靠数据交换、中大规模分布式应用、跨地域的复杂网络应用、大数据等等，这些因素要求网络达到更高标准，以面对各种各样的问题。

   但不管有多少问题，首先要解决的是故障。

   处理故障，最起码要能够登录设备，而早期遇到的问题是，某台设备上有哪些帐号、可以从哪儿登录，拥有什么权限还是个***烦。即使登录到设备上，会发现无法得知谁在什么时间做了什么事、设备在什么时间发生了什么事，或者获得的数据不完整、不准确。这些都极大地影响了故障处理效率，也是必须解决的基本问题。

   同时，这三项服务是网络管理自动化的基础。

   通过两期工作实现了让自己满意的上述三项服务。

   一期是对已有服务的整理，主要解决的问题是

   1）确保所有网管服务器上都运行这三项服务。

   2）确保软件版本、配置、数据一致。

   3）确保服务可用性，降低服务中断时间。

   在实施过程中遇到很多问题，如操作系统不一致导致的软件版本无法统一不得不分化为两套标准，如软件过于复杂导致配置和数据同步的复杂化，如配置变更带来的巨大工作量和操作失误引起的服务不可用，网管服务器双机HA可用性及主备切换后带来的配置有效性、数据差异消除问题等等。

   最终一期完成，基本实现了上述目标。但却推动自己下定决心，一定要从根本上解决问题。

*注：

一期使用的tacacs+软件tac_plus来自 http://www.networkforums.net/ ，更新缓慢、安装配置复杂、需要额外数据库和web支持、支持文档极少。web使用apache，数据库为mysql4（不支持5.0以上版本）。ntp使用系统自带ntp程序，受操作系统类型、版本影响较大。syslog使用syslog-ng 2.1.4。

   二期是服务重构。

   1）软件重新选型

   tacacs+ 使用 http://www.pro-bono-publico.de/projects/tac_plus.html 的 tac_plus。优点是功能强大，配置简单，方便同步，稳定可靠，更新及时，对新设备支持好。

   ntp 对比了 http://www.openntpd.org 和 http://www.ntp.org 选择了后者。优点是短小精悍，可靠稳定。

   syslog 使用 http://www.balabit.com/network-security/syslog-ng/ 的 open-source 3.x 版本。优点是功能强大，可靠稳定。

   2）统一环境

   操作系统全部更新为CentOS 5，tac_plus、ntp、syslog-ng全部统一版本。

   最重要的是，除ntp外，tac_plus和syslog-ng在所有网管服务器上都使用同一配置文件，这极大地简化了配置同步和服务管理。其实ntp也可以使用一份配置文件，但考虑到ntp配置变化极少、安全风险小，故未实现。

   3）服务监护和配置同步

   通过shell脚本对tac_plus、ntp和syslog-ng服务检查，确保服务正确运行。

   通过shell脚本实现tac_plus和syslog-ng的配置自动下发和更新，以及配置更新后的服务重启。以及对网管服务器上的服务检查脚本、监控脚本等各类保障程序的自动下发和更新。

   通过rsync将分散在不同IDC的网管服务器收集的网络设备的syslog集中到备份服务器归档。

   4）维护服务搭建文档，提供统一的安装文件集

   在对所有网管服务器全面升级时，根据文档，单服务器搭建环境不超过30分钟，当然前提是对整体环境有一定了解。

   5）实现了syslog-ng配置文件的程序化创建，实现了tac_plus配置文件的动态部分的程序化创建

   由于公司的公网、私网网段就有上千个，并且变更频繁，靠人工去维护syslog-ng配置文件，不但工作量巨大，也非常容易出错，并且不易排错，因此达成此事。这件事的重点是，要维护一套靠谱的网络信息库，每家公司都面临cmdb的各种问题，有机会单独聊一聊。

   6）实现了对所有IDC重要交换机和路由器的配置自动备份，以及对配置自动分析和报警。

   配置分析还很基础，但的确帮了大忙，人总是会出错的。

   在二期实现过程中，放弃原有的HA双机结构，因为相比其带来的好处，给管理带来了很多麻烦，在系统和网络的精力投入分配上，必须有所取舍。

   但是，网管服务器的容错是必须解决的问题，备选方案是在网络设备上指向多个不同的网管服务器，从网络设备配置上实现冗余的效果。另外一个思路，是在虚拟机上搭建网管环境（aaa+ntp+syslog），发生问题时在冷备服务器上快速启用虚拟机，并且由于已经实现了全网单一配置文件，那么只要维护一个虚拟机版本，基本就可以无限地扩展网管服务器的部署了（*注：仅限于思路，并未实现）。

   以上就是实现AAA(tac_plus)、NTP和SYSLOG的过程，并没有讲很具体的实现细节，更重要的是想法和思路吧。如果有需要，会分享实现方法的一些思路。