奥塔在线：一个投票系统的架构演进

近期，大叔参与了一个少儿活动投票系统的研发及运维，受益良多，特与广大技术同行进行分享。

该次投票活动在多个平台同时开展，包括手机端、网站、IPTV端的投票系统，行业术语称为“多屏互动投票平台”。由于最开始对用户的热情未正确评估，对于一些“非常规”行为也未做控制，导致高峰期整个系统崩溃。在当时，用户投诉几乎把客服电话打爆，活动现场工作人员也几乎被家属亲友围攻，大叔在后端支撑时也急得抓耳饶头，怎一个乱字了得！

 

图1系统架构

 

高峰期在管理后台上查看连接，情况如下图：

如上图所示，系统总连接数峰值达到23204，其中ESTABLISHED状态有474个连接，TIME_WAIT有21418个连接。此时系统已经无法正常连接，手机客户端H5页面展示异常。

 

未做使用Nginx做负载，轮询转发所有请求。

图2架构演进图

 

经过调整系统架构、修订业务流程、优化Nginx参数后，整个平台运行基本正常。