打点系统优化HTTP请求

为更好的理解用户,互联网公司会将用户的行为收集上来进行分析,打点系统应运而生。但互联网公司的用户数都比较多,而且每个用户的行为也很多,这样服务器收到的打点请求就非常多,QPS非常高,对web服务器的要求也会非常之高。为提升整个打点系统的性能,可以采用以下几个方式。

减少打点的次数

常规的方案是将多个行为事件合并后上传,以减少单个客户端的上报次数,这会导致一个事件触发后,事件没有及时上传,从而影响上报率。该方法是在上报率和服务器资源之间的一种折中方案。根据需要,可以根据事件的优先级,分不同的打包策略和上传策略。优先级高的行为,尽量一发生就生成包上传。优先级低的行为,可以将多个行为合并后上传,然后服务端基于统计学的原理来分析数据

使用长连接通道

使用长连接通道可以减少客户端和服务端之间的HTTP握手次数,以此减少服务器的负载,该方法适合用户使用时间长的场景。

优化NGINX和web服务器之间的连接

部分打点系统在qps高的时候丢失数据,为解决该问题,我们经常采用加服务器的方法。后面运维在nginx调整了一个参数,让nginx和下游web服务保持长连接,一下将web服务的CPU负载降了下来,提高了单台web服务的负载能力。

避免流量尖峰的出现

带宽、服务器数目等资源往往是由QPS的最高值决定的,而不是平均值决定的。为保证服务可用性,当打点的峰值在10万QPS时,系统就必须保证整个服务能撑起10万的QPS,否则服务的可用性就比较差。为了减少流量尖峰的影响,在设计系统的时候就要尽量避免。如果当时没避免,后面也可以通过观察打点服务的QPS曲线,找到QPS出现尖峰的时候,分析QPS高的原因,看是否可以想办法在业务逻辑上避免,或者在尖峰时刻给每个客户端打点加个随机的延迟,以将尖峰销平。

以上优化打点的方式是我们在工作采用的常规方案,灵活应用的话,可节约一大笔服务器费用。

你可能感兴趣的:(设计,开发)