系统限流实践 - 理论篇

本文是根据开涛的博客 聊聊高并发系统之限流特技-1 整理而成，自学笔记

目录

1.系统限流实践 - 理论篇
2.系统限流实践 - 应用限流
3.系统限流实践 - 分布式限流
4.系统限流实践 - 接入层限流(上)
5.系统限流实践 - 接入层限流(下*完结)

开篇

在开发高并发系统的时候，有三种方法来保护我们的系统
- 缓存
缓存的目的是为了提升系统访问量，增大系统处理的容量
- 降级
降级是当服务出问题或者影响到核心流程的性能，暂时屏蔽掉服务，保证核心服务的正常
- 限流
限流是为了限制某些不能用缓存和降级来解决的场景，例如稀缺资源（秒杀、抢购）、写服务（评论、下单）、频繁的复杂查询（评论的最后几页），因此需要一种手段来限制这些场景的并发/请求量，即限流

限流的手段

• 应用级限流
• 分布式限流
• 接入层限流

限流算法

令牌桶算法

令牌桶算法是一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌
- 假设限制速率为2r/s，则按照500毫秒的速率往令牌桶添加令牌
- 令牌桶最多存放b个令牌，当桶满的时候，新的令牌会被抛弃或拒绝
- 当一个n个字节大小的数据包到达，将从桶中删除n个令牌，接着发送数据包到网络上
- 如果桶中的流量不足n个，则不会删除令牌，该数据将被限流（要么丢弃，要么缓存）

漏桶算法

漏桶算法是网络世界中流量整形（Traffic Shaping）或速率限制（Rate Limiting）时经常使用的一种算法
- 一个固定容量的漏桶，按照常量固定速率流出水滴
- 如果桶是空的，则不需要流出水滴
- 可以以任意速率流入水滴到漏桶
- 如果流出水滴超出了桶的容量，则流入的水滴溢出（被丢弃），则漏桶的容量是不变的

令牌桶与漏桶算法的对比

• 令牌桶是按照固定速率往桶中添加令牌，请求是否被处理需要看桶中令牌是否足够，当令牌数减为零时则拒绝新的请求
• 漏桶则是按照常量固定速率流出请求，流入请求速率任意，当流入的请求数累积到漏桶容量时，则新流入的请求被拒绝
• 令牌桶限制的是平均流入速率（允许突发请求，只要有令牌就可以处理，支持一次拿3个令牌，4个令牌），并允许一定程度突发流量
• 漏桶限制的是常量流出速率（即流出速率是一个固定常量值，比如都是1的速率流出，而不能一次是1，下次又是2），从而平滑突发流入速率
• 令牌桶允许一定程度的突发，而漏桶主要目的是平滑流入速率

总结

开篇介绍了限流的一些基本知识，接下来会学习怎样对系统进行限流。

参考资料：

• 开涛的博客-聊聊高并发系统之限流特技-1-http://mp.weixin.qq.com/s?__biz=MzIwODA4NjMwNA==&mid=2652897781&idx=1&sn=ae121ce4c3c37b7158bc9f067fa024c0#rd

欢迎关注个人公众号