TPS、QPS等相关

一、软件性能的关注点

想想在软件设计、部署、使用、维护中一共有哪些角色的参与，然后再考虑这些角色各自关注的性能点是什么，又该关注什么？

1️⃣用户的角度

用户关注的是用户操作的相应时间。

2️⃣管理员的角度

1. 响应时间
2. 服务器资源使用情况是否合理
3. 应用服务器和数据库资源使用是否合理
4. 系统能否实现扩展
5. 系统最多支持多少用户访问、系统最大业务处理量是多少
6. 系统性能可能存在的瓶颈在哪里
7. 更换那些设备可以提高性能
8. 系统能否支持7×24小时的业务访问

3️⃣开发(设计)人员角度

1. 架构设计是否合理
2. 数据库设计是否合理
3. 代码是否存在性能方面的问题
4. 系统中是否有不合理的内存使用方式
5. 系统中是否存在不合理的线程同步方式
6. 系统中是否存在不合理的资源竞争

二、软件性能的几个主要术语

1️⃣响应时间：对请求作出响应所需要的时间

1. 网络传输时间：N1+N2+N3+N4
2. 应用服务器处理时间：A1+A3
3. 数据库服务器处理时间：A2

响应时间=N1+N2+N3+N4+A1+A3+A2

2️⃣并发用户数的计算公式

1. 系统用户数：系统额定的用户数量，如一个 OA 系统，可能使用该系统的用户总数是 5000 个，那么这个数量，就是系统用户数。
2. 同时在线用户数：在一定的时间范围内，最大的同时在线用户数量。
3. 同时在线用户数=每秒请求数RPS(吞吐量)+并发连接数+平均用户思考时间
4. 平均并发用户数的计算：C=nL / T

其中 C 是平均的并发用户数，n 是平均每天访问用户数(login session)，L 是一天内用户从登录到退出的平均时间(login session的平均时间)，T 是考察时间长度(一天内多长时间有用户使用系统)

5. 并发用户数峰值计算：C^ 约等于C + 3*根号C

其中 C^ 是并发用户峰值，C 是平均并发用户数，该公式遵循泊松分布理论。

3️⃣吞吐量的计算公式

吞吐量：指单位时间内系统处理用户的请求数。

1. 从业务角度看，吞吐量可以用：请求数/秒、页面数/秒、人数/天或处理业务数/小时等单位来衡量。
2. 从网络角度看，吞吐量可以用：字节/秒来衡量

对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，能够说明系统的负载能力。以不同方式表达的吞吐量可以说明不同层次的问题，例如，以字节数/秒方式可以表示数要受网络基础设施、服务器架构、应用服务器制约等方面的瓶颈；以请求数/秒的方式表示主要是受应用服务器和应用代码的制约体现出的瓶颈。当没有遇到性能瓶颈的时候，吞吐量与虚拟用户数之间存在一定的联系，可以采用以下公式计算：F=VU * R

其中 F 为吞吐量，VU 表示虚拟用户个数，R 表示每个虚拟用户发出的请求数，T 表示性能测试所用的时间。

4️⃣性能计数器

是描述服务器或操作系统性能的一些数据指标，如使用内存数、进程时间，在性能测试中发挥着“监控和分析”的作用，尤其是在分析统统可扩展性、进行新能瓶颈定位时有着非常关键的作用。

资源利用率：指系统各种资源的使用情况，如 cpu 占用率为 68%，内存占用率为 55%，一般使用资源实际使用/总的资源可用量形成资源利用率。

5️⃣思考时间的计算公式

Think Time，从业务角度来看，这个时间指用户进行操作时每个请求之间的时间间隔，而在做新能测试时，为了模拟这样的时间间隔，引入了思考时间这个概念，来更加真实的模拟用户的操作。

在吞吐量这个公式中F=VU * R / T说明吞吐量 F 是 VU 数量、每个用户发出的请求数 R 和时间 T 的函数，而其中的 R 又可以用时间 T 和用户思考时间 TS 来计算：R = T / TS

下面给出一个计算思考时间的一般步骤：

1. 首先计算出系统的并发用户数
   C=nL / T F=R×C

2. 统计出系统平均的吞吐量
   F=VU * R / T R×C = VU * R / T

3. 统计出平均每个用户发出的请求数量
   R=u*C*T/VU

4. 根据公式计算出思考时间
   TS=T/R

三、系统吞度量要素

一个系统的吞度量(承压能力)与 request 对 CPU 的消耗、外部接口、IO 等等紧密关联。单个 reqeust 对 CPU 消耗越高，外部系统接口、IO 影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS(TPS)、并发数、响应时间

1️⃣QPS(TPS)：每秒钟 request/事务数量。

1. QPS：Queries Per Second。意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

2. TPS：Transactions Per Second。意思是事务数/秒。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数，最终利用这些信息来估计得分。客户机使用加权协函数平均方法来计算客户机的得分，测试软件就是利用客户机的这些信息使用加权协函数平均方法来计算服务器端的整体 TPS 得分。

2️⃣并发数：系统同时处理的 request/事务数。

3️⃣响应时间：一般取平均响应时间。

4️⃣它们之间的关系：QPS(TPS) = 并发数/平均响应时间

四、系统吞吐量评估

在做系统设计的时候就需要考虑 CPU 运算、IO、外部系统响应因素造成的影响以及对系统性能的初步预估。而通常境况下，面对需求评估出 QPS、并发数之外，还有另外一个维度：日 PV。

通过观察系统的访问日志发现，在用户量很大的情况下，各个时间周期内的同一时间段的访问流量几乎一样。比如工作日的每天早上。只要能拿到日流量图和 QPS，就可以推算日流量。通常的技术方法：

1️⃣找出系统的最高 TPS 和日 PV，这两个要素有相对比较稳定的关系(除了放假、季节性因素影响之外)。
2️⃣通过压力测试或者经验预估，得出最高 TPS，然后跟进1️⃣的关系，计算出系统最高的日吞吐量。