RPC Benchmark Round 1

几乎所有的 RPC 框架都宣称自己是“高性能”的, 那么实际结果到底如何呢, 让我们来做一个性能测试吧.

项目地址: https://github.com/hank-whu/rpc-benchmark

测试说明

  • 仅限于Java.
  • 客户端使用JMH进行压测, 32 线程, 10 次预热, 3 次运行.
  • 每次运行前都会执行 killall java, 但没有在每轮测试时重启操作系统.
  • 所有类库版本在发布时都是最新的, 除非存在bug.
  • 所有框架都尽量参考该项目自带的Benchmark实现.
  • 将会一直持续, 不定期发布测试结果.

测试用例

  1. boolean existUser(String email), 判断某个 email 是否存在.
  2. boolean createUser(User user), 添加一个 User.
  3. User getUser(long id), 根据 id 获取一个用户.
  4. Page listUser(int pageNo), 获取用户列表.

运行结果

生成时间: 2018-01-28 14:36:24.

硬件环境: 阿里云 ecs.c4.xlarge, Intel Xeon E5-2667v4, 4CPU 8GB RAM 两台.

软件环境: Ubuntu x64 16.04.5, Java HotSpot(TM) 64-Bit Server VM 9.0.4+11.

启动参数: java -server -Xmx1g -Xms1g -XX:MaxDirectMemorySize=1g -XX:+UseG1GC.

existUser 判断某个 email 是否存在

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 107.05 0.28 0.40 0.87 4.06
netty 99.81 0.32 0.40 0.52 1.16
jupiter 73.07 0.44 0.66 1.49 2.92
undertow 70.38 0.45 1.16 2.17 32.48
turbo-rest 68.49 0.44 1.17 2.15 25.66
undertow-async 62.65 0.49 1.14 2.41 24.84
dubbo-kryo 57.35 0.53 0.67 1.02 11.65
rapidoid 52.96 0.61 1.32 2.51 25.07
dubbo 52.12 0.54 0.67 0.92 3.93
motan 44.96 0.71 1.15 2.47 33.39
aeron 43.46 0.90 1.32 5.10 14.29
grpc 38.97 0.84 1.07 1.31 6.06
thrift 27.25 1.59 0.16 64.87 122.83
hprose 26.24 1.26 1.53 2.01 8.34
springwebflux 22.39 1.42 2.27 3.19 17.20
springboot 12.54 1.68 2.38 13.63 33.20

createUser 添加一个 User

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 84.95 0.39 0.50 1.45 4.01
netty 76.45 0.48 0.49 0.79 1.87
jupiter 64.57 0.50 0.68 1.37 2.79
undertow 62.47 0.51 1.17 2.76 20.10
turbo-rest 58.21 0.57 1.23 2.84 22.35
undertow-async 56.19 0.59 1.36 3.73 24.50
dubbo-kryo 42.37 0.72 0.94 1.33 16.75
motan 42.16 0.79 1.23 2.39 30.97
grpc 41.56 0.77 0.93 1.24 4.41
aeron 37.74 0.89 1.35 3.85 22.98
dubbo 28.75 1.13 1.42 1.82 16.06
thrift 25.66 1.47 0.17 68.71 130.93
hprose 23.30 1.31 1.44 2.28 13.36
rapidoid 18.54 1.73 1.27 25.10 40.47
springwebflux 10.51 1.50 2.33 3.37 21.30
springboot 9.43 1.75 2.57 12.81 24.90

getUser 根据 id 获取一个用户

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 95.92 0.38 0.49 1.52 2.96
jupiter 63.61 0.52 0.74 1.37 2.50
netty 63.44 0.44 0.50 0.55 0.97
undertow-async 57.50 0.58 1.23 2.32 5.02
undertow 55.70 0.55 1.32 2.54 11.60
turbo-rest 53.34 0.59 1.49 2.72 23.69
dubbo-kryo 46.44 0.69 0.85 1.16 18.09
rapidoid 43.84 0.74 1.99 4.78 18.35
grpc 41.58 0.75 0.90 1.19 4.57
motan 40.62 0.78 1.25 2.68 34.18
dubbo 29.11 1.11 1.44 1.98 16.73
thrift 27.14 1.74 0.19 0.29 362.63
hprose 23.91 1.40 1.56 2.31 47.06
springwebflux 19.24 1.67 2.70 3.62 14.94
springboot 18.71 1.70 2.17 14.76 31.09
aeron 18.25 1.71 3.94 13.15 63.77

listUser 获取用户列表

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 44.53 0.82 1.37 2.85 10.39
grpc 30.67 1.05 1.31 1.68 15.12
undertow 28.38 1.21 1.72 4.49 23.25
motan 28.08 1.13 1.80 3.22 21.56
undertow-async 28.05 1.16 1.76 6.75 20.91
jupiter 26.59 1.20 2.00 4.04 25.00
netty 24.28 1.29 1.35 1.83 5.97
rapidoid 20.73 1.56 3.29 16.50 29.89
dubbo-kryo 19.55 1.69 2.36 3.37 16.85
turbo-rest 17.56 2.17 2.67 17.02 37.50
springwebflux 16.21 2.00 3.13 4.90 17.66
springboot 15.84 2.16 2.72 16.81 36.64
thrift 14.87 2.61 0.26 0.42 518.96
hprose 13.19 2.70 2.85 4.01 54.52
aeron 4.53 7.13 10.42 16.47 30.30
dubbo 4.52 7.04 9.06 12.52 16.02

免责声明

  • 能力所限错误在所难免, 本测试用例及测试结果仅供参考.
  • 如果你认为xx框架的代码或配置存在问题,那么欢迎发起Pull Request.
  • 利益相关: 本测试用例作者同时为 turbo, undertow-async 的作者.

你可能感兴趣的:(RPC Benchmark Round 1)