aws s3加速

原理参考这里
本文使用到的是增加线程个数以及队列大小两个参数。
比如我要拷贝bucket到本地

aws s3 cp --recursive s3://aft-vbi-pds/bin-images/ .

下载速度大约240KB/s
修改配置文件vim ~/.aws/config，末尾加入

s3 =
  max_concurrent_requests = 150
  max_queue_size = 10000

这里

• max_concurrent_requests=150 表示150个线程加速，貌似200以及以上会卡住没有继续测试
• max_queue_size=10000 缓冲队列大小默认1000，这里防止处理速度大于缓冲速度所以调大

这样下载速度大约3.2MB/s，达到加速效果。

另外，可以尝试sync命令：

aws s3 sync s3://aft-vbi-pds/bin-images/ .