参考
https://www.v2ex.com/t/353778

确认vps能开启TUN/TAP功能

ls -al /dev/net/tun

创建tap0接口

ip tuntap add tap0 mode tap
ip addr add 10.0.0.1/24 dev tap0
ip link set tap0 up

低版本ip命令不能创建tap接口，此时也可以用tunctl命令创建tap接口。
yum install tunctl
tunctl -u root

打通tap0和host之间的网络

iptables -P FORWARD ACCEPT
sysctl -w net.ipv4.ip_forward=1

准备在60822端口开启BBR

iptables -t nat -A PREROUTING -i venet0 -p tcp --dport 60822 -j DNAT --to-destination 10.0.0.2

安装haproxy 并禁止开机自启

yum install haproxy
systemctl disable haproxy

编辑haproxy.cfg

新建一个/etc/haproxy/haproxy.cfg(原有的cfg备份起来)
ss监听的是60399，BBR端口为60822。

global
user haproxy
group haproxy

defaults
mode tcp
timeout connect 5s
timeout client 60s
timeout server 60s

listen go-ss2
bind 10.0.0.2:60822
server server1 10.0.0.1:60399

下载Linux Kernel Library

https://drive.google.com/file/d/0ByqeeKN198fcdDVLMmVKakl5VE0/view?usp=sharing
tar -xzvf liblkl-hijack.so.tgz
把liblkl-hijack.so保存到/root/haproxy/

开启转发

export LD_PRELOAD=/root/haproxy/liblkl-hijack.so
export LKL_HIJACK_NET_QDISC="root|fq"
export LKL_HIJACK_SYSCTL="net.ipv4.tcp_congestion_control=bbr;net.ipv4.tcp_wmem=4096 65536 67108864"
export LKL_HIJACK_NET_IFTYPE=tap
export LKL_HIJACK_NET_IFPARAMS=tap0
export LKL_HIJACK_NET_IP=10.0.0.2
export LKL_HIJACK_NET_NETMASK_LEN=24
export LKL_HIJACK_NET_GATEWAY=10.0.0.1
export LKL_HIJACK_OFFLOAD="0x8883"
export LKL_HIJACK_DEBUG=1
haproxy -f /etc/haproxy/haproxy.cfg

脚本

以上配置手工配置成功后，可以写个haproxy-bbr.sh脚本。通过supervisior方便管理。

#!/bin/sh

ip tuntap add tap0 mode tap
ip addr add 10.0.0.1/24 dev tap0
ip link set tap0 up

iptables -P FORWARD ACCEPT

iptables -t nat -D PREROUTING -i venet0 -p tcp --dport 60822 -j DNAT --to-destination 10.0.0.2
iptables -t nat -A PREROUTING -i venet0 -p tcp --dport 60822 -j DNAT --to-destination 10.0.0.2

export LD_PRELOAD=/root/haproxy/liblkl-hijack.so
export LKL_HIJACK_NET_QDISC="root|fq"
export LKL_HIJACK_SYSCTL="net.ipv4.tcp_congestion_control=bbr;net.ipv4.tcp_wmem=4096 65536 67108864"
export LKL_HIJACK_NET_IFTYPE=tap
export LKL_HIJACK_NET_IFPARAMS=tap0
export LKL_HIJACK_NET_IP=10.0.0.2
export LKL_HIJACK_NET_NETMASK_LEN=24
export LKL_HIJACK_NET_GATEWAY=10.0.0.1
export LKL_HIJACK_OFFLOAD="0x8883"
export LKL_HIJACK_DEBUG=1

haproxy -f /etc/haproxy/haproxy.cfg

测试

测试vps到本地电信的速度

pip install speedtest-cli
speedtest-cli --server 3633
3633是上海电信的站点

确认是否在用BBR

LKL_HIJACK_DEBUG=1打开kernel log, 把LKL_HIJACK_SYSCTL="net.ipv4.tcp_congestion_control=neko"，会看到 lkl_sys_write /proc/sys/net/ipv4/tcp_congestion_control: Bad error code ，只有调回BBR才会正常。

查看so加载情况

lsof -p pidof haproxy |grep -i .so |grep -i lkl

协议混淆

有的运营商会对http，https以外的tcp协议QoS。

BBR的有效范围

如果丢包率：0%~15%（0%线路品质很好，无需加速）
可以用 iperf3测试一下TCP的丢包率
服务端
iperf3 -s -f M -V -p 3340
客户端
iperf3 -c 服务器 IP -f M -V -R -k 1000 -b 3M -l 1400 -w 8192 -p 3340
发送1000个包，查看重传的包的个数
丢包率 = 重传的包个数 / 1000

openvz开启bbr