Dig a IPSec's tunnel between 2 Linux box with one is NATed and has multinets

Intro

缘起

我司有个域名，被伟大的墙双向认证了，站点如果部署在墙内，墙外过来的访问会被 reset；站点如果部署在墙外，墙内的访问也会被 reset。我司用户主要在墙内，所以，站点自然部署在墙内，但为了让墙外用户也能访问，于是在墙外购置一 VPS，配置 nginx，proxy_pass 到墙内我们真正的服务器上。

这里有个技术问题：我们的真实服务器都是内网地址，不能通过外网直接访问，所以，需要在墙外的 VPS 上到墙内真实服务器所在网段打一个 net to net 的 tunnel（其实 host to net 的也行，这是主要是考虑到也许以后墙外节点的扩展性问题），而且这个 tunnel 还需要加密，否则过墙的时候肯定会被感知而 reset 掉链接的。于是，我们这里采用的是 IPSec 加密。

环境

网络拓扑图如下：

net2net_IPSec_one_NATed_multinets.png

• Server A 直接有公网地址 1.2.3.4，带的私网地址段是 10.0.0.1/24
• Server B 只有私网地址 10.0.1.2，通过设备 FW 给 map 了一个公网地址 2.3.4.5
• Server C 的缺省网关是设备 R_B&C(10.0.12.253)
• Server B 的缺省网关也是设备 R_B&C(10.0.1.253)
• 路由器 R_B&C 上的路由表里 10.0.0.0/24 的路由指向了 10.0.1.2

Howto

安装软件

在 Server A 和 Server B 上分别执行：

yum -y install libreswan;

配置

Server A

cat </etc/ipsec.d/B.conf
config setup
    protostack=netkey

conn A2B
    left=1.2.3.4
    leftsubnet=10.0.0.0/24
    leftsourceip=10.0.0.1
    right=2.3.4.5
    rightsubnets={10.0.1.0/24 10.0.12.0/24}
    rightsourceip=10.0.1.2
    authby=secret
    auto=start
EOF

cat </etc/ipsec.d/B.secrets
1.2.3.4 2.3.4.5 : PSK "3.5.7.9"
EOF

# for iptables, eth0 is the public network interface of Server A
if /etc/init.d/iptables status>/dev/null; then
    iptables -A INPUT -i eth0 -p esp -j ACCEPT;
    iptables -A INPUT -i eth0 -p udp \
        -m udp --sport 500 --dport 500 -j ACCEPT;
    iptables -A INPUT -i eth0 -p udp \
        -m state --state NEW -m udp -m multiport \
        --dports 50,51,500,4500 -j ACCEPT;
    iptables -A INPUT -i eth0 -p tcp \
        -m state --state NEW -m tcp -m multiport \
        --dports 50,51 -j ACCEPT;
    iptables -t nat -I POSTROUTING \
        -s 10.0.0.0/24 -d 10.0.1.0/24 \
        -o eth0 -j RETURN;
    iptables -t nat -I POSTROUTING \
        -s 10.0.0.0/24 -d 10.0.12.0/24 \
        -o eth0 -j RETURN;
fi

/etc/init.d/ipsec start;
chkconfig ipsec on;
ipsec auto --add A2B;
ipsec auto --up A2B;

Server B

cat </etc/ipsec.d/A.conf
config setup
    protostack=netkey

conn B2A
    left=%defaultroute
    leftid=2.3.4.5
    leftsubnets={ 10.0.1.0/24 10.0.12.0/24 }
    leftsourceip=10.0.1.2
    right=1.2.3.4
    rightsubnet=10.0.0.0/24
    rightsourceip=10.0.0.1
    authby=secret
    auto=start
EOF

cat </etc/ipsec.d/A.secrets
2.3.4.5 1.2.3.4 : PSK "3.5.7.9"
EOF

/etc/init.d/ipsec start;
chkconfig ipsec on;
ipsec auto --add B2A;
ipsec auto --up B2A;

重要点

要注意的点在于 Server A 上的 Iptables 配置，这个在当 IPSec server 有自己的公网地址而且还对内提供 SNAT 服务时会保证配置正确。