Linux系统如何平滑生效NAT

1.Linux实现的NAT概述以及问题所在

Linux的NAT基于ip_conntrack。iptables设置的nat规则仅仅对一个流的第一个数据包有效。当然xtables-addons实现的rawnat除外！即便是rawnat，它也必须设置两条规则。真正好的设计是，有个选项可以自定义nat的行为，而不是依赖配置者的能力，否则就可能酿成大祸，在我自身的产品研发以及实施过程中，就曾经碰到了这种情况，同样的用户场景，有些人可以完全HOLD住，有些人则完全不知所措，这正像孬种的语文老师提供给你一本字典，而好的语文老师教你遣词造句一样，经典文章和粗口同样都使用同样的文字！我认为好的设计就应该让人不容易出错，就像对的不那么舍我其谁，起码不会错！
        关于NAT的Linux实现概览我就不说了(不必了解详情，概览即可)，可以看源码，如果这都不知道，就别往下看了。现在试想一个场景：
1).Linux box起初什么NAT都没有配置；
2).Linux box或者后面的机器访问一个server，使用的源地址是内网的不可公网路由的地址；
3).数据正常发出，可是别指望会返回任何东西(除了毫无用处的ICMP！)；
4).Linux box的ip_conntrack记录了一个syn_sent状态的conntrack记录，期待返回，并且给与了一个X的过期时间；
5).客户端因为没有得到回复，不断重连，不断touch Linux box那脆弱的syn-sent状态的conntrack记录，导致其永不过期；
6).此时即便设置了iptables的nat规则，由于conntrack不再过期，就永远都匹配不到新建流的第一个数据包；
7).上述的过程僵持了下来，数据访问永远不通！

2.问题分析以及好的设计

看一下上述的过程，其实很简单，只要双方有一方让一点，就解决了，比如客户端在尝试N次重连不成功后，指数退避，那就总能touch到Linunx box的conntrack到最长过期时间，从而解锁，或者反过来，Linux box的conntrack发现已经在一个初始状态停留的总时间超过了一个阀值，那么当即释放，也能解决，然而这也不是好的设计，因为这依赖双方对对方行为的足够理解，需要二者联动！这种思想在以太网以及WIFI的CSMA/CD，CSMA/CA中获得了巨大成功，但是并不能用于第七层的数据通信，因为第七层太乱了！
        那么怎么办？我认为好的设计应该是算法本身的平滑！Linux在实现NAT的时候其实偷了一个懒，那就是：如果你第一个包没有匹配到NAT规则，则之后的包我会自动帮你创建一个NAT规则，那就是把你NAT成你自身，相当于不NAT，为了代码的统一，给你创造一个NULL NAT！姑且不分析深层次的理论，这种强制行为本身就是不合理的，我现在不NAT并不是我不想，而是根本就没有我想要的规则，即我匹配不上任何规则！但是按照应用程序的逻辑，虽然路不通，我还是要继续尝试，等待我能匹配到的那条规则，在它到来之前，我会一直尝试，也许我也可能自己放弃，但是那也是我的自由！
        因此，我做的新版NAT的逻辑就在于，只要数据包没有到达ESTABLISH状态，即它是NEW的话，那么就一直都有NAT的机会，但是如果它收到了返回包，即变成了ESTABLISH状态，那么就不管了(这也是我偷的一个懒，你要知道，一大群女人在家里叽叽喳喳是什么滋味)。

3.对Linux内核代码的修改

也许说得不是很恰当，其实我并不需要修改什么内核，我修改的只是Netfilter代码，曾几何时，Netfilter由于其太过强大，合并到了内核。一共就修改了两个文件，不多，但是很精！我从来不回避大段大段的写代码，但是我觉得那是迫不得已才做的，如果有现成的，直接用就是了，能做到对既有代码最少的修改达到最大的效果也是一种能力，我认为，大段大段地写代码和大段大段地整理数学式子根本就不是档次，后者我是赞同的。代码只是一种想法的实现，你要先有想法，然后再实现，只要你有了想法，发现有人替你实现了，那么就直接用！
1).修改$K/net/ipv4/netfilter/nf_nat_rule.c的nf_nat_rule_find函数：

int nf_nat_rule_find(struct sk_buff *skb,                      unsigned int hooknum,                      const struct net_device *in,                      const struct net_device *out,                      struct nf_conn *ct) {         struct net *net = nf_ct_net(ct);         int ret;          ret = ipt_do_table(skb, hooknum, in, out, net->ipv4.nat_table);          if (ret == NF_ACCEPT) {                 if (!nf_nat_initialized(ct, HOOK2MANIP(hooknum)))                 {                         /* NUL mapping */                         ret = alloc_null_binding(ct, hooknum);                         //Linux偷了个懒，我不偷懒！我并不把alloc_null_binding                         //作为成功的NAT，因为它只是一个小技巧，为了避免常见                         //的NULL指针！因此我清除DONE位，表示以后可能还是会继续                         //尝试NAT（仅仅对SNAT经过测试！）                         clear_bit(IPS_SRC_NAT_DONE_BIT, &ct->status);                 }         }         return ret; }

2).修改$K/net/ipv4/netfilter/nf_nat_standalone.c的nf_nat_fn函数

static unsigned int nf_nat_fn(unsigned int hooknum,           struct sk_buff *skb,           const struct net_device *in,           const struct net_device *out,           int (*okfn)(struct sk_buff *)) {        ......         nat = nfct_nat(ct);         if (!nat ) {                 /* NAT module was loaded late. */                //原来的实现就是：只要在confirm之后加载的NAT模块，就不管了！                 if (/*设置一个开关，平滑过渡模式时打开*/ 0 && nf_ct_is_confirmed(ct))                         return NF_ACCEPT;                 nat = nf_ct_ext_add(ct, NF_CT_EXT_NAT, GFP_ATOMIC);                 if (nat == NULL) {                         pr_debug("failed to add NAT extension\n");                         return NF_ACCEPT;                 }         }         switch (ctinfo) {         case IP_CT_RELATED:         case IP_CT_RELATED+IP_CT_IS_REPLY:                 if (ip_hdr(skb)->protocol == IPPROTO_ICMP) {                         if (!nf_nat_icmp_reply_translation(ct, ctinfo,                                                            hooknum, skb))                                 return NF_DROP;                         else                                 return NF_ACCEPT;                 }                 /* Fall thru... (Only ICMPs can be IP_CT_IS_REPLY) */        //只要没有返回包到来，能保证一直都是NEW         case IP_CT_NEW:                 /* Seen it before?  This can happen for loopback, retrans,                    or local packets.. */                 if (!nf_nat_initialized(ct, maniptype)) {                         unsigned int ret;                          if (hooknum == NF_INET_LOCAL_IN)                                 /* LOCAL_IN hook doesn't have a chain!  */                                 ret = alloc_null_binding(ct, hooknum);                         else                                 ret = nf_nat_rule_find(skb, hooknum, in, out,                                                        ct);                          if (ret != NF_ACCEPT)                                 return ret;                         //以下新添加的是要点：                         //如果是已经完全经过此BOX的数据包，且从来没有成功被iptables规则NAT，                         //则继续尝试匹配iptables的NAT规则，因为可能在数据包重传期间，有新的                         //iptables规则加入进来。                         if (nf_ct_is_confirmed(ct)) {                                 struct net *net = nf_ct_net(ct);                                 //如果匹配到了新的规则，则更新tuple在chian中的位置。                                 hlist_nulls_del_rcu(&ct->tuplehash[IP_CT_DIR_ORIGINAL].hnnode);                                 hlist_nulls_del_rcu(&ct->tuplehash[IP_CT_DIR_REPLY].hnnode);                                 //如果不进行这个del and reInsert操作，那么就会出现返回包无法被转换                                 //成原始包的情形！                                 nf_conntrack_hash_insert(ct);                         }                         //以上没有优化！！优化点在于：只有在非alloc_null_binding调用成功的情况                         //下才会尝试更新tuple的chain位置，否则不做无用功！                 } else                         pf_debug("Already setup manip %s for ct %p\n",                                  maniptype == IP_NAT_MANIP_SRC ? "SRC" : "DST",                                  ct); ...... }

就这样就改完了，这就不是个事儿！但是我的测试程序比较简单，很可能经不起推敲！

4.测试逻辑

1).socket
2).reuseaddr
3).bind secondary IP address
4);while true;do connect server; if success;then break;fi; done
5).read and write
在上述第5步期间键入iptables规则，将secondary IP转换成primary IP，结果成功。