linux tcp的timewait如何解决

开头

本文从内核的角度看timewait是如何解决的。贴代码，和网上看到的挺多冲突的！

1. timewait是什么

timewait在tcp结束后主动关闭一方的等待时候的行为。图片中的服务和客户端描述不是非常准确，这里客户端是主动关闭一方。（在web服务器模型下，web服务器也可主动关闭客户端，这个时候web服务器就变成了四次握手的客户端）。

2. timewait在客户端的问题

这里的客户端，不是四次握手的客户端，而是指发起tcp请求的一方。发起一方需要绑定本地端口，本地端口的绑定方式非常暴力：直接是从配置的偶数值开始遍历查找可用端口：（偶数端口和奇数端口内核的一个patch）

1. 在占用端口中，查看是否可以回收利用：如果可以回收，则返回；如果不能，继续查找下一个端口。
2. 未被占中，直接返回

如果发起大量的客户端请求，并且不能回收，系统调用connect时长增加，甚至直接因端口耗尽直接调用失败。

int tcp_v4_connect(struct sock *sk, struct sockaddr *uaddr, int addr_len)
{
	// 本地端口绑定初始化
	err = inet_hash_connect(tcp_death_row, sk);
}

int inet_hash_connect(struct inet_timewait_death_row *death_row,
		      struct sock *sk)
{
	return __inet_hash_connect(death_row, sk, port_offset,
				   __inet_check_established);
}

// inet_hash_connect调用下面函数
int __inet_hash_connect(struct inet_timewait_death_row *death_row,
		struct sock *sk, u32 port_offset,
		int (*check_established)(struct inet_timewait_death_row *,
			struct sock *, __u16, struct inet_timewait_sock **))
{
	inet_get_local_port_range(net, &low, &high);

other_parity_scan:
	port = low + offset;
	for (i = 0; i < remaining; i += 2, port += 2) {
		inet_bind_bucket_for_each(tb, &head->chain) {
			if (net_eq(ib_net(tb), net) && tb->l3mdev == l3mdev &&
			    tb->port == port) {
				if (tb->fastreuse >= 0 ||
				    tb->fastreuseport >= 0)
					goto next_port;
				WARN_ON(hlist_empty(&tb->owners));

				// 这里主要是调用tcp_twsk_unique,保证开启了timestamp就可以连接
				if (!check_established(death_row, sk,
						       port, &tw))
					goto ok;
				goto next_port;
			}
		}

		tb = inet_bind_bucket_create(hinfo->bind_bucket_cachep,
					     net, head, port, l3mdev);
		if (!tb) {
			spin_unlock_bh(&head->lock);
			return -ENOMEM;
		}
		tb->fastreuse = -1;
		tb->fastreuseport = -1;
		goto ok;
next_port:
		spin_unlock_bh(&head->lock);
		cond_resched();
	}
}

3. timewait如何解决

端口重用的逻辑从__inet_check_established->tcp_twsk_unique(源码），总结下逻辑：

• 当本次连接和上次四元组不同时，可以立即复用端口，不用开启任何选项 .
• 当和上一次四元组一样时，需要满足timewait可重用条件，则可以复用，否则不能用该端口。

timewait满足的条件：

• 开启timestamp
• twp为null或者reuse开启时间戳满足要求；客户端的主动连接跟踪代码twp赋值为null所以天然满足。

所以需要解决timewait的客户端问题有三个办法：

1. 上游节点分散处理，尽量保证四元祖不一样
2. 开启timestamp
3. 限制timewait的数量，sysctl_max_tw_buckets

timewait端口重用的逻辑：

static int __inet_check_established(struct inet_timewait_death_row *death_row,
				    struct sock *sk, __u16 lport,
				    struct inet_timewait_sock **twp)
{
	struct inet_hashinfo *hinfo = death_row->hashinfo;
	struct inet_sock *inet = inet_sk(sk);
	__be32 daddr = inet->inet_rcv_saddr;
	__be32 saddr = inet->inet_daddr;
	int dif = sk->sk_bound_dev_if;
	struct net *net = sock_net(sk);
	int sdif = l3mdev_master_ifindex_by_index(net, dif);
	INET_ADDR_COOKIE(acookie, saddr, daddr);
	const __portpair ports = INET_COMBINED_PORTS(inet->inet_dport, lport);
	unsigned int hash = inet_ehashfn(net, daddr, lport,
					 saddr, inet->inet_dport);
	struct inet_timewait_sock *tw = NULL;

	sk_nulls_for_each(sk2, node, &head->chain) {
		if (sk2->sk_hash != hash)
			continue;

		if (likely(INET_MATCH(sk2, net, acookie,
					 saddr, daddr, ports, dif, sdif))) {
			if (sk2->sk_state == TCP_TIME_WAIT) {
				tw = inet_twsk(sk2);
			if (twsk_unique(sk, sk2, twp))
			    break;
			}
            goto not_unique;
		}
   	}

	return 0;

not_unique:
	spin_unlock(lock);
	return -EADDRNOTAVAIL;
}

static inline int twsk_unique(struct sock *sk, struct sock *sktw, void *twp)
{
	if (sk->sk_prot->twsk_prot->twsk_unique != NULL)
		return sk->sk_prot->twsk_prot->twsk_unique(sk, sktw, twp);
	return 0;
}

int tcp_twsk_unique(struct sock *sk, struct sock *sktw, void *twp)
{
	if (tcptw->tw_ts_recent_stamp &&
	    (!twp || (reuse && time_after32(ktime_get_seconds(),
					    tcptw->tw_ts_recent_stamp)))) {
		if (likely(!tp->repair)) {
			u32 seq = tcptw->tw_snd_nxt + 65535 + 2;

			if (!seq)
				seq = 1;
			WRITE_ONCE(tp->write_seq, seq);
			tp->rx_opt.ts_recent	   = tcptw->tw_ts_recent;
			tp->rx_opt.ts_recent_stamp = tcptw->tw_ts_recent_stamp;
		}
		sock_hold(sktw);
		return 1;
	}
}

限制timewait代码:

void tcp_fin(struct sock *sk)
{
	case TCP_FIN_WAIT2:
		/* Received a FIN -- send ACK and enter TIME_WAIT. */
		tcp_send_ack(sk);
		tcp_time_wait(sk, TCP_TIME_WAIT, 0);
		break;
}

struct inet_timewait_sock *inet_twsk_alloc(const struct sock *sk,
					   struct inet_timewait_death_row *dr,
					   const int state)
{
	struct inet_timewait_sock *tw;

	if (atomic_read(&dr->tw_count) >= dr->sysctl_max_tw_buckets)
		return NULL;
}

4 服务器端timewait有什么影响

服务器（非tcp四次握手的服务器，指如web服务器）的timewait主动端开，端口都是同一个不影响端口，但是占用机器资源。此类影响，可以从内存方面分析。