使用钩子参与到TCP拥塞事件的处理中
TCP定义了几个拥塞事件，当这些事件发生时，我们可以通过TCP的拥塞控制算法，调用自定义的处理函数，
来做一些额外的事情的。也就是说，我们可以很简便的参与到TCP对拥塞事件的处理过程中。
Author：zhangskd @ csdn blog
TCP的拥塞事件集：
/* Events passed to congestion control interface */
enum tcp_ca_event {
CA_EVENT_TX_START, /* first transmit when no packets in flight */
CA_EVENT_CWND_RESTART, /* congestion window restart */
CA_EVENT_COMPLETE_CWR, /* end of congestion recovery */
CA_EVENT_FRTO, /* fast recovery timeout */
CA_EVENT_LOSS, /* loss timeout */
CA_EVENT_FAST_ACK, /* in sequence ack */
CA_EVENT_SLOW_ACK, /* other ack */
};
钩子函数定义：
struct tcp_congestion_ops {
...
/* call when cwnd event occurs (optional) */
void (*cwnd_event) (struct sock *sk, enum tcp_ca_event ev);
...
};
封装调用：
static inline void tcp_ca_event (struct sock *sk, const enum tcp_ca_event event)
{
const struct inet_connection_sock *icsk = inet_csk(sk);
if (icsk->icsk_ca_ops->cwnd_event)
icsk->icsk_ca_ops->cwnd_event(sk, event);
}
CA_EVENT_TX_START
当发送一个数据包时，如果网络中无发送且未确认的数据包，则触发此事件。
static int tcp_transmit_skb(struct sock *sk, struct sk_buff *skb, int clone_it, gfp_t gfp_mask)
{
...
if (tcp_packets_in_flight(tp) == 0) {
tcp_ca_event(sk, CA_EVENT_TX_START);
skb->ooo_okay = 1; /*此时发送队列可以改变，因为上面没有数据包 */
} else
skb->ooo_okay = 0;
...
}
CA_EVENT_CWND_RESTART
发送方在发送数据包时，如果发送的数据包有负载，则会检测拥塞窗口是否超时。
如果超时，则会使拥塞窗口失效并重新计算拥塞窗口，同时触发CA_EVENT_CWND_RESTART事件。
/* Congestion state accounting after a packet has been sent. */
static void tcp_event_data_sent(struct tcp_sock *tp, struct sock *sk)
{
struct inet_connection_sock *icsk = inet_csk(sk);
const u32 now = tcp_time_stamp;
if (sysctl_tcp_slow_start_after_idle &&
(! tp->packets_out && (s32) (now - tp->lsndtime) > icsk->icsk_rto))
tcp_cwnd_restart(sk, __sk_dst_get(sk)); /* 重置cwnd */
tp->lsndtime = now; /* 更新最近发包的时间*/
/* If it is a reply for ato after last received packet, enter pingpong mode. */
if ((u32) (now - icsk->icsk_ack.lrcvtime) < icsk->icsk_ack.ato)
icsk->icsk_ack.pingpong = 1;
}
tcp_event_data_sent()中，符合三个条件才重置cwnd：
（1）tcp_slow_start_after_idle选项设置，这个内核默认置为1
（2）tp->packets_out == 0，表示网络中没有未确认数据包
（3）now - tp->lsndtime > icsk->icsk_rto，距离上次发送数据包的时间超过了RTO
/* RFC2861. Reset CWND after idle period longer than RTO to "restart window".
* This is the first part of cwnd validation mechanism.
*/
static void tcp_cwnd_restart(struct sock *sk, const struct dst_entry *dst)
{
struct tcp_sock *tp = tcp_sk(sk);
s32 delta = tcp_time_stamp - tp->lsndtime; /* 距离上次发包的时间*/
u32 restart_cwnd = tcp_init_cwnd(tp, dst);
u32 cwnd = tp->snd_cwnd;
tcp_ca_event(sk, CA_EVENT_CWND_RESTART); /* 在这里！触发拥塞窗口重置事件*/
tp->snd_ssthresh = tcp_current_ssthresh(sk); /* 保存阈值，并没有重置*/
restart_cwnd = min(restart_cwnd, cwnd);
/* 闲置时间每超过一个RTO且cwnd比重置后的大时，cwnd减半。*/
while((delta -= inet_csk(sk)->icsk_rto) > 0 && cwnd > restart_cwnd)
cwnd >>= 1;
tp->snd_cwnd = max(cwnd, restart_cwnd);
tp->snd_cwnd_stamp = tcp_time_stamp;
tp->snd_cwnd_used = 0;
}
如果需要更详细了解TCP拥塞控制窗口的有效性验证机制，可见之前的blog。
CA_EVENT_COMPLETE_CWR
当退出CWR状态，或者退出Recovery状态时，会调用tcp_complete_cwr()来设置拥塞窗口，这个时候
会触发CA_EVENT_COMPLETE_CWR来通知拥塞控制模块：“我已经停止减小拥塞窗口了！如果你想
再做点什么补充，就是现在！”
static inline void tcp_complete_cwr(struct sock *sk)
{
struct tcp_sock *tp = tcp_sk(sk);
/* Do not moderate cwnd if it's already undone in cwr or recovery. */
if (tp->undo_marker) {
if (inet_csk(sk)->icsk_ca_state == TCP_CA_CWR)
tp->snd_cwnd = min(tp->snd_cwnd, tp->snd_ssthresh);
else /* PRR */
tp->snd_cwnd = tp->snd_ssthresh;
tp->snd_cwnd_stamp = tcp_time_stamp;
}
/* 在这里设置拥塞窗口和慢启动阈值会覆盖掉ssthresh()的设置*/
tcp_ca_event(sk, CA_EVENT_COMPLETE_CWR);
}
CA_EVENT_FRTO
启用F-RTO时，发生超时后，首先会进行F-RTO处理，看看这个超时是不是虚假的，如果不是的话
再进行传统的超时重传。这时候会减小慢启动阈值，而拥塞窗口暂时保持不变。
/* RTO occurred, but do not yet enter Loss state. Instead, defer RTO recovery a bit and use
* heuristics in tcp_process_frto() to detect if the RTO was spurious.
*/
void tcp_enter_frto(struct sock *sk)
{
const struct inet_connection_sock *icsk = inet_csk(sk);
struct tcp_sock *tp = tcp_sk(sk);
struct sk_buff *skb;
if ((! tp->frto_counter && icsk->icsk_ca_state <= TCP_CA_Disorder) ||
tp->snd_una == tp->high_seq ||
((icsk->icsk_ca_state == TCP_CA_Loss || tp->frto_counter) &&
! icsk->icsk_retransmits)) {
tp->prior_ssthresh = tcp_current_ssthresh(sk); /* 保留旧阈值*/
if (tp->frto_counter) { /* 这种情况非常罕见*/
u32 stored_cwnd;
stored_cwnd = tp->snd_cwnd;
tp->snd_cwnd = 2;
tp->snd_ssthresh = icsk->icsk_ca_ops->ssthresh(sk);
tp->snd_cwnd = stored_cwnd;
} else {
tp->snd_ssthresh = icsk->icsk_ca_ops->ssthresh(sk); /* 重新设置慢启动阈值*/
}
tcp_ca_event(sk, CA_EVENT_FRTO); /* 这里设置慢启动阈值会覆盖掉ssthresh()的设置*/
}
...
}
关于F-RTO的机制可参考之前的blog。
CA_EVENT_LOSS
上面我们说到，如果超时不是虚假的话，就会进入超时重传，也就是TCP_CA_Loss状态。
/* Enter Loss state. If "how" is not zero, forget all SACK information and reset tags completely,
* otherwise preserve SACKs. If receiver dropped its ofo queue, we will know this due to
* reneging detection.
*/
void tcp_enter_loss(struct sock *sk, int how)
{
const struct inet_connection_sock *icsk = inet_csk(sk);
struct tcp_sock *tp = tcp_sk(sk);
struct sk_buff *skb;
/* Reduce ssthresh if it has not yet been made inside this window.
* 要么是从Open或Disorder状态进入Loss状态，要么是在Loss状态又发生了超时：）
* 我们知道在CWR或Recovery状态中可以以进入Loss，但在那两个状态中阈值已经被重置过了。
*/
if (icsk->icsk_ca_state <= TCP_CA_Disorder || tp->snd_una == tp->high_seq ||
(icsk->icsk_ca_state == TCP_CA_Loss && ! icsk->icsk_retransmits)) {
tp->prior_ssthresh = tcp_current_ssthresh(sk); /* 保存旧阈值*/
tp->snd_ssthresh = icsk->icsk_ca_ops->ssthresh(sk); /* 重新设置慢启动阈值*/
tcp_ca_event(sk, CA_EVENT_LOSS); /* 这里设置慢启动阈值会覆盖掉ssthresh()的设置*/
}
tp->snd_cwnd = 1;
tp->snd_cwnd_cnt = 0;
tp->snd_cwnd_stamp = tcp_time_stamp;
...
}
CA_EVENT_FAST_ACK
如果我们收到符合预期的ACK，那么就进入快速路径的处理流程，在tcp_ack()中进行负荷无关的处理，
同时触发CA_EVENT_FAST_ACK事件。
static int tcp_ack(struct sock *sk, const struct sk_buff *skb, int flag)
{
...
/* 如果处于快速路径中*/
if (! (flag & FLAG_SLOWPATH) && after(ack, prior_snd_una)) {
/* Window is constant, pure forward advance.
* No more checks are required.
*/
tcp_update_w1(tp, ack_seq); /*记录更新发送窗口的ACK段序号*/
tp->snd_una = ack; /* 更新发送窗口左端 */
flag |= FLAG_WIN_UPDATE; /* 设置发送窗口更新标志 */
tcp_ca_event(sk, CA_EVENT_FAST_ACK); /* 快速路径拥塞事件钩子*/
NET_INC_STATS_BH(sock_net(sk), LINUX_MIB_TCPHPACKS);
}
...
}
CA_EVENT_SLOW_ACK
如果我们收到不符合预期的ACK，那么就不能走快速路径，而必须经过全面的检查，即进入慢速路径的
处理流程。同样在tcp_ack()中进行负荷无关的处理，同时触发CA_EVENT_SLOW_ACK事件。
static int tcp_ack(struct sock *sk, const struct sk_buff *skb, int flag)
{
...
/* 如果处于快速路径中*/
if (! (flag & FLAG_SLOWPATH) && after(ack, prior_snd_una)) {
...
} else { /* 进入慢速路径 */
if (ack_seq != TCP_SKB_CB(skb)->end_seq)
flag |= FLAG_DATA; /* 此ACK携带负荷*/
else
NET_INC_STATS_BH(sock_net(sk), LINUX_MIB_TCPPUREACKS);
flag |= tcp_ack_update_window(sk, skb, ack, ack_seq); /* 更新发送窗口*/
/* 根据SACK选项标志重传队列中SKB的记分牌状态*/
if (TCP_SKB_CB(skb)->sacked)
flag |= tcp_sacktag_write_queue(sk, skb, prior_snd_una);
/* 查看ACK是否携带ECE标志 */
if (TCP_ECN_rcv_ecn_echo(tp, tcp_hdr(skb)))
flag |= FLAG_ECE;
tcp_ca_event(sk, CA_EVENT_SLOW_ACK); /* 慢速路径拥塞事件钩子*/
}
...
}
阈值的设置
用拥塞算法的ssthresh()来设置慢启动阈值tp->snd_ssthresh。
（1）tcp_enter_cwr
进入CWR状态时。
Set slow start threshold and cwnd not falling to slow start.
（2）tcp_enter_frto
进入FRTO处理时。
（3）tcp_enter_loss
进入Loss状态时。
（4）tcp_fastretrans_alert
进入Recovery状态时。
可见ssthresh()的调用时机是在进入CWR、FRTO、Loss、Recovery这几个异常状态时。
tp->snd_ssthresh的使用：
（1）在进入CWR、FRTO、Loss、Recovery时调用ssthresh()重新设置，在退出这些状态时，作为慢启动阈值。
（2）作为tcp_cwnd_min()的返回值，在tcp_cwnd_down()中被调用，而tcp_cwnd_down()在CWR和Recovery
状态中被调用。
（3）退出CWR、Recovery状态时，赋值给tp->snd_cwnd，避免进入慢启动。