走进Linux内核网络 套接字的秘密—socket与sock

双十一

今天是双十一，记得还在念书的时候，每次都会参加京东图书满200-100的活动，然后脑子一热屯一堆书。印象中人文类的书基本都会看，而电子信息类的可能就只看了一半，甚至买过哪些都忘了。究其原因，主要是人文类的通常都是自己想看的，而技术类的就跟风看哪个销量大买哪个，比如下面这本《UNIX 网络编程》

如果现在让我给别人推荐学习网络编程的书，我一定不会推荐这本。为什么呢? 倒不是因为书中内容说的不对，而是我认为这本书更适合当工具书查阅，而不适合逐章学习。就像《新华字典》里汉字很多，但也没见谁是用它来学认字的。不过，对于当年的我来说，《UNIX 网络编程》中提供的例子倒也能提供最基本的套接字编程体验。比如从中我第一次接触到了套接字^注 的概念，也接触到了 socket()，bind() , listen()，accept()，send() , recv() 这些函数的使用方法。不过有些问题当时的我并不明白，比如创建套接字时为什么要返回一个描述符，为什么发送接收时要填写这个描述符，难道套接字就是这个描述符？

注：尽管“套接字”就是英文socket的翻译，但本文中，为了避免和之后的socket混淆，所以在从网络编程的角度描述时，使用的是中文“套接字”。

套接字究竟是什么

如果你知道Linux系统中进程间通信的方式，就应该知道套接字也是其中一种。但套接字特别之处在于它不仅可以用来实现同一台主机上进程间的通信，还可以用来实现主机间的进程间的通信。通信的双方各自打开一个套接字，套接字之间通过通信链路相连。

如果把两个套接字之间的‘连接’比喻成‘水管’，那么套接字就是‘水龙头’

Unix有一句格言：everything is a file，即‘万物皆文件’，套接字也不例外。那么如何把套接字和文件联系起来呢？ 答案就是通过下面这张图。

其中task_struct表示一个进程，files_struct中的fd_array[]表示该进程打开的所有描述符，对于套接字来说，与其他类型文件的区别就是最终f_op指向的是socket_file_ops。不过，可以看到，这里的socket_file_ops只有一些通用的操作，并没有send和recv。特有的操作通过 socketcall() 区分的。

socket 和 sock

终于到今天的主角了。实际上，对每一个新创建的套接字，内核协议栈都会创建struct socket和struct sock两个数据结构。这两个结构就像孪生兄弟，struct socket面向用户空间，struct sock面向内核空间。

struct socket

struct socket简化版的结构如下：

<net.h>
struct socket {
	unsigned long flags;
	const struct proto_ops *ops;
	struct file   *file;
	struct sock   *sk;
    short type;
};

其中type表示协议，这是在创建套接字的时候的protocol参数确定的

int socket(int domain, int type, int protocol);

file指针指向上面那张图中的struct file结构，通过它，socket便与文件系统关联了起来。
sk指向孪生的兄弟sock结构。
socket结构中最重要的要数ops指针了，根据协议类型，它指向一种特定协议的实现。比如TCP的就是inet_stream_ops，ICMP、UDP协议对应inet_dgram_ops,RAWIP对应的是inet_sockraw_ops同样地，这些也都在创建套接字的时候就决定了。
struct proto_ops的简化版本的结构如下

<net.h>
struct proto_ops{
   int family;
   int (*bind)(struct socket *sock, struct sockaddr *myaddr, int sockaddr_len);
   int (*connect)(struct socket *sock,struct sockaddr *vaddr,int sockaddr_len, int flags);
   int	(*accept)(struct socket *sock, struct socket *newsock, int flags);
   int	(*sendmsg)(struct socket *sock, struct msghdr *m, size_t total_len);
}

其中的接口名字是不是很熟悉？是的，它们和进行网络编程时调用的C库中函数名字是一样的。以sendmsg为例，真实的调用过程是这样

即当用户调用sendmsg时，内核会找到描述符fd对应的struct socket结构，然后调用sock->ops->sendmsg执行特定协议的发送。

那么，ops字段什么时候被赋值呢？答案是，在创建struct sock结构前。

struct sock

struct sock的简化结构如下图所示

struct sock_common {
	struct proto		*skc_prot;
};
struct sock {
	struct sock_common	__sk_common;

	struct sk_buff_head	sk_receive_queue;
	struct sk_buff_head	sk_write_queue;
};

其中最重要的字段就是skc_prot，它也是协议相关的。作为struct socket结构的孪生兄弟，struct sock结构也是在用户创建套接字时就创建的。

sock_alloc创建了struct socket结构，随后，根据用户传入的family，查询数组net_families，找到对应的函数指针，调用create.

net_families保存着内核启动时注册（通过sock_register）的 socket protocol handler，比如以下几种：

static const struct net_proto_family inet_family_ops = {
	.family = PF_INET,
	.create = inet_create,
	.owner	= THIS_MODULE,
};
static const struct net_proto_family netlink_family_ops = {
	.family = PF_NETLINK,
	.create = netlink_create,
	.owner	= THIS_MODULE,	/* for consistency 8) */
};
static const struct net_proto_family packet_family_ops = {
	.family =	PF_PACKET,
	.create =	packet_create,
	.owner	=	THIS_MODULE,
};
static const struct net_proto_family unix_family_ops = {
	.family = PF_UNIX,
	.create = unix_create,
	.owner	= THIS_MODULE,，
};

如果我们创建套接字时指定的family是PF_INET，那么此时我们就会调用inet_create

static int inet_create(struct net *net, struct socket *sock, int protocol,
		       int kern)
{
	struct sock *sk;
	struct inet_protosw *answer;
	
	list_for_each_entry_rcu(answer, &inetsw[sock->type], list) {
		err = 0;
		/* Check the non-wild match. */
		if (protocol == answer->protocol) {
			if (protocol != IPPROTO_IP)
				break;
		} else {
			/* Check for the two wild cases. */
			if (IPPROTO_IP == protocol) {
				protocol = answer->protocol;
				break;
			}
			if (IPPROTO_IP == answer->protocol)
				break;
		}
		err = -EPROTONOSUPPORT;
	}

	sock->ops = answer->ops;
	sk = sk_alloc(net, PF_INET, GFP_KERNEL, answer_prot, kern);
    if (sk->sk_prot->init) {
		err = sk->sk_prot->init(sk);
	}
}

首先是从inetsw数组搜索匹配对应的协议，inetsw称为协议开关表，内核启动时，通过inet_register_protosw进行注册。比如下面几项都会被注册

inetsw中注册的每种协议都有ops和prot两个字段，前者与struct socket结构关联到一起，后者与struct sock关联到一起。在inet_create中，struct socket的ops字段和struct sock的sk_prot字段被赋值。

以我们创建的套接字类型是TCP为例，此时struct socket和struct sock的关系如下：

还是继续刚才sendmsg的过程，由于struct socket的ops指向inet_stream_ops，所以实际调用的就是inet_sendmsg

结果，最终是调用其孪生兄弟struct sock的sk_prot的sendmsg，即tcp_sendmsg，这时，才是数据真正开始协议栈旅程的地方……