服务器按处理方式可以分为迭代服务器和并发服务器两类。平常用C语言编写的简单Socket客户端服务器通信,服务器每次只能处理一个客户的请求,它实现简单但效率很低,通常这种服务器被称为迭代服务器。
但实际上,不可能让一个服务器长时间地为一个客户服务,而是需要其具有同时处理多个客户请求的能力,这种可以同时处理多个客户端请求的服务器被称为并发服务器,其效率很高却实现有些复杂。在实际应用中,并发服务器应用的最广泛。
linux下有3种实现并发服务器的方式:多进程并发服务器,多线程并发服务器,IO多路复用。先来看多进程并发服务器的实现
很多人认为可执行的程序就是进程,其实这个说法并不到位!进程这个概念针对的是操作系统,而不是针对用户。进程在操作系统原理是这样描述的:正在运行的程序及其占用的资源(CPU、内存、系统资源等)叫做进程。
在深入了解多进程编程之前,我们首先要了解Linux下进程在运行时的内存布局。Linux 进程内存管理的对象都是虚拟内存,每个进程会有 0-4G 的虚拟内存空间,0-3G 是用户空间,用来执行用户自己的代码, 而高 1GB 的空间则是内核空间执行 Linux 系统调用,这里存放在整个内核的代码和所有的内核模块。
Linux下一个进程在内存里有三部分的数据,即”代码段”、”堆栈段”和”数据段”。学过汇编语言的同学应该知道,CPU一般都有上述三种段寄存器,这三个部分数据构成了一个完整执行序列的必要部分。
① 代码段:存放程序代码的数据
② 堆栈段:存放子程序的返回地址、子程序的参数以及程序的局部变量和malloc()动态申请内存的地址
③ 数据段:存放程序的全局变量,静态变量及常量
下图是Linux下进程的内存布局:
Linux 内存管理的基本思想就是只有在真正访问一个地址的时候才建立这个地址的物理映射,Linux C/C++语言的分配方式共有3 种:
(1)从静态存储区域分配。就是数据段的内存分配,这段内存在程序编译阶段就已经分配好,在程序的整个运行期间都存在,例如全局变量、static 变量。
(2)在栈上创建。在执行函数时,函数内局部变量的存储单元都可以在栈上创建,函数执行结束时这些存储单元自动被释放。栈内存分配运算内置于处理器的指令集中,效率很高,但是系统栈中分配的内存容量有限,比如大额数组就会把栈空间撑爆导致段错误。
(3)从堆上分配,亦称动态内存分配。程序在运行的时候用 malloc()或 new 申请任意多少的内存,程序员自己负责在何时用free ()或 delete 释放内存。此 区域内存分配称之为动态内存分配。动态内存的生存期由我们决定,使用非常灵活,但问题也最多,比如指向某个内存块的指针取值发生了变化又没有其他指针指向这块内存,这块内存就无法访问,发生内存泄露。
Linux下有两个基本的系统调用可以用于创建子进程:fork()和vfork()。英文fork是"分叉"的意思。可以这样理解:一个进程在运行中,如果调用了fork(),就产生了另一个进程,于是进程就”分叉”了!
fork()的函数原型及返回值:
#include
pid_t fork(void);
RETURN VALUE
On success, the PID of the child process is returned in the parent, and 0 is returned in
the child. On failure, -1 is returned in the parent, no child process is created, and
errno is set appropriately.
/*fork()系统调用会创建一个新的进程,这时它会有两次返回。
一次返回是给父进程,其返回值是子进程的PID(Process ID),
第二次返回是给子进程,其返回值为0。*/
系统调用fork()会创建一个新的子进程,这个子进程是父进程的一个副本。这也意味着,系统在创建新的子进程成功后,会将父进程的文本段、数据段、堆栈都复制一份给子进程,但子进程有自己独立的空间,子进程对这些内存的修改并不会影响父进程空间的相应内存。这就好比你父母之前买了一套房子。等到你结婚了,又买了一套一模一样的房子给你,然后你对这套房子怎么装修都不会影响到你父母的房子!
另外,每个子进程只能有一个父进程,并且每个进程都可以通过调用getpid()获取自己的进程PID,也可以通过getppid()获取父进程的PID,这样在fork()时返回0给子进程是可取的。一个进程可以创建多个子进程,但对于父进程而言,他并没有API函数用来获取其子进程的进程PID,所以父进程在通过fork()创建子进程的时候,必须通过返回值的形式告诉父进程其创建的子进程PID。这也是系统调用fork()设计两次返回值的原因。
因此在调用fork()后,需要通过其返回值来判断当前的代码是父进程还是子进程在运行,如果返回值是0说明现在是子进程在运行,如果返回值>0说明是父进程在运行,而如果返回值<0的话,说明fork()系统调用出错。出错原因大致有以下两点:
① 系统中已经有太多的进程
② 该实际用户 ID 的进程总数超过了系统限制
关于进程的退出,我们知道在main()函数里使用return,就会调用exit()函数,从而导致进程退出。对于其他函数,在其任何位置调用exit()也会导致进程退出。因此,倘若子进程使用了return,那么子进程就会退出;同理,父进程使用了return,也会退出。这里我们需要注意的是:在编程时,在程序的任何位置调用exit()函数都会导致本进程退出;在main()函数中使用return,会导致进程退出;但在其他函数中使用return都只是令这个函数返回,而不会导致进程退出。
下面是一个简单的程序例子来描述父进程创建子进程的过程
示例代码如下:
#include
#include
#include
#include
int g_var = 6;
char g_buf[] = "A string write to stdout.\n";
int main (int argc, char **argv)
{
int var = 88;
pid_t pid;
if (write(STDOUT_FILENO, g_buf, sizeof(g_buf)-1) < 0)
{
printf("Write string to stdout error: %s\n", strerror(errno));
return -1;
}
printf("Befor fork\n");
if ((pid = fork()) < 0)
{
printf("fork() error: %s\n", strerror(errno));
return -2;
}
else if ( 0 == pid)
{
printf("Child process PID[%d] running...\n", getpid());
g_var++;
var++;
}
else
{
printf("Parent process PID[%d] waiting...\n", getpid());
sleep(1);
}
printf("PID=%ld, g_var=%d, var=%d\n", (long) getpid(), g_var, var);
return 0;
}
GCC编译:
gcc fork_var.c -o fork_var
./fork_var
运行结果:
A string write to stdout.
Befor fork
Parent process PID[27642] waiting...
Child process PID[27643] running...
PID=27643, g_var=7, var=89
PID=27642, g_var=6, var=88
程序分析:
我们可以从上面的例子中发现,当知道子进程从父进程那里继承了什么或未继承什么时,会有助于今后的多进程编程。下面这个列表会因为不同Unix的实现而发生变化,所以不能保证完全准确。另外,子进程得到的是这些东西的拷贝,而不是它们本身。
由子进程自父进程继承到:
子进程所独有:
在上面的例子中,我们所创建的子进程是让其继续执行父进程的文本段。但实际上,创建子进程的目的更多的是想让子进程去执行另外一个程序。这时我们会在fork()之后,紧接着调用exec*()系列函数便可让子进程去执行另外一个程序。
exec*()系列函数原型为:
int execl(const char *path, const char *arg, ...)
int execv(const char *path, char *const argv[])
int execle(const char *path, const char *arg, ..., char *const envp[])
int execve(const char *path, char *const argv[], char *const envp[])
int execlp(const char *file, const char *arg, ...)
int execvp(const char *file, char *const argv[])
exec*()系列函数关系:
execl()函数参数说明:
在这么多的函数调中,这里选择一个实现(execl()函数的参数相对简单,所以使用它要多些),接下来以一个程序实例来演示它的使用。
该程序功能为通过C程序代码获取主机IP地址,首先通过fork()创建一个子进程,然后调用execl()来执行ifconfig程序,并将标准输出重定向到文件,之后父进程从该文件中读文件内容并作相应的字符串解析,最终获取IP地址!
示例代码如下:
#include
#include
#include
#include
#include
#include
#include
#include
// 标准输出重定向的文件, /tmp路径是在Linux系统在内存里做的一个文件系统
#define TMP_FILE "/tmp/.ifconfig.log"
int main(int argc, char **argv)
{
int fd;
int rv;
pid_t pid;
FILE *fp;
char *ptr;
char *ip_start;
char *ip_end;
char ipaddr[16];
char buf[1024];
//父进程打开这个文件,子进程将会继承父进程打开的这个文件描述符,这样父子进程都可以通过各自的文件描述符访问同一个文件了
if ((fd = open(TMP_FILE, O_RDWR|O_CREAT|O_TRUNC, 0644)) < 0)
{
printf("Redirect standard output to file failure: %s\n", strerror(errno));
return -1;
}
pid = fork(); //父进程开始创建进程
if (pid < 0)
{
printf("fork() create child process failure: %s\n", strerror(errno));
return -1;
}
else if (pid == 0) //子进程开始运行
{
printf("Child process start excute ifconfig program\n");
//子进程会继承父进程打开的文件描述符,并将标准输出重定向到打开的文件中
//将ifconfig eth0命令在执行后的结果输出到文件中
dup2(fd, STDOUT_FILENO);
/*
execl()函数让子进程开始执行带参数的ifconfig命令: ifconfig eth0
并且execl()会让子进程彻底丢掉父进程的文本段、数据段,
并加载/sbin/ifconfig这个程序的文本段、数据段然后重新建立进程内存空间。
*/
execl("/sbin/ifconfig", "ifconfig", "eth0", NULL);
/*
execl()函数成功执行后是不会返回的,因为他去执行另外一个程序了。
但如果execl()返回了,说明该系统调用出错了。
*/
printf("Child process excute another program, will not return here. Return here means
execl() error\n");
return -1;
}
else
{
sleep(3); //父进程睡眠3s,保证子进程先执行
}
//子进程因为调用了execl(), 它会丢掉父进程的文本段,所以子进程不会执行到这里了。只有父进程会继续执行这后面的代码
fp = fdopen(fd, "r"); //调用fdopen()函数将文件描述符fd转成文件流fp
fseek(fp, 0, SEEK_SET); //设置文件偏移量到文件起始处
while (fgets(buf, sizeof(buf), fp)) //fgets()从文件里一下子读一行,读到文件尾则返回NULL
{
/*
已知包含IP地址的那一行包含有netmask关键字,如果在该行中找到该关键字就可以从这里面解析出IP地址了。
inet 192.168.2.17 netmask 255.255.255.0 broadcast 192.168.2.255
inet6 fe80::ba27:ebff:fee1:95c3 prefixlen 64 scopeid 0x20
*/
if (strstr(buf, "netmask"))
{
//查找"inet"关键字,inet关键字后面跟的就是IP地址;
ptr = strstr(buf, "inet");
if (!ptr)
{
break;
}
ptr += strlen("inet");
//inet关键字后面是空白符,我们不确定是空格还是TAB,所以这里使用isblank()函数判断如果字符还是空白符就往后跳过;
while (isblank(*ptr))
{
ptr++;
}
//跳过空白符后跟着的就是IP地址的起始字符;
ip_start = ptr;
//IP地址后面又是跟着空白字符,跳过所有的非空白字符,即IP地址部分:xxx.xxx.xxx.xxx
while(!isblank(*ptr))
{
ptr++;
}
//第一个空白字符的地址也就是IP地址终止的字符位置
ip_end = ptr;
//使用memcpy()函数将IP地址拷贝到存放IP地址的buffer中,其中ip_end-ip_start就是IP地址的长度,ip_start就是IP地址的起始位置;
memset(ipaddr, 0, sizeof(ipaddr));
memcpy(ipaddr, ip_start, ip_end-ip_start);
break;
}
}
printf("Parser and get IP address: %s\n", ipaddr);
fclose(fp);
unlink(TMP_FILE);
return 0;
}
程序执行结果:
Child process start excute ifconfig program
Read 0 bytes data dierectly read after child process write
Read 496 bytes data after lseek:
eth0: flags=4163 mtu 1500
inet 192.168.2.17 netmask 255.255.255.0 broadcast 192.168.2.255
inet6 fe80::ba27:ebff:feb4:c096 prefixlen 64 scopeid 0x20
ether b8:27:eb:b4:c0:96 txqueuelen 1000 (Ethernet)
RX packets 532532 bytes 129032905 (123.0 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 257545 bytes 45078393 (42.9 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
Parser and get IP address: 192.168.2.17
vfork()是另外一个可以用来创建进程的函数,他与fork()的用法相同,也用于创建一个新进程。 但vfork()并不将父进程的地址空间完全复制给子进程。由于子进程会调用exec*()或exit(),因此就不会引用该地址空间了。不过子进程在调用exec()或exit()之前,他在父进程的空间中运行,此时如果子进程想尝试修改数据域(数据段、堆、栈)都会带来未知的结果,因为这会影响父进程空间的数据,从而可能导致父进程的执行出现异常。
此外,vfork()会保证子进程先运行,在他调用了exec或exit()之后父进程才可能被调度运行。如果子进程依赖于父进程的进一步动作,则会导致死锁。
vfork()函数原型:
#include
#include
pid_t vfork(void);
当一个进程正常或异常退出时,内核就会向其父进程发送SIGCHLD信号。因为子进程退出是一个异步事件,所以这种信号也是内核向父进程发送的一个异步通知。父进程可以选择忽略该信号,或者提供一个该信号发生时即将被执行的函数,父进程可以调用wait()或waitpid()用来查看子进程退出的状态。
wait()与waitpid()函数原型:
#include
#include
pid_t wait(int *status);
pid_t waitpid(pid_t pid, int *status, int options);
RETURN VALUE
wait(): on success, returns the process ID of the terminated child; on error, -1 is
returned.
waitpid(): on success, returns the process ID of the child whose state has changed;
if WNOHANG was specified and one or more child(ren) specified by pid exist, but have
not yet changed state, then 0 is returned. On error, -1 is returned.
在子进程终止前,wait()使其调用者阻塞,而waitpid()有一选项可使调用者不用阻塞。 waitpid()并不等待在其调用的之后的第一个终止进程,他有若干个选项,可以控制他所等待的进程。 如果一个已经终止、但其父进程尚未对其调用wait()进行处理(获取终止子进程的有关信息如CPU时间片、释放它锁占用的资源如文件描述符等)的进程被称僵死进程(zombie)。如果子进程已经终止,并且是一个僵死进程,则wait()立即返回该子进程的状态。所以我们在多进程编程时,最好调用wait()或waitpid()来解决僵死进程的问题。
此外,如果父进程在子进程退出之前退出了,这时候子进程就变成了孤儿进程。当然每一个进程都应该有一个独一无二的父进程,init进程就是这样的一个“慈父”,Linux内核中所有的子进程在变成孤儿进程之后都会被init进程“领养”,这也意味着孤儿进程的父进程最终会变成init进程。
代码如下:
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
void print_usage(char *progname)
{
printf("%s usage: \n", progname);
printf("-p(--port): sepcify server listen port.\n");
printf("-h(--Help): print this help information.\n");
return ;
}
int main(int argc, char **argv)
{
int sockfd = -1;
int rv = -1;
int port = 0;
int clifd;
int ch;
int on = 1;
struct sockaddr_in servaddr;
struct sockaddr_in cliaddr;
socklen_t len;
pid_t pid;
struct option opts[] = {
{"port", required_argument, NULL, 'p'},
{"help", no_argument, NULL, 'h'},
{NULL, 0, NULL, 0}
};
while ((ch=getopt_long(argc, argv, "p:h", opts, NULL)) != -1)
{
switch (ch)
{
case 'p':
port=atoi(optarg);
break;
case 'h':
print_usage(argv[0]);
break;
}
}
if (!port)
{
print_usage(argv[0]);
return 0;
}
sockfd = socket(AF_INET, SOCK_STREAM, 0);
if(sockfd < 0)
{
printf("Create socket failure: %s\n", strerror(errno));
return -1;
}
printf("Create socket[%d] successfully!\n", sockfd);
setsockopt(sockfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on));
memset(&servaddr, 0, sizeof(servaddr));
servaddr.sin_family=AF_INET;
servaddr.sin_port = htons(port);
servaddr.sin_addr.s_addr = htonl(INADDR_ANY); /* listen all the IP address on this host */
rv = bind(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
if (rv < 0)
{
printf("Socket[%d] bind on port[%d] failure: %s\n", sockfd, port, strerror(errno));
return -2;
}
listen(sockfd, 13);
printf("Start to listen on port [%d]\n", port);
while(1)
{
printf("Start accept new client incoming...\n");
clifd = accept(sockfd, (struct sockaddr *)&cliaddr, &len);
if (clifd < 0)
{
printf("Accept new client failure: %s\n", strerror(errno));
continue;
}
printf("Accept new client[%s:%d] successfully\n", inet_ntoa(cliaddr.sin_addr),
ntohs(cliaddr.sin_port));
pid = fork();
if (pid < 0)
{
printf("fork() create child process failure: %s\n", strerror(errno));
close(clifd);
continue;
}
else if( pid > 0 )
{
/* Parent process close client fd and goes to accept new socket client again */
close(clifd);
continue;
}
else //0 == pid
{
int i;
char buf[1024];
printf("Child process start to commuicate with socket client...\n");
close(sockfd); /* Child process close the listen socket fd */
while (1)
{
memset(buf, 0, sizeof(buf));
rv = read(clifd, buf, sizeof(buf));
if (rv < 0)
{
printf("Read data from client sockfd[%d] failure: %s\n", clifd,
strerror(errno));
close(clifd);
exit(0);
}
else if (rv == 0)
{
printf("Socket[%d] get disconnected\n", clifd);
close(clifd);
exit(0);
}
else //rv > 0
{
printf("Read %d bytes data from Server: %s\n", rv, buf);
}
/* convert letter from lowercase to uppercase */
for (i = 0; i < rv; i++)
{
buf[i] = toupper(buf[i]); //转变成大写
}
rv = write(clifd, buf, rv);
if (rv < 0)
{
printf("Write to client by sockfd[%d] failure: %s\n", clifd,
strerror(errno));
close(clifd);
exit(0);
}
} /* Child process loop */
} /* Child process start*/
}
close(sockfd);
return 0;
}
程序分析:
接下来在windows下使用TCP socket测试工具连接并测试服务器的执行情况,我们可以发现服务器可以同时处理多个客户端的连接请求和通信,并在客户端断开时子进程退出,从而实现了服务器并发访问。
使用多进程确实可以实现多个客户端的并发,但一个服务器并不能给无限多个客户端提供服务!在Linux下每种资源都有相关的软硬限制,譬如单个用户最多能创建的子进程个数有限制,同样一个进程最多能打开的文件描述符也有相应的限制值,这些会限制服务器能够提供并发访问的客户端的数量。 在Linux系统下,我们可以使用下面两个函数来获取和设置这些限制:
#include
int getrlimit(int resource, struct rlimit *rlim);
int setrlimit(int resource, const struct rlimit *rlim);
参数 resource说明:
参数rlim说明:描述资源软硬限制的结构体
struct rlimit
{
rlim_t rlim_cur;
rlim_t rlim_max;
};
下面我们用一个例程介绍一下这两个函数的使用方法。
代码如下:
#include
#include
#include
#include
void print_limits(char* name, int resource)
{
struct rlimit limit;
if (getrlimit(resource, &limit) < 0)
{
printf("getrlimit for %s failure: %s\n", strerror(errno));
return ;
}
printf("%-15s ",name);
if (limit.rlim_cur == RLIM_INFINITY)
{
printf("(infinite) ");
}
else
{
printf("%-15ld",limit.rlim_cur);
}
if (limit.rlim_max == RLIM_INFINITY)
{
printf("(infinite) ");
}
else
{
printf("%-15ld",limit.rlim_max);
}
printf("\n");
}
int main(void)
{
struct rlimit limit = {0};
print_limits("RLIMIT_NPROC", RLIMIT_NPROC);
print_limits("RLIMIT_DATA", RLIMIT_DATA);
print_limits("RLIMIT_STACK", RLIMIT_STACK);
print_limits("RLIMIT_NOFILE", RLIMIT_NOFILE);
printf("\nAfter set RLIMIT_NOFILE:\n");
getrlimit(RLIMIT_NOFILE, &limit );
limit.rlim_cur = limit.rlim_max;
setrlimit(RLIMIT_NOFILE, &limit );
print_limits("RLIMIT_NOFILE", RLIMIT_NOFILE);
return 0;
}
程序运行结果如下:
RLIMIT_NPROC 7345 7345
RLIMIT_DATA (infinite) (infinite)
RLIMIT_STACK 8388608 (infinite)
RLIMIT_NOFILE 1024 1048576
After set RLIMIT_NOFILE:
RLIMIT_NOFILE 1048576 1048576
由上所知,一个服务器程序抛开硬件(CPU、内存、带宽)限制以外,还会受到Linux系统的资源限制。所以,如果我们想要增加Linux服务器并发访问的客户端数量,则需要在服务器程序里通过调用setrlimit()函数来修改这些限制。