csapp之lab：shell lab
实验目的
shell lab主要目的是为了熟悉进程控制和信号。具体来说需要比对16个test和rtest文件的输出，实现五个函数：
void eval(char *cmdline)：分析命令，并派生子进程执行 主要功能是解析cmdline并运行
int builtin_cmd(char **argv)：解析和执行bulidin命令，包括 quit, fg, bg, and jobs
void do_bgfg(char **argv) 执行bg和fg命令
void waitfg(pid_t pid)：实现阻塞等待前台程序运行结束
void sigchld_handler(int sig)：SIGCHID信号处理函数
void sigint_handler(int sig)：信号处理函数，响应 SIGINT (ctrl-c) 信号
void sigtstp_handler(int sig)：信号处理函数，响应 SIGTSTP (ctrl-z) 信号
辅助函数
可用辅助函数：
int parseline(const char *cmdline,char **argv)：获取参数列表，返回是否为后台运行命令void clearjob(struct job_t *job)：清除job结构体。void initjobs(struct job_t *jobs)：初始化jobs链表。void maxjid(struct job_t *jobs)：返回jobs链表中最大的jid号。int addjob(struct job_t *jobs,pid_t pid,int state,char *cmdline)：在jobs链表中添加jobint deletejob(struct job_t *jobs,pid_t pid)：在jobs链表中删除pid的job。pid_t fgpid(struct job_t *jobs)：返回当前前台运行job的pid号。struct job_t *getjobpid(struct job_t *jobs,pid_t pid)：返回pid号的job。struct job_t *getjobjid(struct job_t *jobs,int jid)：返回jid号的job。int pid2jid(pid_t pid)：将pid号转化为jid。void listjobs(struct job_t *jobs)：打印jobs。void sigquit_handler(int sig)：处理SIGQUIT信号。
简介
shell是交互式的命令行解释器，打印提示符并在stdin上等待输入命令，并按照命令行的内容执行。命令行是ASCII单词组成的命令和参数序列。若首个单词是内置命令，shell会立即在当前进程中执行。否则是可执行文件路径，shell派生出子进程，然后在该子进程的上下文中加载和运行程序。解释单个命令行而创建的子进程叫作业，通常由Unix管道连接的多个子进程组成。**若命令行以&号“&”结束，则作业将在后台运行且不会等待作业结束。否则作业将在前台运行且等待作业终止。**故在任何时间点最多仅一个作业在前台运行。但可在后台运行任意数量的作业。
例如：tsh> /bin/ls -l -d
在前台运行程序，程序的入口是：int main(int argc,char *argv[])
则argc3，argv[0] == ‘‘/bin/ls’’，argv[1] ‘‘-l’’,argv[2]== ‘‘-d’’。若在命令行后加上&，则在后台运行ls程序。shell支持作业控制，允许用户在后台和前台移动作业，并更改作业中进程的状态（运行、停止或终止）。输入ctrl-c会向前台作业中的每个进程发送SIGINT信号，默认操作是终止进程。类似地，键入ctrl-z将向前台作业中的每个进程发送SIGTSTP信号，默认操作是将进程置于停止状态，直到收到SIGCONT信号将其唤醒。当然shell也提供内置命令支持作业控制：
- jobs：列出运行和终止的后台作业
- bg ：将终止的后台作业改为运行
- fg ：将终止或运行的后台作业改为前台运行
- kill ：发送特定信号给特定进程和进程组，默认动作是终止进程
- quit：终止shell
有三点值得注意：
- tsh不支持管道和I/O重定向
- 每个作业要么被process ID识别，要么被job ID识别，jid因该在命令行中用前缀“%”表示，“%5”表示jid 5，5表示PID 5
- shell因该回收所有僵尸进程，若任何一个作业因为接收到它没有捕捉到的信号而终止，那么tsh应该识别该事件，并打印PID和错误描述消息
提示
-
仔细阅读CSAPP第八章的异常控制流和lab的writeup
-
make testn测试shell执行第n组测试数据的输出，make rtestn打印shell预期输出，tshref.out包含shell所有预期输出结果，先看文件输出，了解命令格式再编码，修改makefile文件中CFLAGS字段，加-g参数并去掉-O2参数 -
waitpid,kill,fork,execve,setpgid,sigprocmask很常用，可通过命令手册查看使用细节，WUNTRACED和WNOHANG选项对waitpid也很有用 -
实现信息处理函数，确保发送
SIGINT和SIGTSTP信号给整个前台进程组，用-pid代替pid作为kill参数 -
建议在
waitfg的循环中用sleep函数，在sigchld_handler中对waitpid只调用一次 -
eval中进程在fork之前用sigprocmask阻塞SIGCHLD信号，之后在解除信号阻塞，之后在调用addjob添加孩子到作业列表用sigprocmask阻塞信号，因为子继承继承父进程的阻塞集合，所以子程序必须确保在执行新进程前解除阻塞SIGCHLD信号。父进程需以这种方式阻塞SIGCHLD信号，避免在父进程调用addjob之前，SIGCHLD处理器获取子进程(从而从任务列表中删除)的竞争状态。 -
不要直接调用常用命令，而应输入完整路径，如
/bin/ls -
当在标准Unix shell运行tsh时，tsh运行在前台进程组中。若tsh随后创建子进程，默认情况下，该子进程也是前台进程组的成员。因为按下ctrl-c会向前台组中的每个进程发送SIGINT信号，按下ctrl-c会向tsh及Unix shell创建的每个子进程，显然不正确。应该在
fork后，但在execve前，子进程调用setpgid(0,0)，把子进程放到新进程组中，该进程组ID与子进程的PID相同。确保前台进程组中只有一个进程，即tsh进程。当按下ctrl-c时，tsh应捕获生成的SIGINT，然后将其转发给包含前台作业的进程组。
实验前环境配置
由于csapp都是运行在32位系统，即使安装32位系统所需的库，仍然无法运行tsh，在网上找到有人配置好的csapp的docker镜像，因此直接使用docker，环境配置如下：
- 安装docker，并配置加速
- 安装vscode和ssh插件
- 命令行中运行
systemctl start docker启动docker和docker run --privileged -d -p 1221:22 --name shell yansongsongsong/csapp:shelllabshell lab的实验环境 - 通过ssh输入密码登录实验环境
实验
在vscode中打开shlab-handout文件夹，并打开tsh.c文件，可以看到在main函数中调用eval函数，而在书P525或20-ecf-sigs的P19可找到eval函数的整体代码框架：
void eval(char *cmdline)
{
char *argv[MAXARGS];/*Argument list execve() */
char buf[MAXLINE];/*Holds modified command line */
int bg;/*Should the job run in bg or fg? */
pid_t pid;/*Process id */
strcpy(buf, cmdline);
bg = parseline(buf, argv);
if (argv[0] == NULL)
return;/* Ignore empty lines */
if (!builtin_cmd(argv)) {
if ((pid = Fork()) == 0) {/* Child runs user job */
Execve(argv[0], argv, environ);
}/* Parent waits for foreground job to terminate */
if (!bg) {
int status;
if (waitpid(pid, &status,0) < 0)
unix_error("waitfg: waitpid error");
}
else
printf("%d %s", pid, cmdline);
}
return;
}
尽管ppt上说有bug，暂时先不管，先搞好整体框架，完成简单的函数，到后面在考虑。另外值得一提的是这里将fork和execve都进行封装以处理错误情况。
运行make rtest01和make test01可以看到输出一样，已经达到要求。同样操作，可以看到test02未按照预期退出tsh，分析知需要实现builtin_cmd函数。同样在书上P525能找到基础代码，只需加上jobs、fg、bg3种情况即可。代码如下：
int builtin_cmd(char **argv)
{
if(!strcmp(argv[0],"quit")) /* quit command */
exit(0);
if (!strcmp(argv[0], "&")) /* Ignore singleton & */
return 1;
if(!strcmp((argv[0]),"jobs"))/* jobs command */
{
listjobs(jobs);
return 1;
}
if(!strcmp((argv[0]),"fg") || !strcmp((argv[0]),"bg"))/* bg/fg command */
{
do_bgfg(argv);
return 1;
}
return 0; /* not a builtin command */
}
这样就过了test02和test03，经过比较test04和rtest04的输出，确定只需修改输出格式即可：
printf("[%d] (%d) %s", pid2jid(pid),pid, cmdline);
接着发现test05是执行内部命令：jobs，打印job list，比对rtest05发现没有打印出job，参考上面的提示第6条，知应同步避免父子竞争，具体来说：父进程在fork前屏蔽信号，子进程在execve前还原信号，因为子进程回继承原来的屏蔽信号。同时前台job需要调用waitfg进行等待。如果不阻塞会出现子进程先结束从jobs中删除，然后再执行到主进程addjob的竞争问题。在书上P542和PPT P57页都有对应的参考代码：
int main(int argc, char **argv)
{
int pid;
sigset_t mask_all, mask_one, prev_one;
int n = N; /* N = 5 */
Sigfillset(&mask_all);
Sigemptyset(&mask_one);
Sigaddset(&mask_one, SIGCHLD);
Signal(SIGCHLD, handler);
initjobs(); /* Initialize the job list */
while (n--) {
Sigprocmask(SIG_BLOCK, &mask_one, &prev_one); /* Block SIGCHLD */
if ((pid = Fork()) == 0) { /* Child process */
Sigprocmask(SIG_SETMASK, &prev_one, NULL); /* Unblock SIGCHLD */
Execve("/bin/date", argv, NULL);
}
Sigprocmask(SIG_BLOCK, &mask_all, NULL); /* Parent process */
addjob(pid); /* Add the child to the job list */
Sigprocmask(SIG_SETMASK, &prev_one, NULL); /* Unblock SIGCHLD */
}
exit(0);
}
加上图中对应代码，同时若子进程结束，需要delete job，在sigchld_handler中加上非阻塞循环等待子进程的代码：
void eval(char *cmdline)
{
char *argv[MAXARGS];/*Argument list execve() */
char buf[MAXLINE];/*Holds modified command line */
int bg;/*Should the job run in bg or fg? */
pid_t pid;/*Process id */
sigset_t mask_all,mask_one,prev_one;
strcpy(buf, cmdline);
bg = parseline(buf, argv);
if (argv[0] == NULL)
return;/* Ignore empty lines */
if (!builtin_cmd(argv)) {
Sigfillset(&mask_all);/* add every signal number to set */
Sigemptyset(&mask_one);/* create empty set */
Sigaddset(&mask_one, SIGCHLD);/* add signal number to set */
/* block SIGINT and save previous blocked set */
Sigprocmask(SIG_BLOCK, &mask_one, &prev_one); /* Block SIGCHLD */
if ((pid = Fork()) == 0) {/* Child runs user job */
/* restore previous blocked set,unblocking SIGINT */
Sigprocmask(SIG_SETMASK, &prev_one, NULL); /* Unblock SIGCHLD */
//Setpgid(0,0);
Execve(argv[0], argv, environ);
}/* Parent waits for foreground job to terminate */
Sigprocmask(SIG_BLOCK, &mask_all, NULL); /* Block SIGCHLD */
int st = (bg==0) ? FG : BG;
addjob(jobs,pid,st,cmdline);
Sigprocmask(SIG_SETMASK, &prev_one, NULL); /* Unblock SIGCHLD */
if (!bg) {
//由于sigchld_handler上面被调用，而上面回调用waitpid，因此这里不用调用只需循环等待即可
waitfg(pid);
}
else
printf("[%d] (%d) %s", pid2jid(pid),pid, cmdline);
}
return;
}
void sigchld_handler(int sig)
{
int olderrno = errno;
sigset_t mask_all,prev_all;
pid_t pid;
Sigfillset(&mask_all);
/*改成非阻塞，否则test05中运行到此处，前端进程执行jobs会阻塞直到所有子进程都被回收，即两个后端进程都执行并delete才会离开，则jobs命令什么也没有打印*/
while((pid = waitpid(-1,NULL,WNOHANG | WUNTRACED))>0){
Sigprocmask(SIG_BLOCK,&mask_all,&prev_all);
deletejob(jobs,pid);
Sigprocmask(SIG_SETMASK,&prev_all,NULL);
}
errno = olderrno;
return;
}
如果是前台命令，则调用waitfg循环等待，在注释中看到最好不要用waitpid(pid,NULL,0)，其次根据上面的提示，不要同时在sigchld_handler和waitfg函数中使用waitpid，因为在同一个程序的两个地方都回收僵死进程，虽然也行，但容易让人迷惑：
void waitfg(pid_t pid)
{
while(fgpid(jobs))
usleep(1000);//一秒
return;
}
这样就完成test05，接下来test06和test07、test08就是实现SIGINT和SIGSTOP信号处理函数，注意前面提示的第4条用-pid作为kill的参数，同时最后一条在fork后execve前子进程应调用setpgid(0,0)，否则回报错No such process，注意sigint_handler和sigtstp_handler只需调用kill即可，将输出留到sigchld_handler中，这样就需修改前面的sigchld_handler以处理不同子进程退出状态：
void sigint_handler(int sig)
{
int olderrno = errno;
pid_t fg = fgpid(jobs);
if(fg){
Kill(-fg,sig);
}
errno = olderrno;
return;
}
void sigtstp_handler(int sig)
{
int olderrno = errno;
pid_t fg = fgpid(jobs);
if(fg){
Kill(-fg,sig);
}
errno = olderrno;
return;
}
void sigchld_handler(int sig)
{
int olderrno = errno;
sigset_t mask_all,prev;
pid_t pid;
int status;
Sigfillset(&mask_all);
/*改成非阻塞，否则test05中运行到此处，前端进程执行jobs会阻塞直到所有子进程都被回收，即两个后端进程都执行并delete才会离开，则jobs命令什么也没有打印*/
while((pid = waitpid(-1,&status,WNOHANG | WUNTRACED))>0){
// WNOHANG | WUNTRACED 是立即返回
// 用WIFEXITED(status)，WIFSIGNALED(status)，WIFSTOPPED(status)等来补获终止或者
// 被停止的子进程的退出状态。
if (WIFEXITED(status)) // 正常退出 delete
{
sigprocmask(SIG_BLOCK, &mask_all, &prev);
deletejob(jobs, pid);
sigprocmask(SIG_SETMASK, &prev, NULL);
}
else if (WIFSIGNALED(status)) // 信号退出 delete
{
struct job_t* job = getjobpid(jobs, pid);
sigprocmask(SIG_BLOCK, &mask_all, &prev);
printf("Job [%d] (%d) terminated by signal %d\n", job->jid, job->pid, WTERMSIG(status));
deletejob(jobs, pid);
sigprocmask(SIG_SETMASK, &prev, NULL);
}
else // 停止 只修改状态就行
{
struct job_t* job = getjobpid(jobs, pid);
sigprocmask(SIG_BLOCK, &mask_all, &prev);
printf("Job [%d] (%d) stopped by signal %d\n", job->jid, job->pid, WSTOPSIG(status));
job->state= ST;
sigprocmask(SIG_SETMASK, &prev, NULL);
}
}
errno = olderrno; // 恢复
return;
}
这样就完成test06和test07、test08。接下来test09和test10是测试fg和bg内置命令，先解析命令通过getjobjid或getjobpid获取job，再分情况对fg和bg命令做不同处理，输入%num 代表任务id，num代表进程id，分情况讨论即可，但要注意各种异常情况：
void do_bgfg(char **argv)
{
if(!argv[1]){
printf("%s command requires PID or %%jobid argument\n", argv[0]);
return;
}
if (!isdigit(argv[1][0]) && argv[1][0] != '%') { // Checks if the second argument is valid
printf("%s: argument must be a PID or %%jobid\n", argv[0]);
return;
}
struct job_t* myjob;
if(argv[1][0]=='%'){
myjob = getjobjid(jobs,atoi(&argv[1][1]));
if(!myjob){
printf("%s: No such job\n", argv[1]);
return;
}
}else{
myjob = getjobpid(jobs,atoi(argv[1]));
if (!myjob) { // Checks if the given PID is there
printf("(%d): No such process\n", atoi(argv[1]));
return;
}
}
Kill(-myjob->pid,SIGCONT);
if(!strcmp(argv[0],"bg")){
myjob->state = BG;
printf("[%d] (%d) %s",myjob->jid,myjob->pid,myjob->cmdline);
}else{
myjob->state = FG;
waitfg(myjob->pid);
}
return;
}
这样就过了test09和test10。接下来test11 和test12 、test13分别测试Forward SIGINT、Forward SIGTSTP、Restart stopped process都能正常通过，若每通过，因该是前面某些测试有问题，解决后即可。test14是测试JID或PID的错误输入的情况，较容易通过。test15将前面所有测试情况放一起，也顺利通过，而test16是测试tsh能否处理不是来自终端而是来自其他进程的SIGSTP和SIGINT信号，顺利通过。
总结
最终代码见下，该实验主要涉及加载、进程控制、信号等基础但很重要的知识，涉及到异常控制流、进程、系统调用、信号处理函数与非本地跳转等并发编程的知识。并发的同步问题是关键，利用信号屏蔽与还原就能解决。此外阅读 man 手册了解系统接口使用细节对完成实验很有帮助。
/*
* tsh - A tiny shell program with job control
*
*
*/
#include 本文由博客一文多发平台 OpenWrite 发布！