20135231 —— 第十二周任务总结报告

第十一章 网络编程

　　网络应用随处可见。

　　网络应用依赖于很多在系统研究中已经学习过的概念，例如，进程、信号、字节器映射以及动态存储分配，都扮演着重要的角色。还有一些新概念要掌握。我们需要理解基本的客户端-服务器编程模型，以及如何编写使用因特网提供的服务的客户端―服务器程序。最后，我们将把所有这些概念结合起来，开发一个小的但功能齐全的Web的服务器，能够为真实的Web，浏览器提供静态和动态的文本和图形内容。

一、客户端-服务器编程模型

1. 每个网络应用都是基于客户端-服务器模型的。采用这个模型，一个应用是由一个服务器户端提供某种服务。服务器管理某种资源，并且通过操作这种资源来为它的客户端提供某种服务。—个FTP服务器就管理了一组磁盘文件，它为客户端进行它会为客户端进行存储和检索。相似地一个电子邮件服务器管理了一些文件，它为客户端进行读和更新。
2. 客户端-服务器模型中的基本操作是事务

3. 事务由四步组成

   1）当一个客户端需要服务时，它向服务器发送一个请求，发起一个事务。例如，当Web览器需要一个文件时，它就发送一个请求给Web服务器
   2）服务器收到请求后，解释它，并以适当的方式操作它的资源。例如，当Web服务器收到浏览器发出的请求后，它就读一个磁盘文件
   3）服务器给客户端发送一响应，并等待下一个请求。例如，Web服务器将文件发送回客户端；
   4）客户端收到响应并处理它。例如，当Web浏览器收到来自服务器的一页后，它就在屏幕上显示此页。

二、网络

1. 客户端和服务器通常运行在不同的主机上，并且通过计算机网络的硬件和软件资源来通信。网络是复杂的系统，在这里我们只想了解一点皮毛。我们的目标是从程序员的角度给你一个可工作的思考模型。对于一个主机而言，网络只是又一种I/O设备，作为数据源和数据接收方，如图所示。一个插到I/O总线扩展槽的适配器提供了到网络的物理接口。从网络上接收到的数据从适配器经过I/O和存储器总线拷贝到存储器，典型地是通过DMA（译者注：直接存储器存取方式）传送。相似地，数据也能从存储器拷贝到网络。
2. 一个以太网段，包括电缆和集线器；每根电缆都有相同的最大位带宽；集线器不加分辩地将一个端口上收到的每个位复制到其他所有的端口上。因此，每台主机都能看到每个位。
3. 每个以太网适配器都有—个全球唯一的48位地址，它存储在这个适配器的非易失性存储器上。每个主机适配器都能看到这个帧，但是只有目的主机实际读取它。
4. 桥接以太网 由 电缆和网桥 将多个以太网段连接起来，形成的较大的局域网。连接网桥的电缆传输速率可以不同（例：网桥与网桥之间1GB/S, 网桥与集线器之间100MB/S）。
5. 网桥作用：连接不同网段。同一网段内A向B传输数据时，帧到达网桥输入端口，网桥将其丢弃，不予转发。A向另一网段内C传输数据时，网桥才将帧拷贝到与相应网段连接的端口上。从而节省了网段的带宽

　　协议软件的基本能力：

1. 1. 命名机制 为每台主机至少分配一个互联网地址，从而消除不同主机地址格式的差异，是每台主机能被识别。
   2. 传送机制 不同格式的数据进行封装，使其具有相同的格式。

　　局域网由集线器和网桥及连接的电缆组成。

 

三、全球ip因特网

　　全球IP因特网是最著名和最成功的互联网络实现。虽然因特网的内部体系结构复杂而且不断变化，但是自从20世纪80年代早期以来，客户端-服务器应用的组织就一直保持相当的稳定。下图展示了一个因特网客户端-服务器应用程序的基本硬件和软件组织。每台因特网主机都运行实现TCP/TP协议的软件，几乎每个现代计算机系统都支持这个协议。因特网的客户端和服务器混合使用套接字接口函数和Unix I/O函数来进行通信。套接字函数典型地是作为会陷入内核的系统调用来实现的，并调用各种内核模式的TCP/IP函数。

1、ip地址

1. 一个IP地址就是一个32位无符号整数。
2. 网络程序将IP地址存放在下图所示的IP地址结构中。

2、因特网域名

　　因特网客户端和服务器互相通信时使用的是IP地址。然而，对于人们而言，大整数是很难记住的，所以因特网也定义了一组更加人性化的域名，以及一种将域名映射到IP地址的机制。域名是一串用句点分隔的单词（字母、数字和破折号）。

　　域名集合形成了一个层次结构，每个域名编码了它在这个层次中的位置。通过一个示例你将很容易理解这点。下展示了域名层次结构的一部分。层次结构可以表示为一棵树。树的节点表示城名，反向到根的路径形成了域名。子树称为子域。层次结构中的第一层是个未命名的根节点。下一层是一组一级域名由非赢利组织（因特网分酒名字数字协会)定义。常见的第一层域名包括com、edu、gov、org、net，这些域名是由ICANN的各个授权代理按照先到先服务的基础分配的的。一旦一个组织得到了一个二级域名，那么它就可以在这个子域中创建任何新的域名了。

3、因特网连接

1. 因特网客户端和服务器通过在连接上发送和接收字节流来通信。从连接一对进程的意义上而言，连接是点对点的。从数据可以同时双向流动的角度来说，它是全双工的。并且从（除了一些如粗心的耕锄机操作员切断了电缆引起灾对性的失败以外）由源进程发出的字节流最终被目的进程以它发出的顺序收到它的角度来说，它也是可靠的。
2. 一个套接字是连接的一个端点。每个套接字都有相应的套接字地址，是由一个因特网地址和一个16位的整数端口组成的，用“地址：端口”来表示。当客户端发起一个连接请求时，客户端套接字地址中的端口是由内核自动分配的，称为临时端口。然而，服务器套接字地址中的端口通常是某个知名的端口，是和这个服务相对应的。例如，web服务器通常使用端口80，电子邮件服务器使用端口25。

四、套接字接口

1、套接字地址结构

　　从Unix内核的角度来看，一个套接字就是通信的一个端点。

2、socket函数

1. Socket函数客户端和服务器使用函数来创建一个套接字描述符.
2. 其中，AF_INET表明我们正在使用因特网，而SCKET_STREAM表示这个套接字是因特网连接一个端点。Socket返回的clientfd描述符仅是部分打开的，还不能用于读写。如何完成打开套接字的工作，取决于我们是客户端还是服务器。

3、connect函数

1. 客户端通过connect函数来建立和服务器的连接。
2. connect函数试图与套接字地址为serv_addr的服务器建立一个因特网连接，其中addrlen是size of ( sockaddr_in )。Connect函数会阻塞，一直到连接成功建立或是发生错误如果成功，sockfd描述符现在就准备好可以读写了，并且得到的连接是由套接字对刻画的。

五、web服务器

1、web基础

1. Web客户端和服务器之间的交互用的是一个基于文本的应用级协议，叫做HTTP。
2. HTTP是一个简单的协议。一个web客户端（即浏览器）打开一个到服务器的因特网连接。浏览器读取这些内容，并请求某些内容。服务器响应所请求的内容，然后关闭连接。浏览器读取并把它显示在屏幕内
3. 主要的区别是Web内容可以用HTML来编写。一个HTML程序（页）包含指令（标记）它们告诉浏览器如何显示这页中的各种文本和图形对象。

2、web内容

Web服务器以两种不同的方式向客户端提供内容：

1. 1. 取一个磁盘文件，并将它的内容返回给客户端。
   2. 运行一个可执行文件，并将它的输出返回给客户端。

3、http事务

1. http请求
2. http响应

4、服务动态内容

1. 客户端如何将程序参数传递给服务器
2. 服务器如何将参数传递给子进程
3. 服务器如何将其他信息传递给子进程
4. 子进程将它的输出发送到哪里

六、综合:tiny web服务器

1. TINY的main程序
2. doit函数
3. clienterror函数
4. read_requestthdrs函数
5. parse_uri函数
6. serve_static函数
7. serve_dynamic函数

 

 

第十二章 并发编程

如果逻辑控制流在时间上重叠，那么他们就是并发的。应用级并发在以下情况中发挥作用：

• 访问慢速I/O设备。
• 与人交互。
• 通过推迟工作以降低延迟。
• 服务多个网络客户端。
• 在多核机器上进行并行计算。

使用应用级并发的应用程序称为并发程序。现代操作系统提供了三种基本的构造并发程序的方法：

• 进程。每个逻辑控制流都是一个进程，由内核来调度和维护。控制流使用显式的进程间通信（IPC）机制。
• I/O多路复用。应用程序在一个进程的上下文中显式地调度他们自己的逻辑流。所有的流都共享同一个地址空间。
• 线程。线程是运行在一个单一进程上下文中的逻辑流，由内核进行调度。

一、基于进程的并发编程

1. 使用SIGCHLD处理程序来回收僵死子进程的资源。
2. 父进程必须关闭他们各自的connfd拷贝（已连接的描述符），避免存储器泄露。
3. 因为套接字的文件表表项中的引用计数，直到父子进程的connfd都关闭了，到客户端的连接才会终止。

1.基于进程的并发服务器

一个基于进程的并发的echo服务器的代码，重要说明：

1. 1. 首先，通常服务器会运行很长时间，所以我们必须包括一个SIGCHLD处理程序，来回收僵死子进程资源。
   2. 其次，父子进程必须关闭他们的connfd拷贝。
   3. 最后，因为套接字的文件表表项的引用计数，直到父子进程的connfd都关闭了，到客户端的连接才会终止。

2.关于进程的优劣

关于进程的优劣，对于在父、子进程间共享状态信息，进程有一个非常清晰的模型：共享文件表，但是不共享用户地址空间。进程有独立的地址控件爱你既是优点又是缺点。由于独立的地址空间，所以进程不会覆盖另一个进程的虚拟存储器。但是另一方面进程间通信就比较麻烦，至少开销很高。

二、基于i/o多路复用的并发编程

1. 就是使用select函数要求内核挂起进程，只有在一个或多个I/O事件发生后，才将控制返回给应用程序。
2. select函数处理类型为fd_set的集合，即描述符集合，并在逻辑上描述为一个大小为n的位向量，每一位b[k]对应描述符k，但当且仅当b[k]=1，描述符k才表明是描述符集合的一个元素。

1、基于i/o多路复用的并发事件驱动服务器

事件驱动程序：将逻辑流模型化为状态机。

状态机：

• • 状态
  • 输入事件
  • 转移

对于状态机的理解，参考EDA课程中学习的状态转换图的画法和状态机。

整体的流程是：

• • select函数检测到输入事件
  • add_client函数创建新状态机
  • check_clients函数执行状态转移（在课本的例题中是回送输入行），并且完成时删除该状态机。

几个需要注意的函数：

• • init_pool：初始化客户端池
  • add_client：添加一个新的客户端到活动客户端池中
  • check_clients：回送来自每个准备好的已连接描述符的一个文本行

2、i/o多路复用技术的优劣

事件驱动设计的优点：

1.它比基于进程的设计给了程序员更多的对程序行为的控制。例如我们可以设想编写一个事件驱动的并发服务器，为某些客户提供他们需要的服务，而这对于新进程的并发服务器来说，是很困难的

2.一个基于I/O多路复用的事件驱动器是运行在单一进程上下文中的，因此每个逻辑流都能访问该进程的全部地址空间。这使得在流之间共享数据变得很容易，一个与作为单个进程运行相关的优点是，你可以利用熟悉的调试工具，例如GDB，来调试你的并发服务器，就像对顺序程序那样。最后，事件驱动设计常常比基于进利的设计要高效得多，因为它们不需要进程上下文切换来调度新的流。

事件驱动设计的缺点：

　　就是编码复杂，我们的事件驱动的并发服务器需要的代度是指每个逻辑流每个时间片执行的指令数量。基于事件的设计的另一个重大缺点是它们不能充分利利用多核处理器。

 

三、基于线程的并发编程

每个线程都有自己的线程上下文，包括一个线程ID、栈、栈指针、程序计数器、通用目的寄存器和条件码。所有的运行在一个进程里的线程共享该进程的整个虚拟地址空间。由于线程运行在单一进程中，因此共享这个进程虚拟地址空间的整个内容，包括它的代码、数据、堆、共享库和打开的文件。

1、线程执行模型

线程执行的模型。线程和进程的执行模型有些相似。每个进程的声明周期都是一个线程，我们称之为主线程。但是大家要有意识：线程是对等的，主线程跟其他线程的区别就是它先执行。

2、posix线程

POSIX线程是在C程序中处理线程的一个标准接口。它最早出现在1995年，而且在大多数Unix系统上都可用。Pthreads定义了大约60个函数，允许程序创建、杀死和回收线程，与对等线程安全地共享数据，还可以通知对等线程系统状态的变化。

3.、创建线程

线程通过调用pthread_create来创建其他线程。

int pthread_create(pthread_t *tid,pthread_attr_t *attr,func *f,void *arg); 成功则返回0，出错则为非零

当函数返回时，参数tid包含新创建的线程的ID，新线程可以通过调用pthread_self函数来获得自己的线程ID。

pthread_t pthread_self(void);返回调用者的线程ID。

4、终止线程

• 一个线程是以下列方式之一来终止的。

• 当顶层的线程例程返回时，线程会隐式地终止

• 通过调用pthread_exit函数，线程会显它会等待所有其他对等线程终止，然后再终止式地终止。

• 某个对等线程调用Unix的e×it函数，该函数终止进程以及所有与该进程相关的线程

5、回收已终止线程的资源

线程通过调用pthread_join函数等待其他线程终止。

int pthread_join(pthread_t tid,void **thread_return); 成功则返回0，出错则为非零

6、分离线程

在任何一个时间点上，线程是可结合或可分离的。一个可结合的线程能够被其他线程收回其资源和杀死，在被回收之前，它的存储器资源是没有被释放的。分离的线程则相反，资源在其终止时自动释放。

int pthread_deacth(pthread_t tid); 成功则返回0，出错则为非零

7、初始化线程

pthread_once允许初始化与线程例程相关的状态。

pthread_once_t once_control=PTHREAD_ONCE_INIT; int pthread_once(pthread_once_t *once_control,void (*init_routine)(void)); 总是返回0

 

四、多线程程序中的共享变量

一个变量是共享的，当且仅当多个线程引用这个变量的某个实例。

1、线程存储器模型

• 每个线程都有自己独立的线程上下文，包括一个唯一的整数线程ID，栈、栈指针、程序计数器、通用目的寄存器和条件码。
• 寄存器是从不共享的,而虚拟存储器总是共享的。
• 各自独立的线程栈被保存在虚拟地址空间的栈区域中，并且通常是被相应的线程独立地访问的。

2、将变量映射到存储器

线程化的C程序中变量根据它们的存储类型被映射到虚拟存储器：

1. 1. 全局变量。全局变量是定义在函数之外的变量，在运行时，虚拟存储器的读／写区域域只包含每个全局变量的一个实例，任何线程都可以引用。例如第5行声明的全局变量ptr在虚拟存储器的读／写区域中有个运行时实例，我们只用变量名（在这里就是ptr）来表示这个实例。
   2. 本地自动变量，本地自动变量就是定义在函数内部但是没有static属性的变量，在运行时，每个线程的栈都包含它自己的所有本地自动变量的实例。即使当多个线程执行同一个线程例程时也是如此。例如，有个本地变量tid的实例，它保存在主线程的栈中。我们用tid.m来表示这个实例
   3. 本地静态变量

3、共享变量

当且仅当变量的一个实例被一个以上的线程引用时,就说变量是共享的。

 

五、用信号量同步线程

共享变量的同时引入了同步错误，即没有办法预测操作系统是否为线程选择一个正确的顺序。

1、进度图

将n个并发线程的执行模型化为一条n维笛卡尔空间中的轨迹线，将指令模型化为从一种状态到另一种状态的转换。

2、信号量

• P(s)：如果s是非零的，那么P将s减一，并且立即返回。如果s为零，那么就挂起这个线程，直到s变为非零。
• V(s)：将s加一，如果有任何线程阻塞在P操作等待s变为非零，那么V操作会重启线程中的一个，然后该线程将s减一，完成他的P操作。

信号量不变性：一个正确初始化了的信号量有一个负值。

信号量操作函数：

int sem_init(sem_t *sem,0,unsigned int value);//将信号量初始化为value

int sem_wait(sem_t *s);//P(s)

int sem_post(sem_t *s);//V(s)

3、使用信号量来实现互斥

信号量提供了一种很方便的方法来确保对共享变量的互斥访问。基本思想是将每个共享变量（或者一组相关的共享变量）与一个信号量联系起来 。以这种方式来保护共享变量的信号量叫做二元信号量，因为它的值总是0或者1。以提供互斥为目的的二元信号量常常也称为互斥锁。在一个互斥锁上执行P操作称为对互斥锁加锁。类似地，执行V操作称为对互斥锁解锁。对一个互斥锁加了锁但是还没有解锁的线程称为占用这个互斥锁。一个被用作一组可用资源的计数器的信号量称为计数信号量。关键思想是这种P和V操作的结合创建了一组状态，叫做禁止区。因为信号量的不变性，没有实际可行的轨迹线能够包含禁止区中的状态。而且，因为禁止区完全包括了不安全区，所以没有实际可行的轨迹线能够接触不安全区的任何部分。因此，每条实际可行的轨迹线都是安全的，而且不管运行时指令顺序是怎样的，程序都会正确地增加计数器的值。

 

六、使用线程提高并行性

到目前为止，在对并发的研究中，我们都假设并发线程是在单处许多现代机器具有多核处理器。并发程序通常在这样的机器上运理器系统上执行的。然而，在多个核上并行地调度这些并发线程，而不是在单个核顺序地调度，在像繁忙的Web服务器、数据库服务器和大型科学计算代码这样的应用中利用这种并行性是至关重要的。

  

七、其他并发问题

1、线程安全

定义四个（不相交的）线程不安全函数类：

• • 不保护共享变量的函数。解决办法是PV操作。
  • 保持跨越多个调用的状态函数。比如使用静态变量的函数。解决方法是不要使用静态变量或者使用可读静态变量。
  • 返回指向静态变量的指针的函数。解决方法是lock-and-copy(枷锁-拷贝)
  • 调用线程不安全函数的函数

2、可重入性

• 有一类重要的线程安全函数，叫做可重入函数。其特点在于他们具有这样一种属性：当它们被多个线程调用时，不会引用任何共享数据。尽管线程安全和可重入有时会（正确地）被用做同义词，但是它们之间还是有清晰的技术差别的，值得留意。图展示了可重入函数、线程安全函数和线程不安全函数之间的集合关系。所有函数的集合被划分成不相交的线程安全和线程不安全函数集合。可重入函数集合是线程安全函数的一个真子集。
• 可重入函数通常要比不可重入的线程安全的函数高效一些，因为它们不需要同步操作。更进一步来说，将第2类线程不安全函数转化为线程安全函数的唯一方法就是重写它，使之变为可重入的。

3、在线程化的程序中使用已存在的库函数

就是使用线程不安全函数的可重入版本，名字以_r为后缀结尾。

4、竞争

当一个程序的正确性依赖于一个线程要在另一个线程到达y点之前到达他的控制流x点时，就会发生竞争。

为消除竞争，可以动态地为每个整数ID分配一个独立的块，并且传递给线程例程一个指向这个块的指针。

5、死锁

• 信号量引入了一种潜在的令人厌恶的运行时错误，叫做死锁。它指的是一组线程被阻塞了，等待一个永远也不会为真的条件。进度图对于理解死锁是一个无价的工具。
• 关于死锁的重要知识：

1. 程序员使用P和V操作漏序不当，以至于两个信号量的禁止区域重叠。如果某个执行轨迹线碰巧到达了死锁状态d那么就不可能有进一步的进展了，因为重叠的禁止区域阻塞了每个合法方向上的进展。换句话说，程序死锁是因为每个线程在等待一个根本不可能发生的V操作
2. 重叠的禁止区域引起了一组称为死锁区域的状态。轨迹线可以进入死锁区域，但是它们不可能离开。
3. 死锁是个相当困难的问题，因为它不总是可预测的。一些幸运的执行轨迹线将绕开死锁区域，而其他的将会陷入这个区域。

【解决死锁的方法】 

a.不让死锁发生： 

• • • 静态策略：设计合适的资源分配算法，不让死锁发生---死锁预防；

    • 动态策略：进程在申请资源时，系统审查是否会产生死锁，若会产生死锁则不分配---死锁避免。

b.让死锁发生： 

进程申请资源时不进行限制，系统定期或者不定期检测是否有死锁发生，当检测到时解决死锁----死锁检测与解除。

 

总结：

• 进程是由内核自动调度的，有各自独立的虚拟地址空间，必须要有显式的IPC机制才能实现共享数据。
• 事件驱动程序创建它们自己的并发逻辑。
• 可重入函数是线程安全函数的一个真子集，它不访问任何共享数据。
• 竞争和死锁是并发程序中出现的另一些困难的问题。当程序员错误地假设逻辑流该如何调度时，就会发生竞争。当一个流等待一个永远不会发生的事件时，时，就会产生死锁。

 

参考资料：

 

1.教材《深入理解计算机系统》

2.《计算机操作系统》 

3.20135202闫佳歆博客http://www.cnblogs.com/20135202yjx/p/4926597.html解决死锁部分