Http解析实现/服务器Get请求的实现

Http解析实现/服务器Get请求的实现

网络编程相关文章：

select、poll、epoll、多线程实现并发请求处理

epoll-reactor模型原理代码解析

epoll的水平触发LT以及边沿触发ET的原理及使用及优缺点

之前有实现过怎么通过epoll实现socket的数据传输，以及通过reactor模型实现epoll服务器并发，但是程序只实现了数据的接收于重发，并没有涉及Http的协议解析等操作。本文将通过简单的程序解释当客户端发来Http的Get请求时，服务器时如何操作的。

HTTP简介

HTTP 协议是 Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。HTTP 是一个基于TCP/IP 通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。

客户端请求消息

客户端发送一个 HTTP 请求到服务器的请求消息包括以下格式：请求行（request line）、请求头部（header）、空行和请求数据四个部分组成，下图给出了请求报文的一般格式。

请求信息示例：

GET index.html/ HTTP/1.1
Host: 120.25.155.134:10000
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Cookie: BAIDUID=6729CB682DADC2CF738F533E35162D98:FG=1;

HTTP请求方法

HTTP/1.1 协议中共定义了八种方法（也叫“动作”）来以不同方式操作指定的资源：

• GET：向指定的资源发出“显示”请求。使用 GET 方法应该只用在读取数据，而不应当被用于产生“副作用”的操作中（不能修改服务器数据），例如在 Web Application 中。其中一个原因是 GET 可能会被恶意软件随意访问。

• HEAD：与 GET 方法一样，都是向服务器发出指定资源的请求。只不过服务器将不传回资源的本文部分。它的好处在于，使用这个方法可以在不必传输全部内容的情况下，就可以获取其中“关于该资源的信息”（元信息或称元数据）。

• POST：向指定资源提交数据，请求服务器进行处理（例如提交表单或者上传文件）。数据被包含在请求本文中。这个请求可能会创建新的资源或修改现有资源，或二者皆有。

• PUT：向指定资源位置上传其最新内容。

• DELETE：请求服务器删除 Request-URI 所标识的资源。

• TRACE：回显服务器收到的请求，主要用于测试或诊断。

• OPTIONS：这个方法可使服务器传回该资源所支持的所有 HTTP 请求方法。用’*'来代替资源名称，向 Web 服务器发送 OPTIONS 请求，可以测试服务器功能是否正常运作。

• CONNECT：HTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器。通常用于SSL加密服务器的链接（经由非加密的 HTTP 代理服务器）。

服务器响应消息

HTTP 响应也由四个部分组成，分别是：状态行、消息报头、空行和响应正文。

响应信息示例：

所有HTTP响应的第一行都是状态行，依次是当前HTTP版本号，3位数字组成的状态代码（可以看到示例的第一行中有200的字符，这是HTTP的状态码），以及描述状态的短语，彼此由空格分隔。

状态代码的第一个数字代表当前响应的类型：

• 1xx消息——请求已被服务器接收，继续处理

• 2xx成功——请求已成功被服务器接收、理解、并接受

• 3xx重定向——需要后续操作才能完成这一请求

• 4xx请求错误——请求含有词法错误或者无法被执行

• 5xx服务器错误——服务器在处理某个正确请求时发生错误

本文代码中可以用下面的一段代码做服务器的返回信息

const char *html = "
Meta
\r\n\r\n";
sprintf(ev-buffer, 
​			"HTTP/1.1 200 OK\r\n\
​			Date:Wed, 13 Apr 2022 02:01:06 GMT\r\n\
​			Content-Type: text/htmp;charset=ISO-8859-1\r\n\
​			Content-Length: 83\r\n\r\n\
​			html);

注意：Content-Length是html的长度。如果长度不匹配，浏览器可能会一直转圈。由于content-length不匹配,会一直等待接收完数据。

请求报文的解析

在reactor的代码中，我们的recv_cb中实现了数据的接收，send_cb中实现了数据的发送，但是没有对接收数据做处理，而是直接回发了接收的数据。在浏览器发送Get请求时，可以从示例中看到，第一行包含了一些请求的数据信息。

GET index.html/ HTTP/1.1

因此在reactor的代码的recv_cb中会新增了http_request函数实现对请求报文的解析。

int recv_cb(int fd, int events, void *arg) {
	struct ntyreactor *reactor = (struct ntyreactor*)arg;
	struct ntyevent *ev = reactor->events+fd;
	int len = recv(fd, ev->buffer, BUFFER_LENGTH, 0); //BUFFER_LENGTH   //读取fd的数据到相应的buffer 中，指定buffer长度（可以理解乘读取数据最大长度）
	if (len > 0) {
		ev->length = len;
		ev->buffer[len] = '\0';
		printf("C[%d]:%s\n", fd, ev->buffer);
        http_request(ev);//通过http_request实现请求报文的解析
        nty_event_del(reactor->epfd, ev);
		nty_event_set(ev, fd, send_cb, reactor);//设置send_cb回调函数
		nty_event_add(reactor->epfd, EPOLLOUT, ev);//注册EPOLLOUT事件
	} else if (len == 0) {//关闭连接
        nty_event_del(reactor->epfd, ev);
		close(ev->fd);
		printf("[fd=%d] pos[%ld], closed\n", fd, ev-reactor->events);	 
	} else {
        nty_event_del(reactor->epfd, ev);
		close(ev->fd);
		printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));	
	}
	return len;
}

http_request函数实现报文解析区分GET和POST请求

//实现GET与POST请求的区分
int http_request(struct ntyevent *ev) {
  // GET, POST
  char linebuf[1024] = {0};
  int idx = readline(ev->buffer, 0, linebuf);//通过readline函数实现一行代码的读取
  if (strstr(linebuf, "GET")) {//strstr()查找第一次出现字符串 GET 的位置，不包含终止符 '\0'。
​    ev->method = HTTP_METHOD_GET;
​    //url
​    int i = 0;
​    while (linebuf[sizeof("GET ") + i] != ' ') i++;
​    linebuf[sizeof("GET ")+i] = '\0';
​    sprintf(ev->resource, "./%s/%s", HTTP_WEBSERVER_HTML_ROOT, linebuf+sizeof("GET "));
​    //将要访问的资源存入ev->resource
  } else if (strstr(linebuf, "POST")) {
  //
  }
}

通过上面函数可以直到客户端是GET请求还是其他请求方法，并且通过请求报文中url(请求报文中第一行中的index.html)的内容将请求的资源保存在ev->resource中。

http请求报文详情：

从HTTP的请求信息示例中，可以发现第一行中首先是GET请求方法，然后是请求资源.index.html，服务器通过该请求链接就可以找到服务器中对应的资源。

响应报文的发送

send_cb 函数返回http响应。同时写一个http_response 程序，处理回发buffer

http响应包含两部分，head和body组成。而 get方法请求资源

返回报文时可以两次发送，发送响应报文时可以分为两次发送，先发送head再发送body部分。

也可以一次全部发送。

int send_cb(int fd, int events, void *arg) {
	struct ntyreactor *reactor = (struct ntyreactor*)arg;
	struct ntyevent *ev = reactor->events+fd;
    http_response(ev);//head部分的内容保存再ev-buffer中
	int len = send(fd, ev->buffer, ev->length, 0);//发送head数据
	if (len > 0) {
		printf("send[fd=%d], [%d]%s\n", fd, len, ev->buffer);
        if (ev->ret_code == 200) {//如果状态码是200
			int filefd = open(ev->resource, O_RDONLY);//打开资源
			struct stat stat_buf;
			fstat(filefd, &stat_buf);//采用fstat，可以比较方便地拿到文件的大小
			sendfile(fd, filefd, NULL, stat_buf.st_size);//发送body部分。用sendfile发送文件，属于零拷贝，节省资源
			close(filefd);
		}
		nty_event_del(reactor->epfd, ev);//删除epoll注册事件
		nty_event_set(ev, fd, recv_cb, reactor);//设置回调函数
		nty_event_add(reactor->epfd, EPOLLIN | EPOLLET, ev);//条件epoll注册事件
	} 
    else {
		close(ev->fd);
		nty_event_del(reactor->epfd, ev);
		printf("send[fd=%d] error %s\n", fd, strerror(errno));
	}
	return len;
}

http-response函数

int http_response(struct ntyevent *ev) {

	if (ev == NULL) return -1;
	memset(ev->buffer, 0, BUFFER_LENGTH);
	printf("resource: %s\n", ev->resource);
	int filefd = open(ev->resource, O_RDONLY);
	if (filefd == -1) { // 找不到资源return 404

		ev->ret_code = 404;//404状态码
		ev->length = sprintf(ev->buffer, 
			"HTTP/1.1 404 Not Found\r\n"
		 	"Date: Thu, 11 Nov 2021 12:28:52 GMT\r\n"
		 	"Content-Type: text/html;charset=ISO-8859-1\r\n"
			"Content-Length: 85\r\n\r\n"
		 	"
404
\r\n\r\n" );
	} else {//找到资源了
		struct stat stat_buf;
		fstat(filefd, &stat_buf);//采用fstat可以获得数据的长度
		close(filefd);
		if (S_ISDIR(stat_buf.st_mode)) {//如果是只是找到目录也返回404
			ev->ret_code = 404;
			ev->length = sprintf(ev->buffer, 
				"HTTP/1.1 404 Not Found\r\n"
				"Date: Thu, 11 Nov 2021 12:28:52 GMT\r\n"
				"Content-Type: text/html;charset=ISO-8859-1\r\n"
				"Content-Length: 85\r\n\r\n"
				"
404
\r\n\r\n" );

		} else if (S_ISREG(stat_buf.st_mode)) {//如果是文件就说明可以返回正确的资源了
			ev->ret_code = 200;//200状态码，就是访问正确，先将head部分存入ev-buffer中
			ev->length = sprintf(ev->buffer, 
				"HTTP/1.1 200 OK\r\n"
			 	"Date:Wed, 13 Apr 2022 02:01:06 GMT\r\n"
			 	"Content-Type: text/html;charset=ISO-8859-1\r\n"
				"Content-Length: %ld\r\n\r\n", 
			 	stat_buf.st_size );
		}
	}
	return ev->length;
}

注意：如果时访问资源错误，返回404状态码，并且将head和body部分同时发回去（比较简单就不用发两遍）。"

404

\r\n\r\n"就是404的body部分。
如果请求到正确资源，就先将head部分发回去，再将body部分（就是访问的资源）发回去。

文件发送sendfile函数

在发送文件时。磁盘再在文件中，一般发送，会通过fd将文件存入内存中，再从内存将文件发送到sockfd。这样可以实现，但是有更好的方法

代码中使用sendfile（）来发送文件

sendfile专门用于文件发送，中间用的一个mmap，做了个内存映射，文件地址映射，节省了磁盘拷贝的工作。是零拷贝的。而拷贝需要copy，cpu执行move指令。而sendfile()这儿不需要cpu参与，使用dma(直接数据读取)，所以叫零拷贝。

代码结果分析

浏览器输入IP:10000/index.html

服务器返回如下html页面信息

可以从服务器的后台终端中看到浏览器发送的GET请求内容

以及服务器发送的响应报文内容

在实际的服务器的报文解析部分并不会像本文代码这样做，通常会使用到有限状态机的方式去解析报文，本文仅通过简单的逻辑实现对网络编程中报文如何解析如何返回做了流程化的解释。

本文的源代码可在github上得到链接在此