输入URL到展现页面的全过程

转自咖啡机(K.F.J)
最近在看一本关于网络协议的书《图解HTTP》
当我们在浏览器的地址栏输入 http://www.pwstrick.com ，然后回车，回车这一瞬间到看到页面到底发生了什么呢？

域名解析
建立TCP连接
发起HTTP请求
服务器响应HTTP请求
浏览器渲染页面
自己原先不是很了解，通过读了这本书后了解了些内幕。
接下来将使用工具Chrome、Fiddler、Wireshark。曾经写过一篇Fiddler的教程《移动开发中Fiddler的那些事儿》。

一、基础概念

1）TCP/IP是互联网相关的各类协议族的总称

2）TCP/IP分为4层：应用层、传输层、网络层、链路层。
发送端从应用层网下走，接收端从链路层网上走。
IP（Internet Protocol）：网际协议位于网络层，IP地址可以和MAC地址配对。
ARP（Address Resolution Protocol）：ARP是一种用以解析地址的协议，根据通信方的IP地址反查出对应的MAC地址。
Routing：路由选择，有点像快递公司的送货过程。
TCP（Transmission Control Protocol）：传输控制协议，提供可靠的字节流传输，将大数据分割成报文段（segment），TCP协议能够确认数据最终是否送达到对方。

3）数据信息包装

4）域名解析DNS服务
DNS（Domain Name System）位于应用层，提供域名和IP地址之间的解析服务。

5）URI和URL
URI（Uniform Resource Identifier）：统一资源标识符。
URL（Uniform Resoure Locator）：统一资源定位符，通俗的说法是网址。
URI表示某一互联网资源，而URL表示资源地点，所以URL是URI的子集，下面是几个URI资源。

6）RFC
RFC（Request For Comments）：征求修正意见书，RFC是互联网的设计文档。
要是不按照RFC标准执行，就有可能导致无法通信的状况。

7）HTTP
HTTP是无状态协议，协议对于发送过的请求或响应都不做持久化处理。
HTTP/1.1为了实现保持状态的功能，引入了Cookie。

二、域名解析

在《What really happens when you navigate to a URL》中曾提到DNS会先在缓存中查找记录。
浏览器缓存、系统缓存、路由器缓存、ISP DNS 缓存、递归搜索。

三、建立TCP连接

1）发送端发送一个带SYN标志的数据包给对方

Sequence Number：序号；
Acknowledgment Number：确认号。

2）接收端回传一个带有SYN和ACK标志的数据包以示传达确认信息

3）发送端再回传一个带ACK标志的数据包，代表“握手结束”

四、发起HTTP请求

HTTP（Hyper Text Transfer Protocol），超文本传输协议，由请求和响应构成。
在书本的第3章介绍了HTTP信息。
1）请求报文

报文首部内容如下：

在书本的第6章中有详细的HTTP首部说明。
“ Connection:keep-alive”：持久连接，只要任意一端没有明确提出断开，就保持TCP连接状态。

2）响应报文

报文首部内容如下：

上图中的200是HTTP状态码，在书中的第4章详细介绍了状态码。

五、服务器响应HTTP请求

从上面的响应报文中可以看到服务器软件是Nginx，并且请求的是一张PHP页面。
以前曾经写过一篇《PHP代码的执行》，不过软件用的是Apache。这里就假设是Apache+PHP(fastcgi)架构提供服务。
1）Apache

Apache对HTTP的请求可以分为连接、处理和断开连接3个大的阶段。同时也可以分为上图所示的11个小的阶段。

2）FastCGI
FastCGI可以让一个客户端，从网页浏览器向执行在Web服务器上的程序请求数据。
比如现在请求的是“index.php”，根据配置文件，Apache知道这个不是静态文件，需要去找PHP解析器来处理，那么它会把这个请求简单处理后交给PHP解析器。
Apache会传url、查询字符串、POST数据、HTTP header等，而CGI就是规定要传哪些数据、以什么样的格式传递给后方处理这个请求的协议。

3）PHP脚本执行
PHP程序完成基本的准备工作后启动PHP及Zend引擎，加载注册的扩展模块。
初始化完成后读取脚本文件，Zend引擎对脚本文件进行词法分析，语法分析。
编译成opcode执行。

服务器最终将生成的HTML代码返回给浏览器。

六、浏览器渲染页面

从Chrome的网络工具中可以看到，浏览器会先下载HTML代码，再去下载CSS或JS外部资源。

网上的很多资料显示，浏览器是边下载HTML，边解析HTML的。
有篇文章叫《 How browsers work》介绍浏览器内部工作原理的，文中提到了浏览器的渲染引擎—— Webkit。
渲染引擎首先通过网络获得所请求文档的内容，通常以8K分块的方式完成，下面是渲染引擎基本流程：
解析HTML以构建DOM树 -> 构建Render（渲染）树 -> 布局Render树 -> 绘制Render树

下图是Webkit的主流程：

参考资料：
Wireshark基本用法
当你输入一个网址，实际会发生什么?
一次完整的HTTP事务是怎样一个过程
从输入url到页面加载完的过程中都发生了什么事情
当在浏览器地址栏输入一个URL后回车，将会发生的事情？