2.3 wget和curl
wget和curl是两个常用的,基于命令行的文件传输工具软件。这两个工具很类似,但又有所不同。这两个工具都可以通过FTP、HTTP或HTTPS协议来下载内容,通过这两个工具,我们可以模拟客户端向负载均衡发送各种TCP请求,以研究负载均衡对数据包的处理方式和流程。但是,这两个工具实际上也有差别:
  • curl支持更多的协议,如:FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP 和 RTSP,而wget仅支持FTP, HTTP, HTTPS。
  • curl默认支持HTTP1.1(也支持HTTP1.0),而wget仅支持HTTP1.0(据说最新的wget已经支持HTTP1.1,我们将在后续的测试中进行验证)。
  • 网上有很多文章说,二者最关键的区别——在于curl支持libcurl库,而wget纯粹是一个命令行工具。对于这一点,我们并不在乎。
这些命令行工具的使用方法非常简单,但是,要想完全精准的掌握这两个命令的使用方法,其实并不是那么容易。让我们从最简单的命令开始:
 
   
   
   
   
  1. [root@linux-test ~]# curl http://www.baidu.com 
  2.  
  3. ><html><head><meta http-equiv="Content-Type" content="text/html;charset=gb2312"><title>һ֪title><style>html{overflow-y:auto}body{font:12px arial;text-align:center;background:#fff}body,p,form,ul,li{margin:0;padding:0;list- 
  4. //...此处省略XXX字符... 
  5.  
  6. [root@linux-test ~]# 
  7.  
  8. [root@linux-test ~]# wget http://www.baidu.com 
  9.  
  10. --2011-09-16 23:05:51-- http://www.baidu.com/ 
  11.  
  12. Resolving www.baidu.com... 119.75.217.56, 119.75.218.45 
  13.  
  14. Connecting to www.baidu.com|119.75.217.56|:80... connected. 
  15.  
  16. HTTP request sent, awaiting response... 200 OK 
  17.  
  18. Length: 8403 (8.2K) [text/html] 
  19.  
  20. Saving to: `index.html' 
  21.   
  22.  
  23. 100%[=================================================================================================>] 8,403       --.-K/s   in 0s      
  24.   
  25.  
  26. 2011-09-16 23:05:51 (296 MB/s) - `index.html' saved [8403/8403] 
  27.   
  28.  
  29. [root@linux-test ~]# 
从上面的两个对比例子可以看出,curl比wget更加符合传统的unix风格,我们可以通过下面的例子,使curl获得与wget相同的输出结果(baidu.html与index.html的内容完全相同):
 
   
   
   
   
  1. [root@linux-test ~]# curl http://www.baidu.com >>baidu.html 
  2.  
  3.  % Total    % Received % Xferd Average Speed   Time    Time     Time Current 
  4.  
  5.                                  Dload Upload   Total   Spent    Left Speed 
  6.  
  7. 100 8403 100 8403    0     0 49023      0 --:--:-- --:--:-- --:--:-- 141k 
  8.  
  9. [root@linux-test ~]# ll 
  10. total 68 
  11.  
  12. -rw------- 1 root root 1608 Sep 16 10:16 anaconda-ks.cfg 
  13.  
  14. -rw-r--r-- 1 root root 8403 Sep 16 23:06 baidu.html 
  15.  
  16. -rw-r--r-- 1 root root 8403 Sep 16 23:05 index.html 
  17.  
  18. -rw-r--r-- 1 root root 15780 Sep 16 10:16 install.log 
  19.  
  20. -rw-r--r-- 1 root root 3779 Sep 16 10:16 install.log.syslog 
  21.  
  22. [root@linux-test ~]# 
但是,这两个命令的请求过程对于服务器来说真的就一样吗?我们看看用wireshark对两个工具访问相同网站的解码过程。下面两张图分别是对wget和curl的HTTP请求的解码。
 

负载均衡故障排错指南 (3)_第1张图片

负载均衡故障排错指南 (3)_第2张图片

从上面Wireshark的解码截图,我们可以非常明显的发现,两个命令请求 http://www.baidu.com 的HTTP请求的头部有很大的区别。

1)    wget默认采用HTTP/1.0标准发送请求,而curl则默认采用HTTP/1.1发送请求。

2)    默认的User-Agent不同。

3)    wget多了一个Connection: Keep-Alive头。

至于这其中的区别究竟意味着什么,我们将在后续的文章中详细介绍。
有关wget和curl的具体用法,请读者参考互联网上的其它文章或其帮助文件,本文将不再赘述,对于后续文章中用到的一些参数,我们将在使用时再介绍其含义。

E.S.