【CentOS7】使用命令行访问网站的工具cURL

【CentOS7】使用命令行访问网站的工具cURL

---

简介 

curl 是瑞典 curl 组织开发的，您可以访问: http://curl.haxx.se/
获取它的源代码和相关说明。

支持很多协议：

FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。

curl 同样支持 HTTPS 认证，HTTP POST 方法, HTTP PUT 方法, FTP 上传, kerberos 认证, HTTP 上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http 代理服务器管道（ proxy tunneling）, 甚至它还支持 IPv6, socks5 代理服务器, 通过 http 代理服务器上传文件到 FTP 服务器等等，功能十分强大。

---

访问网页

使用命令：

curl http://curl.haxx.se

这是最简单的使用方法。
用这个命令获得了 http://curl.haxx.se 指向的页面，同样，如果这里的 URL 指向的是一个文件或者一幅图都可以直接下载到本地。
如果下载的是 HTML 文档，那么缺省的将不显示文件头部，即 HTML 文档的 header。
要全部显示，请加参数 -i，要只显示头部，用参数 -I。
任何时候，可以使用 -v 命令看 curl 是怎样工作的，它向服务器发送的所有命令都会显示出来。
为了断点续传，可以使用 -r 参数来指定传输范围。

表单（Form）的获取 

在 WEB 页面设计中，form 是很重要的元素。

Form 通常用来收集并向网站提交信息。提交信息的方法有两种，GET 方法和 POST 方法。

###

先讨论 GET 方法，例如在页面中有这样一段：




那么浏览器上会出现一个文本框和一个标为“OK”的按钮。
按下这个按钮，表单就用 GET 方法向服务器提交文本框的数据。
例如原始页面是在 www.hotmail.com/when/birth.html 看到的，然后您在文本框中输入 1905，然后按 OK 按钮，
这时浏览器的 URL 现在应该是：“www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK”
对于这种网页，curl 可以直接处理，例如想获取上面的网页，只要输入：

curl "www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK"

就可以了。

###

表单用来提交信息的第二种方法叫做 POST 方法，
POST 方法和 GET 方法的区别在于 GET 方法使用的时候，浏览器中会产生目标 URL，而 POST 不会。
类似 GET，这里有一个网页：




浏览器上也会出现一个文本框和一个标为“OK”的按钮。
按下这个按钮，表单用 POST 方法向服务器提交数据。

这时的 URL 是看不到的，因此需要使用特殊的方法来抓取这个页面：

curl -d "birthyear=1905&press=OK" www.hotmail.com/when/junk.cgi

这个命令就可以做到。

1995年年末，RFC  1867 定义了一种新的 POST 方法，用来上传文件。
主要用于把本地文件上传到服务器。
此时页面是这样写的：





对于这种页面，curl 的用法不同：
curl -F upload=@localfilename -F press=OK  URL

这个命令的实质是将本地的文件用 POST 上传到服务器。
有关 POST 还有不少用法，用户可以自己摸索。

使用 PUT 方法 

使用 PUT 方法

HTTP 协议文件上传的标准方法是使用 PUT，此时 curl 命令使用 -T 参数：
curl -T uploadfile www.uploadhttp.com/receive.cgi

其他方法，省略……