curl命令

curl可以看做行浏览器命令

1、开启gzip请求。

gzip:一是可以减少存储空间,二是通过网络传输文件时,可以减少传输的时间

tar是打包,不是压缩,GZIP用在HTTP协议上是一种用来改进WEB服务器程序性能的技术,将网页内容压缩后再传输。zip就不用说了,主流的压缩格式。zip最新的压缩算法还是很好的,建议还是用zip格式化,全平台通用。

curl -I http://www.sina.com.cn/ -H Accept-Encoding:gzip,defalte
2、监控网页响应时间
curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" "http://www.kklinux.com"
3、监控站点可用性
curl -o /dev/null -s -w %{http_code} "http://www.kklinux.com"
4、以http1.0协议请求(默认http1.1)

curl -0

读取网页

$ curl http://www.linuxidc.com

保存网页或下载文件

通过-o/-O选项保存下载的文件到指定的文件中:
-o:将文件保存为命令行中指定的文件名的文件中
-O:使用URL中默认的文件名保存文件到本地

$ curl http://www.linuxidc.com > page.html 
$ curl -o page.html http://www.linuxidc.com

使用proxy服务器及其端口:-x

$ curl -x 123.45.67.89:1080 -o page.html http://www.linuxidc.com

使用cookie来记录session信息

$ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com

下次访问继续用上次cookie,将cookie信息追加到http request信息中去

$ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com
指定浏览器信息
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.yahoo.com
另外一个服务器端常用的限制方法,就是检查http访问的referer。比如你先访问首页再访问里面所指定的下载页,这第二次访问的referer地址就是第一次访问成功后的页面地址。这样, 服务器端只要发现对下载页面某次访问的referer地址不是首页的地址,就可以断定那是个盗连了
讨厌讨厌~~~我就是要盗连~~~~~!!
幸好curl给我们提供了设定referer的option: -e
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.yahoo.com" -o page.html -D cookie0001.txt http://www.yahoo.com
curl下载文件
curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG#按照服务器上的文件名,保存到本地 curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG #下载多个文件 curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG #下载两个文件夹下的多个文件,如果重名,后者会替换前者 curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG#自定义文件名的下载,#1是变量,指的是{zzh,nick}这部分,第一次取值zzh,第二次取值nick #2代表的变量,则是第二段可变部分---[001-201],取值从001逐一加到201原来: ~zzh/001.JPG ---> 下载后: 001-zzh.JPG
断点续传:
curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG
分块下载
curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 

不过你需要自己把这些破碎的文件合并起来 如果你用UNIX或苹果,用 cat zhao.part* > zhao.mp3就可以

上面讲的都是http协议的下载,其实ftp也一样可以用。
curl -u name:passwd ftp://ip:port/path/file
或者大家熟悉的
curl ftp://name:passwd@ip:port/path/file

上传文件 option:-T

我们向ftp传一个文件:

curl -T localfile -u name:passwd ftp://upload_site:port/path/

向http服务器上传文件(put method):

curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi
这时,使用的协议是HTTP的PUT method ,http提交一个表单,比较常用的是POST模式和GET模式,

GET模式不用option,只需要把变量写在url里面就可以了

curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345

而POST模式的option则是 -d

curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi




你可能感兴趣的:(curl命令)