curl可以看做行浏览器命令
1、开启gzip请求。
gzip:一是可以减少存储空间,二是通过网络传输文件时,可以减少传输的时间
tar是打包,不是压缩,GZIP用在HTTP协议上是一种用来改进WEB服务器程序性能的技术,将网页内容压缩后再传输。zip就不用说了,主流的压缩格式。zip最新的压缩算法还是很好的,建议还是用zip格式化,全平台通用。
curl -I http://www.sina.com.cn/ -H Accept-Encoding:gzip,defalte2、监控网页响应时间
curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" "http://www.kklinux.com"3、监控站点可用性
curl -o /dev/null -s -w %{http_code} "http://www.kklinux.com"4、以http1.0协议请求(默认http1.1)
curl -0
读取网页
$ curl http://www.linuxidc.com
保存网页或下载文件
通过-o/-O选项保存下载的文件到指定的文件中:
-o:将文件保存为命令行中指定的文件名的文件中
-O:使用URL中默认的文件名保存文件到本地
$ curl http://www.linuxidc.com > page.html $ curl -o page.html http://www.linuxidc.com
使用proxy服务器及其端口:-x
$ curl -x 123.45.67.89:1080 -o page.html http://www.linuxidc.com
使用cookie来记录session信息
$ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com
下次访问继续用上次cookie,将cookie信息追加到http request信息中去
$ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com指定浏览器信息
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.yahoo.com另外一个服务器端常用的限制方法,就是检查http访问的referer。比如你先访问首页再访问里面所指定的下载页,这第二次访问的referer地址就是第一次访问成功后的页面地址。这样, 服务器端只要发现对下载页面某次访问的referer地址不是首页的地址,就可以断定那是个盗连了 。
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.yahoo.com" -o page.html -D cookie0001.txt http://www.yahoo.comcurl下载文件
curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG#按照服务器上的文件名,保存到本地 curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG #下载多个文件 curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG #下载两个文件夹下的多个文件,如果重名,后者会替换前者 curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG#自定义文件名的下载,#1是变量,指的是{zzh,nick}这部分,第一次取值zzh,第二次取值nick #2代表的变量,则是第二段可变部分---[001-201],取值从001逐一加到201,原来: ~zzh/001.JPG ---> 下载后: 001-zzh.JPG断点续传:
curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG分块下载
curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3
不过你需要自己把这些破碎的文件合并起来 如果你用UNIX或苹果,用 cat zhao.part* > zhao.mp3就可以
上面讲的都是http协议的下载,其实ftp也一样可以用。
curl -u name:passwd ftp://ip:port/path/file
或者大家熟悉的
curl ftp://name:passwd@ip:port/path/file
上传文件 option:-T
我们向ftp传一个文件:
curl -T localfile -u name:passwd ftp://upload_site:port/path/
向http服务器上传文件(put method):
curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi这时,使用的协议是HTTP的PUT method ,http提交一个表单,比较常用的是POST模式和GET模式,
GET模式不用option,只需要把变量写在url里面就可以了
curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345
而POST模式的option则是 -d
curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi