curl基本用法
curl 是一种命令行工具，作用是发出网络请求，然后获取数据，显示在"标准输出"（stdout）上面。
以下是博主整理的一些关于curl命令的基本用法。
| -A/--user-agent |
设置用户代理发送给服务器 |
| -b/--cookie |
cookie字符串或文件读取位置 |
| -c/--cookie-jar |
操作结束后把cookie写入到这个文件中 |
| -C/--continue-at |
断点续转 |
| -D/--dump-header |
把header信息写入到该文件中 |
| -e/--referer |
来源网址 |
| -f/--fail |
连接失败时不显示http错误 |
| -o/--output |
把输出写到该文件中 |
| -O/--remote-name |
把输出写到该文件中，保留远程文件的文件名 |
| -r/--range |
检索来自HTTP/1.1或FTP服务器字节范围 |
| -s/--silent |
静音模式。不输出任何东西 |
| -T/--upload-file |
上传文件 |
| -u/--user |
设置服务器的用户和密码 |
| -w/--write-out [format] |
完成后输出什么 |
| -x/--proxy |
在给定的端口上使用HTTP代理 |
| -#/--progress-bar |
进度条显示当前的传送状态 |
示例：
-
基本用法
# curl http://www.baidu.com
-
保存访问的网页
-
重定向：
# curl http://www.baidu.com >> linux.html
-
使用 -o 参数：
# curl -o linux.html http://www.baidu.com
-
当然也可以使用 -O 参数保存网页中的文件（注意：一定要指定具体的文件）
# curl -O http://www.baidu.com/hello.sh
-
-
测试网页返回值
# curl -o /dev/null -s -w %{http_code} www.baidu.com
显示网页返回状态码，200表示成功。详细可见博主另外一篇：https://www.cnblogs.com/liuxia912/p/10960116.html
-
指定proxy服务器以及其端口
curl支持通过内置option：-x支持设置代理
# curl -x 192.168.0.1:10086 http://www.baidu.com
-
cookie
很多网站可以通过cookie来记录session信息，curl可以通过内置命令来保存和使用cookie信息。
-
保存http的response里面的cookie信息。内置option：-c（小写）
# curl -c cookie.txt http://www.baidu.com
执行之后，cookie信息就被保存到 cookie.txt 文件里面了。
-
保存http的response里面的header信息。内置option：-D
# curl -D cookied.txt http://www.baidu.com
同上。（注：-c与-D产生的cookie文件并不一致）
-
cookie使用
很多网站使用cookie去鉴定用户访问权限，curl通过内置option：-b
# curl -b cookiec.txt http://www.baidu.com
-
-
模拟浏览器访问
在某些特定情况下，我们需要模拟访问的浏览器以及版本，使用内置option：-A进行访问
# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.baidu.com
这样服务器端就会认为是使用IE8.0去访问的。
-
伪造referer（盗链）
很多服务器在收到请求的时候，会去check referer（源网页）。curl使用内置option：-e可以指定referer
# curl -e "www.baidu.com" http://mail.linux.com
这样就会让服务器其以为你是从www.baidu.com点击某个链接过来的
-
下载文件
-
使用内置option：-o下载
# curl -o tieba1.jpg http:www.baidu.com/tieba1.JPG
-
使用内置option：-O下载
# curl -O http://www.baidu.com/tieba1.JPG
-
循环下载
# curl -O http://www.baidu.com/tieba[1-5].JPG
-
下载重命名
# curl -O http://www.baidu.com/{hello,bb}/tieba[1-5].JPG
由于下载的时候有名字重合的地方，会产生覆盖。
# curl -o #1_#2.JPG http://www.baidu.com/{hello,bb}/tieba[1-5].JPG
这样在hello/tieba1.JPG的文件下载下来就会变成hello_tieba1.JPG,其他文件依此类推，从而有效的避免了文件被覆盖
-
分块下载
有时候下载的东西会比较大，这个时候我们可以分段下载。使用内置option：-r
# curl -r 0-100 -o tieba1_part1.JPG http://www.baidu.com/tieba1.JPG
# curl -r 100-200 -o tieba1_part2.JPG http://www.baidu.com/tieba1.JPG
# curl -r 200- -o tieba1_part3.JPG http://www.baidu.com/tieba1.JPG
# cat tieba1_part* > tieba1.JPG
-
通过ftp下载
curl可以通过ftp下载文件，curl提供两种从ftp中下载的语法
# curl -O -u 用户名:密码 ftp://www.baidu.com/tieba1.JPG
# curl -O ftp://用户名:密码@www.baidu.com/tieba1.JPG
-
显示下载进度条
# curl -# -O http://www.baidu.com/tieba1.JPG
-
-
断点续传
如果在下载tieba1.JPG的过程中突然掉线了，可以使用以下的方式续传
# curl -C -O http://www.baidu.com/tieba1.JPG
-
上传文件
curl不仅仅可以下载文件，还可以上传文件。通过内置option:-T来实现
# curl -T tieba1.JPG -u 用户名:密码 ftp://www.baidu.com/img/
-
显示抓取错误
# curl -f http://www.baidu.com/error
- 其他
| -a/--append |
上传文件时，附加到目标文件 |
| --anyauth |
可以使用"任何"身份验证方法 |
| --basic |
使用HTTP基本验证 |
| -B/--use-ascii |
使用ASCII文本传输 |
| -d/--data |
HTTP POST方式传送数据 |
| --data-ascii |
以ascii的方式post数据 |
| --data-binary |
以二进制的方式post数据 |
| --negotiate |
使用HTTP身份验证 |
| --digest |
使用数字身份验证 |
| --disable-eprt |
禁止使用EPRT或LPRT |
| --disable-epsv |
禁止使用EPSV |
| --egd-file |
为随机数据(SSL)设置EGD socket路径 |
| --tcp-nodelay |
使用TCP_NODELAY选项 |
| -E/--cert |
客户端证书文件和密码 (SSL) |
| --cert-type |
证书文件类型 (DER/PEM/ENG) (SSL) |
| --key |
私钥文件名 (SSL) |
| --key-type |
私钥文件类型 (DER/PEM/ENG) (SSL) |
| --pass |
私钥密码 (SSL) |
| --engine |
加密引擎使用 (SSL). "--engine list" for list |
| --cacert |
CA证书 (SSL) |
| --capath |
CA目 (made using c_rehash) to verify peer against (SSL) |
| --ciphers |
SSL密码 |
| --compressed |
要求返回是压缩的形式 |
| --connect-timeout |
设置最大请求时间 |
| --create-dirs |
建立本地目录的目录层次结构 |
| --crlf |
上传是把LF转变成CRLF |
| --ftp-create-dirs |
如果远程目录不存在，创建远程目录 |
| --ftp-method [multicwd/nocwd/singlecwd] |
控制CWD的使用 |
| --ftp-pasv |
使用 PASV/EPSV 代替端口 |
| --ftp-skip-pasv-ip |
使用PASV的时候,忽略该IP地址 |
| --ftp-ssl |
尝试用 SSL/TLS 来进行ftp数据传输 |
| --ftp-ssl-reqd |
要求用 SSL/TLS 来进行ftp数据传输 |
| -F/--form |
模拟http表单提交数据 |
| -form-string |
模拟http表单提交数据 |
| -g/--globoff |
禁用网址序列和范围使用{}和[] |
| -G/--get |
以get的方式来发送数据 |
| -h/--help |
帮助 |
| -H/--header |
自定义头信息传递给服务器 |
| --ignore-content-length |
忽略的HTTP头信息的长度 |
| -i/--include |
输出时包括protocol头信息 |
| -I/--head |
只显示文档信息 |
| -j/--junk-session-cookies |
读取文件时忽略session cookie |
| --interface |
使用指定网络接口/地址 |
| --krb4 |
使用指定安全级别的krb4 |
| -k/--insecure |
允许不使用证书到SSL站点 |
| -K/--config |
指定的配置文件读取 |
| -l/--list-only |
列出ftp目录下的文件名称 |
| --limit-rate |
设置传输速度 |
| --local-port |
强制使用本地端口号 |
| -m/--max-time |
设置最大传输时间 |
| --max-redirs |
设置最大读取的目录数 |
| --max-filesize |
设置最大下载的文件总量 |
| -M/--manual |
显示全手动 |
| -n/--netrc |
从netrc文件中读取用户名和密码 |
| --netrc-optional |
使用 .netrc 或者 URL来覆盖-n |
| --ntlm |
使用 HTTP NTLM 身份验证 |
| -N/--no-buffer |
禁用缓冲输出 |
| -p/--proxytunnel |
使用HTTP代理 |
| --proxy-anyauth |
选择任一代理身份验证方法 |
| --proxy-basic |
在代理上使用基本身份验证 |
| --proxy-digest |
在代理上使用数字身份验证 |
| --proxy-ntlm |
在代理上使用ntlm身份验证 |
| -P/--ftp-port |
使用端口地址，而不是使用PASV |
| -Q/--quote |
文件传输前，发送命令到服务器 |
| --range-file |
读取（SSL）的随机文件 |
| -R/--remote-time |
在本地生成文件时，保留远程文件时间 |
| --retry |
传输出现问题时，重试的次数 |
| --retry-delay |
传输出现问题时，设置重试间隔时间 |
| --retry-max-time |
传输出现问题时，设置最大重试时间 |
| -S/--show-error |
显示错误 |
| --socks4 |
用socks4代理给定主机和端口 |
| --socks5 |
用socks5代理给定主机和端口 |
| -t/--telnet-option |
Telnet选项设置 |
| --trace |
对指定文件进行debug |
| --trace-ascii |
Like --跟踪但没有hex输出 |
| --trace-time |
跟踪/详细输出时，添加时间戳 |
| --url |
Spet URL to work with |
| -U/--proxy-user |
设置代理用户名和密码 |
| -V/--version |
显示版本信息 |
| -X/--request |
指定什么命令 |
| -y/--speed-time |
放弃限速所要的时间。默认为30 |
| -Y/--speed-limit |
停止传输速度的限制，速度时间'秒 |
| -z/--time-cond |
传送时间设置 |
| -0/--http1.0 |
使用HTTP 1.0 |
| -1/--tlsv1 |
使用TLSv1（SSL） |
| -2/--sslv2 |
使用SSLv2的（SSL） |
| -3/--sslv3 |
使用的SSLv3（SSL） |
| --3p-quote |
like -Q for the source URL for 3rd party transfer |
| --3p-url |
使用url，进行第三方传送 |
| --3p-user |
使用用户名和密码，进行第三方传送 |
| -4/--ipv4 |
使用IP4 |
| -6/--ipv6 |
使用IP6 |