curl 备忘录

参考文档：curl 的用法指南

1、二进制上传内容

curl -X PUT -T {{file_path}} {{url}}

等同于js

// base64的图片内容
var data = "data:image/png;base64,iVBORw0KGgoxxxxxxxxxxxxxxxxxx9NcTqB0H/oAAAAASUVORK5CYII=";

var xhr = new XMLHttpRequest();
xhr.withCredentials = true;
// 上一步获取的上传地址
xhr.open("PUT", "https://example.com/xxxxxxxc", true);
xhr.send(convertBase64UrlToBlob(data));

/**  
 * 将以base64的图片url数据转换为Blob  
 * @param urlData  
 *            用url方式表示的base64图片数据  
 */  
function convertBase64UrlToBlob(urlData){  
    var bytes=window.atob(urlData.split(',')[1]);        //去掉url的头，并转换为byte  
    //处理异常,将ascii码小于0的转换为大于0  
    var ab = new ArrayBuffer(bytes.length);  
    var ia = new Uint8Array(ab);  
    for (var i = 0; i < bytes.length; i++) {  
        ia[i] = bytes.charCodeAt(i);  
    }  
    return new Blob( [ab] , {type : 'image/png'});  
} 

2、指定请求method

curl -X POST https://www.example.com

默认是get

curl https://www.example.com

3、添加header

-H参数添加 HTTP 请求的标头，可添加多个

curl -H 'Accept-Language: en-US' -H 'Secret-Message: xyzzy' https://google.com

• -A参数指定User-Agent

curl -A 'Mozilla/5.0' https://google.com
等同于
curl -H 'User-Agent: Mozilla/5.0' https://google.com

• -b参数用来向服务器发送 Cookie

curl -b 'foo1=bar;foo2=bar2' https://google.com
等同于
curl -H 'cookie: foo1=bar' -H 'cookie: foo2=bar2' https://google.com

4、添加cookie

• -c参数将服务器的 HTTP 回应设置的 Cookie 写入一个文件。

curl -c cookies.txt https://www.google.com

• -b读取cookie文件

curl -b cookies.txt https://www.google.com

5、请求体

-d参数用于发送 POST 请求的数据体

curl -d 'login=emma＆password=123' -X POST https://google.com/login
或者
curl -d 'login=emma' -d 'password=123' https://google.com/login
或读取本地文本文件内容作为数据体
curl -d '@data.txt' https://google.com/login

使用-d参数以后，HTTP 请求会自动加上标头Content-Type : application/x-www-form-urlencoded 并且会自动将请求转为 POST 方法，因此可以省略-X POST

6、文件上传

-F参数用来向服务器上传二进制文件。

curl -F '[email protected];type=image/png;filename=me.png' https://google.com/profile

上面命令:

• 指定 MIME 类型为image/png，否则 curl 会把 MIME 类型设为application/octet-stream
• 自动给 HTTP 请求加上标头Content-Type: multipart/form-data，然后将文件photo.png作为file字段上传。
• 原始文件名为photo.png，但是服务器接收到的文件名为me.png

7、文件下载

-o参数将服务器的回应保存成文件，等同于wget命令；
-O参数将服务器回应保存成文件，并将 URL 的最后部分当作文件名

curl -o example.html https://www.example.com
或
curl -O https://www.example.com/foo/bar.html

8、限流

--limit-rate用来限制 HTTP 请求和回应的带宽，模拟慢网速的环境。

 curl --limit-rate 200k https://google.com

上面命令将带宽限制在每秒 200K 字节

9、请求详情

-v参数输出通信的整个过程，用于调试

 curl -v https://www.example.com

10、请求耗时明细

参考文档:
使用 curl 命令分析请求的耗时情况
A Question of Timing

• vim curl-format.txt
  输入内容

time_namelookup:  %{time_namelookup}\n
time_connect:  %{time_connect}\n
time_appconnect:  %{time_appconnect}\n
time_redirect:  %{time_redirect}\n
time_pretransfer:  %{time_pretransfer}\n
time_starttransfer:  %{time_starttransfer}\n
----------\n
time_total:  %{time_total}\n

• 参数说明：

time_namelookup：DNS 域名解析的时间，就是把 https://zhihu.com 转换成 ip 地址的过程
time_connect：TCP 连接建立的时间，就是三次握手的时间 ,计算方式:time_connect - time_namelookup
time_appconnect：SSL/SSH 等上层协议建立连接的时间，比如 connect/handshake 的时间
time_redirect：重定向时间，包括到内容传输前的重定向的DNS解析、TCP连接、内容传输等时间
time_pretransfer：从请求开始到向服务器发送第一个GET请求开始之前的耗时
time_starttransfer：从请求开始到响应内容传输前的时间
time_total：从请求开始到完成的总耗时

image.png

• 其中的运算关系：

DNS请求耗时 = time_namelookup
-------域名的NS及本地使用DNS的解析速度
TCP三次握手耗时 = time_connect - time_namelookup
-------服务器网络层面的速度
SSL握手耗时 = time_appconnect- time_connect
-------服务器处理HTTPS等协议的速度
服务器处理请求耗时 = time_starttransfer - time_pretransfer
-------服务器处理HTTP请求的速度
TTFB耗时 = time_starttransfer - time_appconnect
-------服务器从接收请求到开始到收到第一个字节的耗时
服务器传输耗时 = time_total - time_starttransfer
-------服务器响应第一个字节到全部传输完成耗时
总耗时 = time_total

• curl命令

curl -w "@curl-format.txt" -o /dev/null -s 'https://example.com/file1" \
  -H 'accept: */*' \
  -H 'cache-control: no-cache' \
  -H 'cookie: my-token=abcs342340okcasdc=' 

• sh脚本统计耗时

#!/bin/bash

Default_URL=https://www.baidu.com
URL=${1:-$Default_URL}

Result=`curl -o /dev/null -s $URL \
        -w \
        'time_namelookup=%{time_namelookup}
time_connect=%{time_connect}
time_appconnect=%{time_appconnect}
time_redirect=%{time_redirect}
time_pretransfer=%{time_pretransfer}
time_starttransfer=%{time_starttransfer}
time_total=%{time_total}
'`


declare $Result

curl_timing(){
    printf "\e[92mcURL Timing: \e[0m\n"
    for i in $Result
    do  
            IFS='='
            printf "\e[96m%18s \e[0m: %10s \n" $i
    done
}
stat_timing(){

    Result_TCP=`printf "%.6f" $(echo $time_connect - $time_namelookup |bc -l)`
    Result_TLS=`printf "%.6f" $(echo $time_appconnect - $time_connect |bc -l)`
    Result_Server=`printf "%.6f" $(echo $time_starttransfer - $time_pretransfer |bc -l)`
    Result_TTFB=`printf "%.6f" $(echo $time_starttransfer - $time_appconnect |bc -l)`
    Result_Transfer=`printf "%.6f" $(echo $time_total - $time_starttransfer |bc -l)`

    printf "\n\e[92mResource Timing: \e[0m\n"
    printf "\e[96m%18s \e[0m: %.6f \n" "DNS Lookup" $time_namelookup
    printf "\e[96m%18s \e[0m: %.6f \n" "TCP Connection" $Result_TCP
    
    if  [ `echo "$time_appconnect == 0"|bc` -eq 0 ]
    then
        printf "\e[96m%18s \e[0m: %.6f \n" "TLS Handshake" $Result_TLS
    fi

    printf "\e[96m%18s \e[0m: %.6f \n" "Server Processing" $Result_Server
    printf "\e[96m%18s \e[0m: %.6f \n" "TTFB" $Result_TTFB
    printf "\e[96m%18s \e[0m: %.6f \n" "Content Transfer" $Result_Transfer
    printf "\e[96m%18s \e[0m: %.6f \n" "Finish" $time_total
}

curl_timing
stat_timing 

使用方法：

./curl_stat.sh https://www.baidu.com
结果

image.png