岳来
岳来

linux 命令 curl 详解

一、curl 介绍

curl是一个命令行访问URL的计算机逻辑语言的工具，发出网络请求，然后得到数据并提取出，显示在标准输出stdout上面;
可以用它来构造http request报文，curl(CommandLine Uniform Resource Locator),即在命令行中利用URL进行数据或者文件传输；
支持的协议包括 (DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP)，
curl设计为无用户交互下完成工作；
curl提供了一大堆非常有用的功能，包括代理访问、用户认证、ftp上传下载、HTTP POST、SSL连接、cookie支持、断点续传等;
在很多的操作系统中被使用，其中包括Unix、和Linux，除此之外，也有DOS和Win64等的版本。

二、常见功能

2.1、查看网页源码

直接在 curl 命令后加上网址，就可以看到网页源码。以网址www.baidu.com为例（选择该网址，主要因为它的网页代码较短）。

$ curl www.baidu.com 
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> 
  
 
 
 关于百度 About Baidu 
 
©2017 Baidu 使用百度前必读  意见反馈 京ICP证030173号 

如果要把这个网页保存下来，可以使用 -o 参数：

$ curl -o /iso2/gyy/tmp/baidu.txt www.baidu.com
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  2381  100  2381    0     0  12767      0 --:--:-- --:--:-- --:--:-- 12732


$ cat baidu.txt 
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> 
  
 
 
 关于百度 About Baidu 
 
©2017 Baidu 使用百度前必读  意见反馈 京ICP证030173号 

2.2、自动跳转

有的网址是自动跳转的。使用 -L 参数，curl 就会跳转到新的网址。

$ curl -L www.sina.com

键入上面的命令，结果自动跳转为 www.sina.com.cn。

2.3、显示头信息

-i 参数可以显示 http response 的头信息，连同网页代码一起。-I 参数则只显示 http response 的头信息。

$ curl -i  www.baidu.com 
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
Connection: keep-alive
Content-Length: 2381
Content-Type: text/html
Date: Mon, 14 Nov 2022 06:06:56 GMT
Etag: "588604c8-94d"
Last-Modified: Mon, 23 Jan 2017 13:27:36 GMT
Pragma: no-cache
Server: bfe/1.0.8.18
Set-Cookie: BDORZ=27315; max-age=86400; domain=.baidu.com; path=/

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> 
  
 
 
 关于百度 About Baidu 
 
©2017 Baidu 使用百度前必读  意见反馈 京ICP证030173号   
 
 
 
  


curl -I  www.baidu.com 
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
Connection: keep-alive
Content-Length: 277
Content-Type: text/html
Date: Mon, 14 Nov 2022 06:07:34 GMT
Etag: "575e1f60-115"
Last-Modified: Mon, 13 Jun 2016 02:50:08 GMT
Pragma: no-cache
Server: bfe/1.0.8.18

2.4、显示通信过程

-v 参数可以显示一次 http 通信的整个过程，包括端口连接和 http request 头信息。

$ curl -v  www.baidu.com 
* About to connect() to www.baidu.com port 80 (#0)
*   Trying 180.101.49.14...
* Connected to www.baidu.com (180.101.49.14) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: www.baidu.com
> Accept: */*
> 
< HTTP/1.1 200 OK
< Accept-Ranges: bytes
< Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
< Connection: keep-alive
< Content-Length: 2381
< Content-Type: text/html
< Date: Mon, 14 Nov 2022 06:11:11 GMT
< Etag: "588604c8-94d"
< Last-Modified: Mon, 23 Jan 2017 13:27:36 GMT
< Pragma: no-cache
< Server: bfe/1.0.8.18
< Set-Cookie: BDORZ=27315; max-age=86400; domain=.baidu.com; path=/
< 
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> 
  
 
 
 关于百度 About Baidu 
 
©2017 Baidu 使用百度前必读  意见反馈 京ICP证030173号   
 
 
 
  
* Connection #0 to host www.baidu.com left intact

如果觉得上面的信息还不够，那么下面的命令可以查看更详细的通信过程。

$ curl --trace output.txt www.baidu.com 

$ cat output.txt 
== Info: About to connect() to www.baidu.com port 80 (#0)
== Info:   Trying 180.101.49.14...
== Info: Connected to www.baidu.com (180.101.49.14) port 80 (#0)
=> Send header, 77 bytes (0x4d)
0000: 47 45 54 20 2f 20 48 54 54 50 2f 31 2e 31 0d 0a GET / HTTP/1.1..
0010: 55 73 65 72 2d 41 67 65 6e 74 3a 20 63 75 72 6c User-Agent: curl
0020: 2f 37 2e 32 39 2e 30 0d 0a 48 6f 73 74 3a 20 77 /7.29.0..Host: w
0030: 77 77 2e 62 61 69 64 75 2e 63 6f 6d 0d 0a 41 63 ww.baidu.com..Ac
0040: 63 65 70 74 3a 20 2a 2f 2a 0d 0a 0d 0a          cept: */*....
<= Recv header, 17 bytes (0x11)
0000: 48 54 54 50 2f 31 2e 31 20 32 30 30 20 4f 4b 0d HTTP/1.1 200 OK.
0010: 0a                                              .
<= Recv header, 22 bytes (0x16)
0000: 41 63 63 65 70 74 2d 52 61 6e 67 65 73 3a 20 62 Accept-Ranges: b
0010: 79 74 65 73 0d 0a                               ytes..
<= Recv header, 76 bytes (0x4c)
0000: 43 61 63 68 65 2d 43 6f 6e 74 72 6f 6c 3a 20 70 Cache-Control: p
0010: 72 69 76 61 74 65 2c 20 6e 6f 2d 63 61 63 68 65 rivate, no-cache
0020: 2c 20 6e 6f 2d 73 74 6f 72 65 2c 20 70 72 6f 78 , no-store, prox
0030: 79 2d 72 65 76 61 6c 69 64 61 74 65 2c 20 6e 6f y-revalidate, no
0040: 2d 74 72 61 6e 73 66 6f 72 6d 0d 0a             -transform..
<= Recv header, 24 bytes (0x18)
0000: 43 6f 6e 6e 65 63 74 69 6f 6e 3a 20 6b 65 65 70 Connection: keep
0010: 2d 61 6c 69 76 65 0d 0a                         -alive..
<= Recv header, 22 bytes (0x16)
0000: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 3a 20 Content-Length: 
0010: 32 33 38 31 0d 0a                               2381..
<= Recv header, 25 bytes (0x19)
0000: 43 6f 6e 74 65 6e 74 2d 54 79 70 65 3a 20 74 65 Content-Type: te
0010: 78 74 2f 68 74 6d 6c 0d 0a                      xt/html..
<= Recv header, 37 bytes (0x25)
0000: 44 61 74 65 3a 20 4d 6f 6e 2c 20 31 34 20 4e 6f Date: Mon, 14 No
0010: 76 20 32 30 32 32 20 30 36 3a 31 32 3a 34 35 20 v 2022 06:12:45 
0020: 47 4d 54 0d 0a                                  GMT..
<= Recv header, 22 bytes (0x16)
0000: 45 74 61 67 3a 20 22 35 38 38 36 30 34 63 38 2d Etag: "588604c8-
0010: 39 34 64 22 0d 0a                               94d"..
<= Recv header, 46 bytes (0x2e)
0000: 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 3a 20 4d Last-Modified: M
0010: 6f 6e 2c 20 32 33 20 4a 61 6e 20 32 30 31 37 20 on, 23 Jan 2017 
0020: 31 33 3a 32 37 3a 33 36 20 47 4d 54 0d 0a       13:27:36 GMT..
<= Recv header, 18 bytes (0x12)
0000: 50 72 61 67 6d 61 3a 20 6e 6f 2d 63 61 63 68 65 Pragma: no-cache
0010: 0d 0a                                           ..
<= Recv header, 22 bytes (0x16)
0000: 53 65 72 76 65 72 3a 20 62 66 65 2f 31 2e 30 2e Server: bfe/1.0.
0010: 38 2e 31 38 0d 0a                               8.18..
<= Recv header, 67 bytes (0x43)
0000: 53 65 74 2d 43 6f 6f 6b 69 65 3a 20 42 44 4f 52 Set-Cookie: BDOR
0010: 5a 3d 32 37 33 31 35 3b 20 6d 61 78 2d 61 67 65 Z=27315; max-age
0020: 3d 38 36 34 30 30 3b 20 64 6f 6d 61 69 6e 3d 2e =86400; domain=.
0030: 62 61 69 64 75 2e 63 6f 6d 3b 20 70 61 74 68 3d baidu.com; path=
0040: 2f 0d 0a                                        /..
<= Recv header, 2 bytes (0x2)
0000: 0d 0a                                           ..
<= Recv data, 2381 bytes (0x94d)
0000: 3c 21 44 4f 43 54 59 50 45 20 68 74 6d 6c 3e 0d <!DOCTYPE html>.
0010: 0a 3c 21 2d 2d 53 54 41 54 55 53 20 4f 4b 2d 2d .<!--STATUS OK--
0020: 3e 3c 68 74 6d 6c 3e 20 3c 68 65 61 64 3e 3c 6d ><html> <head><m
0030: 65 74 61 20 68 74 74 70 2d 65 71 75 69 76 3d 63 eta http-equiv=c
0040: 6f 6e 74 65 6e 74 2d 74 79 70 65 20 63 6f 6e 74 ontent-type cont
0050: 65 6e 74 3d 74 65 78 74 2f 68 74 6d 6c 3b 63 68 ent=text/html;ch
0060: 61 72 73 65 74 3d 75 74 66 2d 38 3e 3c 6d 65 74 arset=utf-8><met
0070: 61 20 68 74 74 70 2d 65 71 75 69 76 3d 58 2d 55 a http-equiv=X-U
0080: 41 2d 43 6f 6d 70 61 74 69 62 6c 65 20 63 6f 6e A-Compatible con
0090: 74 65 6e 74 3d 49 45 3d 45 64 67 65 3e 3c 6d 65 tent=IE=Edge><me
00a0: 74 61 20 63 6f 6e 74 65 6e 74 3d 61 6c 77 61 79 ta content=alway
00b0: 73 20 6e 61 6d 65 3d 72 65 66 65 72 72 65 72 3e s name=referrer>
00c0: 3c 6c 69 6e 6b 20 72 65 6c 3d 73 74 79 6c 65 73 <link rel=styles
00d0: 68 65 65 74 20 74 79 70 65 3d 74 65 78 74 2f 63 heet type=text/c
00e0: 73 73 20 68 72 65 66 3d 68 74 74 70 3a 2f 2f 73 ss href=http://s
00f0: 31 2e 62 64 73 74 61 74 69 63 2e 63 6f 6d 2f 72 1.bdstatic.com/r
0100: 2f 77 77 77 2f 63 61 63 68 65 2f 62 64 6f 72 7a /www/cache/bdorz
0110: 2f 62 61 69 64 75 2e 6d 69 6e 2e 63 73 73 3e 3c /baidu.min.css><
0120: 74 69 74 6c 65 3e e7 99 be e5 ba a6 e4 b8 80 e4 title>..........
0130: b8 8b ef bc 8c e4 bd a0 e5 b0 b1 e7 9f a5 e9 81 ................
0140: 93 3c 2f 74 69 74 6c 65 3e 3c 2f 68 65 61 64 3e .</title></head>
0150: 20 3c 62 6f 64 79 20 6c 69 6e 6b 3d 23 30 30 30  <body link=#000
0160: 30 63 63 3e 20 3c 64 69 76 20 69 64 3d 77 72 61 0cc> <div id=wra
0170: 70 70 65 72 3e 20 3c 64 69 76 20 69 64 3d 68 65 pper> <div id=he
0180: 61 64 3e 20 3c 64 69 76 20 63 6c 61 73 73 3d 68 ad> <div class=h
0190: 65 61 64 5f 77 72 61 70 70 65 72 3e 20 3c 64 69 ead_wrapper> <di
01a0: 76 20 63 6c 61 73 73 3d 73 5f 66 6f 72 6d 3e 20 v class=s_form> 
01b0: 3c 64 69 76 20 63 6c 61 73 73 3d 73 5f 66 6f 72 <div class=s_for
01c0: 6d 5f 77 72 61 70 70 65 72 3e 20 3c 64 69 76 20 m_wrapper> <div 
01d0: 69 64 3d 6c 67 3e 20 3c 69 6d 67 20 68 69 64 65 id=lg> <img hide
01e0: 66 6f 63 75 73 3d 74 72 75 65 20 73 72 63 3d 2f focus=true src=/
01f0: 2f 77 77 77 2e 62 61 69 64 75 2e 63 6f 6d 2f 69 /www.baidu.com/i
0200: 6d 67 2f 62 64 5f 6c 6f 67 6f 31 2e 70 6e 67 20 mg/bd_logo1.png 
0210: 77 69 64 74 68 3d 32 37 30 20 68 65 69 67 68 74 width=270 height
0220: 3d 31 32 39 3e 20 3c 2f 64 69 76 3e 20 3c 66 6f =129> </div> <fo
0230: 72 6d 20 69 64 3d 66 6f 72 6d 20 6e 61 6d 65 3d rm id=form name=
0240: 66 20 61 63 74 69 6f 6e 3d 2f 2f 77 77 77 2e 62 f action=//www.b
0250: 61 69 64 75 2e 63 6f 6d 2f 73 20 63 6c 61 73 73 aidu.com/s class
0260: 3d 66 6d 3e 20 3c 69 6e 70 75 74 20 74 79 70 65 =fm> <input type
0270: 3d 68 69 64 64 65 6e 20 6e 61 6d 65 3d 62 64 6f =hidden name=bdo
0280: 72 7a 5f 63 6f 6d 65 20 76 61 6c 75 65 3d 31 3e rz_come value=1>
0290: 20 3c 69 6e 70 75 74 20 74 79 70 65 3d 68 69 64  <input type=hid
02a0: 64 65 6e 20 6e 61 6d 65 3d 69 65 20 76 61 6c 75 den name=ie valu
02b0: 65 3d 75 74 66 2d 38 3e 20 3c 69 6e 70 75 74 20 e=utf-8> <input 
02c0: 74 79 70 65 3d 68 69 64 64 65 6e 20 6e 61 6d 65 type=hidden name
02d0: 3d 66 20 76 61 6c 75 65 3d 38 3e 20 3c 69 6e 70 =f value=8> <inp
02e0: 75 74 20 74 79 70 65 3d 68 69 64 64 65 6e 20 6e ut type=hidden n
02f0: 61 6d 65 3d 72 73 76 5f 62 70 20 76 61 6c 75 65 ame=rsv_bp value
0300: 3d 31 3e 20 3c 69 6e 70 75 74 20 74 79 70 65 3d =1> <input type=
0310: 68 69 64 64 65 6e 20 6e 61 6d 65 3d 72 73 76 5f hidden name=rsv_
0320: 69 64 78 20 76 61 6c 75 65 3d 31 3e 20 3c 69 6e idx value=1> <in
0330: 70 75 74 20 74 79 70 65 3d 68 69 64 64 65 6e 20 put type=hidden 
0340: 6e 61 6d 65 3d 74 6e 20 76 61 6c 75 65 3d 62 61 name=tn value=ba
0350: 69 64 75 3e 3c 73 70 61 6e 20 63 6c 61 73 73 3d idu><span class=
0360: 22 62 67 20 73 5f 69 70 74 5f 77 72 22 3e 3c 69 "bg s_ipt_wr"><i
0370: 6e 70 75 74 20 69 64 3d 6b 77 20 6e 61 6d 65 3d nput id=kw name=
0380: 77 64 20 63 6c 61 73 73 3d 73 5f 69 70 74 20 76 wd class=s_ipt v
0390: 61 6c 75 65 20 6d 61 78 6c 65 6e 67 74 68 3d 32 alue maxlength=2
03a0: 35 35 20 61 75 74 6f 63 6f 6d 70 6c 65 74 65 3d 55 autocomplete=
03b0: 6f 66 66 20 61 75 74 6f 66 6f 63 75 73 3e 3c 2f off autofocus></
03c0: 73 70 61 6e 3e 3c 73 70 61 6e 20 63 6c 61 73 73 span><span class
03d0: 3d 22 62 67 20 73 5f 62 74 6e 5f 77 72 22 3e 3c ="bg s_btn_wr"><
03e0: 69 6e 70 75 74 20 74 79 70 65 3d 73 75 62 6d 69 input type=submi
03f0: 74 20 69 64 3d 73 75 20 76 61 6c 75 65 3d e7 99 t id=su value=..
0400: be e5 ba a6 e4 b8 80 e4 b8 8b 20 63 6c 61 73 73 .......... class
0410: 3d 22 62 67 20 73 5f 62 74 6e 22 3e 3c 2f 73 70 ="bg s_btn"></sp
0420: 61 6e 3e 20 3c 2f 66 6f 72 6d 3e 20 3c 2f 64 69 an> </form> </di
0430: 76 3e 20 3c 2f 64 69 76 3e 20 3c 64 69 76 20 69 v> </div> <div i
0440: 64 3d 75 31 3e 20 3c 61 20 68 72 65 66 3d 68 74 d=u1> <a href=ht
0450: 74 70 3a 2f 2f 6e 65 77 73 2e 62 61 69 64 75 2e tp://news.baidu.
0460: 63 6f 6d 20 6e 61 6d 65 3d 74 6a 5f 74 72 6e 65 com name=tj_trne
0470: 77 73 20 63 6c 61 73 73 3d 6d 6e 61 76 3e e6 96 ws class=mnav>..
0480: b0 e9 97 bb 3c 2f 61 3e 20 3c 61 20 68 72 65 66 ....</a> <a href
0490: 3d 68 74 74 70 3a 2f 2f 77 77 77 2e 68 61 6f 31 =http://www.hao1
04a0: 32 33 2e 63 6f 6d 20 6e 61 6d 65 3d 74 6a 5f 74 23.com name=tj_t
04b0: 72 68 61 6f 31 32 33 20 63 6c 61 73 73 3d 6d 6e rhao123 class=mn
04c0: 61 76 3e 68 61 6f 31 32 33 3c 2f 61 3e 20 3c 61 av>hao123</a> <a
04d0: 20 68 72 65 66 3d 68 74 74 70 3a 2f 2f 6d 61 70  href=http://map
04e0: 2e 62 61 69 64 75 2e 63 6f 6d 20 6e 61 6d 65 3d .baidu.com name=
04f0: 74 6a 5f 74 72 6d 61 70 20 63 6c 61 73 73 3d 6d tj_trmap class=m
0500: 6e 61 76 3e e5 9c b0 e5 9b be 3c 2f 61 3e 20 3c nav>......</a> <
0510: 61 20 68 72 65 66 3d 68 74 74 70 3a 2f 2f 76 2e a href=http://v.
0520: 62 61 69 64 75 2e 63 6f 6d 20 6e 61 6d 65 3d 74 baidu.com name=t
0530: 6a 5f 74 72 76 69 64 65 6f 20 63 6c 61 73 73 3d j_trvideo class=
0540: 6d 6e 61 76 3e e8 a7 86 e9 a2 91 3c 2f 61 3e 20 mnav>......</a> 
0550: 3c 61 20 68 72 65 66 3d 68 74 74 70 3a 2f 2f 74 <a href=http://t
0560: 69 65 62 61 2e 62 61 69 64 75 2e 63 6f 6d 20 6e ieba.baidu.com n
0570: 61 6d 65 3d 74 6a 5f 74 72 74 69 65 62 61 20 63 ame=tj_trtieba c
0580: 6c 61 73 73 3d 6d 6e 61 76 3e e8 b4 b4 e5 90 a7 lass=mnav>......
0590: 3c 2f 61 3e 20 3c 6e 6f 73 63 72 69 70 74 3e 20 </a> <noscript> 
05a0: 3c 61 20 68 72 65 66 3d 68 74 74 70 3a 2f 2f 77 <a href=http://w
05b0: 77 77 2e 62 61 69 64 75 2e 63 6f 6d 2f 62 64 6f ww.baidu.com/bdo
05c0: 72 7a 2f 6c 6f 67 69 6e 2e 67 69 66 3f 6c 6f 67 rz/login.gif?log
05d0: 69 6e 26 61 6d 70 3b 74 70 6c 3d 6d 6e 26 61 6d in&amp;tpl=mn&am
05e0: 70 3b 75 3d 68 74 74 70 25 33 41 25 32 46 25 32 p;u=http%3A%2F%2
05f0: 46 77 77 77 2e 62 61 69 64 75 2e 63 6f 6d 25 32 Fwww.baidu.com%2
0600: 66 25 33 66 62 64 6f 72 7a 5f 63 6f 6d 65 25 33 f%3fbdorz_come%3
0610: 64 31 20 6e 61 6d 65 3d 74 6a 5f 6c 6f 67 69 6e d1 name=tj_login
0620: 20 63 6c 61 73 73 3d 6c 62 3e e7 99 bb e5 bd 95  class=lb>......
0630: 3c 2f 61 3e 20 3c 2f 6e 6f 73 63 72 69 70 74 3e </a> </noscript>
0640: 20 3c 73 63 72 69 70 74 3e 64 6f 63 75 6d 65 6e  <script>documen
0650: 74 2e 77 72 69 74 65 28 27 3c 61 20 68 72 65 66 t.write('52 49 43 6f 6d 70 6f 6e 65 6e 74 28 77 69 6e 64 RIComponent(wind
06b0: 6f 77 2e 6c 6f 63 61 74 69 6f 6e 2e 68 72 65 66 ow.location.href
06c0: 2b 20 28 77 69 6e 64 6f 77 2e 6c 6f 63 61 74 69 + (window.locati
06d0: 6f 6e 2e 73 65 61 72 63 68 20 3d 3d 3d 20 22 22 on.search === ""
06e0: 20 3f 20 22 3f 22 20 3a 20 22 26 22 29 2b 20 22  ? "?" : "&")+ "
06f0: 62 64 6f 72 7a 5f 63 6f 6d 65 3d 31 22 29 2b 20 bdorz_come=1")+ 
0700: 27 22 20 6e 61 6d 65 3d 22 74 6a 5f 6c 6f 67 69 '" name="tj_logi
0710: 6e 22 20 63 6c 61 73 73 3d 22 6c 62 22 3e e7 99 n" class="lb">..
0720: bb e5 bd 95 3c 2f 61 3e 27 29 3b 3c 2f 73 63 72 ....');</scr
0730: 69 70 74 3e 20 3c 61 20 68 72 65 66 3d 2f 2f 77 ipt> <a href=//w
0740: 77 77 2e 62 61 69 64 75 2e 63 6f 6d 2f 6d 6f 72 ww.baidu.com/mor
0750: 65 2f 20 6e 61 6d 65 3d 74 6a 5f 62 72 69 69 63 e/ name=tj_briic
0760: 6f 6e 20 63 6c 61 73 73 3d 62 72 69 20 73 74 79 on class=bri sty
0770: 6c 65 3d 22 64 69 73 70 6c 61 79 3a 20 62 6c 6f le="display: blo
0780: 63 6b 3b 22 3e e6 9b b4 e5 a4 9a e4 ba a7 e5 93 ck;">...........
0790: 81 3c 2f 61 3e 20 3c 2f 64 69 76 3e 20 3c 2f 64 .</a> </div> </d
07a0: 69 76 3e 20 3c 2f 64 69 76 3e 20 3c 64 69 76 20 iv> </div> <div 
07b0: 69 64 3d 66 74 43 6f 6e 3e 20 3c 64 69 76 20 69 id=ftCon> <div i
07c0: 64 3d 66 74 43 6f 6e 77 3e 20 3c 70 20 69 64 3d d=ftConw> <p id=
07d0: 6c 68 3e 20 3c 61 20 68 72 65 66 3d 68 74 74 70 lh> <a href=http
07e0: 3a 2f 2f 68 6f 6d 65 2e 62 61 69 64 75 2e 63 6f ://home.baidu.co
07f0: 6d 3e e5 85 b3 e4 ba 8e e7 99 be e5 ba a6 3c 2f m>............</
0800: 61 3e 20 3c 61 20 68 72 65 66 3d 68 74 74 70 3a a> <a href=http:
0810: 2f 2f 69 72 2e 62 61 69 64 75 2e 63 6f 6d 3e 41 //ir.baidu.com>A
0820: 62 6f 75 74 20 42 61 69 64 75 3c 2f 61 3e 20 3c bout Baidu</a> <
0830: 2f 70 3e 20 3c 70 20 69 64 3d 63 70 3e 26 63 6f /p> <p id=cp>&co
0840: 70 79 3b 32 30 31 37 26 6e 62 73 70 3b 42 61 69 py;2017&nbsp;Bai
0850: 64 75 26 6e 62 73 70 3b 3c 61 20 68 72 65 66 3d du&nbsp;<a href=
0860: 68 74 74 70 3a 2f 2f 77 77 77 2e 62 61 69 64 75 http://www.baidu
0870: 2e 63 6f 6d 2f 64 75 74 79 2f 3e e4 bd bf e7 94 .com/duty/>.....
0880: a8 e7 99 be e5 ba a6 e5 89 8d e5 bf 85 e8 af bb ................
0890: 3c 2f 61 3e 26 6e 62 73 70 3b 20 3c 61 20 68 72 </a>&nbsp; <a hr
08a0: 65 66 3d 68 74 74 70 3a 2f 2f 6a 69 61 6e 79 69 ef=http://jianyi
08b0: 2e 62 61 69 64 75 2e 63 6f 6d 2f 20 63 6c 61 73 .baidu.com/ clas
08c0: 73 3d 63 70 2d 66 65 65 64 62 61 63 6b 3e e6 84 s=cp-feedback>..
08d0: 8f e8 a7 81 e5 8f 8d e9 a6 88 3c 2f 61 3e 26 6e ..........</a>&n
08e0: 62 73 70 3b e4 ba ac 49 43 50 e8 af 81 30 33 30 bsp;...ICP...030
08f0: 31 37 33 e5 8f b7 26 6e 62 73 70 3b 20 3c 69 6d 173...&nbsp; <im
0900: 67 20 73 72 63 3d 2f 2f 77 77 77 2e 62 61 69 64 g src=//www.baid
0910: 75 2e 63 6f 6d 2f 69 6d 67 2f 67 73 2e 67 69 66 u.com/img/gs.gif
0920: 3e 20 3c 2f 70 3e 20 3c 2f 64 69 76 3e 20 3c 2f > </p> </div> </
0930: 64 69 76 3e 20 3c 2f 64 69 76 3e 20 3c 2f 62 6f div> </div> </bo
0940: 64 79 3e 20 3c 2f 68 74 6d 6c 3e 0d 0a          dy> </html>..
== Info: Connection #0 to host www.baidu.com left intact

或者

$ curl --trace-ascii output.txt www.sina.com

$ cat output1.txt 
== Info: About to connect() to www.baidu.com port 80 (#0)
== Info:   Trying 180.101.49.14...
== Info: Connected to www.baidu.com (180.101.49.14) port 80 (#0)
=> Send header, 77 bytes (0x4d)
0000: GET / HTTP/1.1
0010: User-Agent: curl/7.29.0
0029: Host: www.baidu.com
003e: Accept: */*
004b: 
<= Recv header, 17 bytes (0x11)
0000: HTTP/1.1 200 OK
<= Recv header, 22 bytes (0x16)
0000: Accept-Ranges: bytes
<= Recv header, 76 bytes (0x4c)
0000: Cache-Control: private, no-cache, no-store, proxy-revalidate, no
0040: -transform
<= Recv header, 24 bytes (0x18)
0000: Connection: keep-alive
<= Recv header, 22 bytes (0x16)
0000: Content-Length: 2381
<= Recv header, 25 bytes (0x19)
0000: Content-Type: text/html
<= Recv header, 37 bytes (0x25)
0000: Date: Mon, 14 Nov 2022 06:14:28 GMT
<= Recv header, 22 bytes (0x16)
0000: Etag: "588604c8-94d"
<= Recv header, 46 bytes (0x2e)
0000: Last-Modified: Mon, 23 Jan 2017 13:27:36 GMT
<= Recv header, 18 bytes (0x12)
0000: Pragma: no-cache
<= Recv header, 22 bytes (0x16)
0000: Server: bfe/1.0.8.18
<= Recv header, 67 bytes (0x43)
0000: Set-Cookie: BDORZ=27315; max-age=86400; domain=.baidu.com; path=
0040: /
<= Recv header, 2 bytes (0x2)
0000: 
<= Recv data, 1040 bytes (0x410)
0000: <!DOCTYPE html>
0011: <!--STATUS OK--><html> <head><meta http-equiv=content-type conte
0051: nt=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible cont
0091: ent=IE=Edge><meta content=always name=referrer><link rel=stylesh
00d1: eet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/
0111: baidu.min.css><title>...........................</title></head> 
0151: <body link=#0000cc>

2.5、发送表单信息

发送表单信息有 GET 和 POST 两种方法。GET 方法相对简单，只要把数据附在网址后面就行。

$ curl example.com/form.cgi?data=xxx

POST 方法必须把数据和网址分开，curl 就要用到 --data 或者 -d 参数。

$ curl -X POST --data "data=xxx" example.com/form.cgi
curl -H "Content-Type: application/json" -X POST -d "{\"abc\":123}" "https://httpbin.org/post"

json数据放在一个文件里

curl -H "Content-Type: application/json" -X POST -d @test.json URL

如果你的数据没有经过表单编码，还可以让 curl 为你编码，参数是 --data-urlencode。

$ curl -X POST--data-urlencode "date=April 1" example.com/form.cgi

2.6、HTTP动词

curl 默认的 HTTP 动词是 GET，使用 -X 参数可以支持其他动词。

$ curl -X POST www.example.com
$ curl -X DELETE www.example.com

2.7、User Agent字段

这个字段是用来表示客户端的设备信息。服务器有时会根据这个字段，针对不同设备，返回不同格式的网页，比如手机版和桌面版。
浏览器的 User Agent 是：

Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36

curl 可以这样模拟：

$ curl --user-agent "[User Agent]" [URL]

2.8、cookie

使用 --cookie 参数，可以让 curl 发送 cookie。

$ curl --cookie "name=xxx" www.example.com

至于具体的 cookie 的值，可以从 http response 头信息的 Set-Cookie 字段中得到。

2.9、增加头信息

有时需要在 http request 之中，自行增加一个头信息。--header 参数就可以起到这个作用。

$ curl --header "Content-Type:application/json" http://example.com

2.10、HTTP认证

有些网域需要 HTTP 认证，这时 curl 需要用到 --user 或者 -u 参数。

$ curl --user name:password example.com

2.11、上传文件(option:-T)

curl -T dodo1.JPG -u 用户名:密码 ftp://www.linux.com/img/

2.12、伪造来源页面|伪造referer|盗链 (option：-e)

很多服务器会检查http访问的referer从而来控制访问。比如：你是先访问首页，然后再访问首页中的邮箱页面，这里访问邮箱的referer地址就是访问首页成功后的页面地址，如果服务器发现对邮箱页面访问的referer地址不是首页的地址，就断定那是个盗链了，这样就会让服务器以为你是从www.linux.com点击某个链接过来的

curl -e "www.linux.com" http://mail.linux.com
#告诉爱E族，我是从百度来的
curl -e http://baidu.com http://aiezu.com

2.13、伪造代理设备(模仿浏览器)

有些网站需要使用特定的浏览器去访问他们，有些还需要使用某些特定的版本。curl内置option:-A可以让我们指定浏览器去访问网站

curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com
#告诉爱E族，我是GOOGLE爬虫蜘蛛（其实我是curl命令）
curl -A " Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" http://aiezu.com
#告诉爱E族，我用的是微信内置浏览器
curl -A "Mozilla/5.0 AppleWebKit/600 Mobile MicroMessenger/6.0" http://aiezu.com

2.14、设置http请求指定proxy服务器以及其端口(option::-x)

很多时候上网需要用到代理服务器(比如是使用代理服务器上网或者因为使用curl别人网站而被别人屏蔽IP地址的时候)，幸运的是curl通过使用内置option：-x来支持设置代理

curl -x 192.168.100.100:1080 http://www.linux.com

2.15、保存http的response里面的header信息(option:-D)

curl -D cookied.txt http://www.linux.com

执行后cookie信息就被存到了cookied.txt里面了
注意：-c(小写)产生的cookie和-D里面的cookie是不一样的。

2.16、显示抓取错误

curl -f http://www.linux.com/error

三、curl命令参数详解

由于linux curl功能十分强大，所以命令参数十分多，下表只是筛选出来的部分参数，更多参数请运行“man curl”命令查看。

参数组 参数 描述
url url 需要抓取的一到多个URLs； 多个下面通配符的方式： 1、http://{www,ftp,mail}.aiezu.com； 　　 2、http://aiezu.com/images/[001-999].jpg； 　　 3、http://aiezu.com/images/[1-999].html； 　　 4、ftp://aiezu.com/file[a-z].txt
请 求 头 -H “name: value” --header “name: value” (HTTP)添加一个http header(http请求头)；
-H “name:” --header “name:” (HTTP)移除一个http header(http请求头)；
-A “string” --user-agent “string” 【参考】 (HTTP)设置Http请求头“User-Agent”，服务器通过“User-Agent”可以判断客户端使用的浏览器名称和操作系统类型，伪造此参数能导致服务器做出错误判断。 也可以使用“-H”, “–header option”设置此选项；
-e --referer 【参考】 (HTTP)设置访问时的来源页面，告诉http服务从哪个页面进入到此页面； -e "aiezu.com"相当于“-H “Referer: www.qq.com””；
响 应 头 -I --head (HTTP)只输出HTTP-header，不获取内容(HTTP/FTP/FILE)。 用于HTTP服务时，获取页面的http头； （如：curl -I http://aiezu.com） 用于FTP/FILE时，将会获取文件大小、最后修改时间； （如：curl -I file://test.txt）
-i --include (HTTP)输出HTTP头和返回内容；
-D --dump-header (HTTP)转储http响应头到指定文件；
cookie -b name=data --cookie name=data 【参考】 (HTTP)发送cookie数据到HTTP服务器，数据格式为：“NAME1=VALUE1; NAME2=VALUE2”； 如果行中没有“=”，将把参数值当作cookie文件名； 这个cookie数据可以是由服务器的http响应头“Set-Cookie:”行发送过来的；
-c filename --cookie-jar file name 【参考】 (HTTP)完成操作后将服务器返回的cookies保存到指定的文件； 指定参数值为“-”将定向到标准输出“如控制台”；
-j --junk-session-cookies (HTTP)告诉curl放弃所有的"session cookies"； 相当于重启浏览器；
代理 -x host:port -x [protocol://[user:pwd@]host[:port] --proxy [protocol://[user:pwd@]host[:port] 【参考】 使用HTTP代理访问；如果未指定端口，默认使用8080端口; protocol默认为http_proxy，其他可能的值包括： http_proxy、HTTPS_PROXY、socks4、socks4a、socks5； 如： --proxy 8.8.8.8:8080； -x “http_proxy://aiezu:[email protected]:80”
-p --proxytunnel 将“-x”参数的代理，作为通道的方式去代理非HTTP协议，如ftp；
–socks4 --socks4a --socks5 【参考】 使用SOCKS4代理； 使用SOCKS4A代理； 使用SOCKS5代理； 此参数会覆盖“-x”参数；
–proxy-anyauth --proxy-basic --proxy-diges --proxy-negotiate --proxy-ntlm http代理认证方式，参考： --anyauth --basic --diges --negotiate --ntlm
-U user:password --proxy-user user:password 设置代理的用户名和密码；
数据 传输 -G --get 【参考】 如果使用了此参数，“-d/”、“–data”、“–data-binary”参数设置的数据，讲附加在url上，以GET的方式请求；
-d @file -d “string” --data “string” --data-ascii “string” --data-binary “string” --data-urlencode “string” 【参考】 (HTTP)使用HTTP POST方式发送“key/value对”数据，相当于浏览器表单属性（method=“POST”，enctype=“application/x-www-form-urlencoded”） 　　-d，–data：HTTP方式POST数据； 　　--data-ascii：HTTP方式POST ascii数据； 　　--data-binary：HTTP方式POST二进制数据； 　　--data-urlencode：HTTP方式POST数据（进行urlencode）； 如果数据以“@”开头，后紧跟一个文件，将post文件内的内容；
-F name=@file -F name= (HTTP)使用HTTP POST方式发送类似“表单字段”的多类型数据，相当于同时设置浏览器表单属性（method=“POST”，enctype=“multipart/form-data”），可以使用此参数上传二进制文件。 如果字段内容以“@”开头，剩下的部分应该是文件名，curl将会上传此文件，如： curl -F “[email protected]” http://aiezu.com； curl -F “[email protected];type=text/html” http://aiezu.com curl -F “page=@/tmp/a;filename=a.txt” http://aiezu.com 如果字段内容以“<”开头，剩下的部分应该是文件名，curl将从文件中获取作为此字段的值，如：curl -F “text=
–form-string (HTTP)类似于“–form”，但是“@”、“<”无特殊含义；
-T file --upload-file file 通过“put”的方式将文件传输到远程网址； 选项参数只使用字符"-"，将通过stdin读入文件内容； 如： cat test.txtcurl “http://aiezu.com/a.php” -T - curl “http://aiezu.com/a.php” -T -
断点 续传 -C --continue-at 断点续转，从文件头的指定位置开始继续下载/上传； offset续传开始的位置，如果offset值为“-”，curl会自动从文件中识别起始位置开始传输；
-r --range (HTTP/FTP/SFTP/FILE) 只传输内容的指定部分： 0-499：最前面500字节； -500：最后面500字节； 9500-：最前面9500字节； 0-0,-1：最前面和最后面的1字节； 100-199,500-599：两个100字节；
认证 –basic (HTTP)告诉curl使用HTTP Basic authentication（HTTP协议时），这是默认认证方式；
–ntlm (HTTP)使用NTLM身份验证方式，用于HTTP协议； 一般用于IIS使用NTLM的网站；
–digest (HTTP)使用HTTP Digest authentication加密，用于HTTP协议； 配合“-u/–user”选项，防止密码使用明文方式发送；
–negotiate (HTTP)使用GSS-Negotiate authentication方式，用于HTTP协议； 它主要目的是为它的主要目的是为kerberos5认证提供支持支持；
–anyauth –anyauth (HTTP)告诉curl自动选择合适的身份认证方法，并选用最安全的方式；
-u user:password --user user:password 使用用户名、密码认证，此参数会覆盖“-n”、“–netrc”和“–netrc-optional”选项； 如果你只提供用户名，curl将要求你输入密码； 如果你使用“SSPI”开启的curl库做“NTLM”认证，可以使用不含用户名密码的“-u:”选项，强制curl使用当前登录的用户名密码进行认证； 此参数相当于设置http头“Authorization：”；
证书 -E <证书[:密码]> --cert <证书[:密码]> (SSL)指定“PEM”格式的证书文件和证书密码；
–cert-type (SSL)告诉curl所提供证书的类型：PEM、DER、ENG等； 默认为“PEM”；
–cacert (SSL)告诉curl所以指定的CA证书文件，必须是“PEM”格式；
–capath (SSL)告诉curl所以指定目录下的CA证书用来验证； 这些证书必须是“PEM”格式；
–crlfile (HTTPS/FTPS)提供一个PEM格式的文件，用于指定被吊销的证书列表；
-k --insecure (SSL)设置此选项将允许使用无证书的不安全SSL进行连接和传输。
SSL 其他 –ciphers (SSL)指定SSL要使用的加密方式；如：“aes_256_sha_256”；
–engine 设置一个OpenSSL加密引擎用于加密操作； 使用“curl --engine list”查看支持的加密引擎列表；
–random-file (SSL)指定包含随机数据的文件路径名；数据是用来为SSL连接产生随机种子为；
–egd-file (SSL)为随机种子生成器EGD(Entropy Gathering Daemon socket)指定的路径名；
-1/–tlsv1 --tlsv1.0 --tlsv1.1 --tlsv1.2 -2/–sslv2 -3/–sslv3 (SSL)使用TLS版本2与远程服务器通讯； (SSL)使用TLS 1.0版本与远程服务器通讯； (SSL)使用TLS 1.1版本与远程服务器通讯； (SSL)使用TLS 1.2版本与远程服务器通讯； (SSL)使用SSL版本2与远程服务器通讯； (SSL)使用SSL版本3与远程服务器通讯；
私钥 公钥 –key (SSL/SSH)指定一个私钥文件名；为指定时自动尝试使用下面文件：“/.ssh/id_rsa”、“/.ssh/id_dsa”、“./id_rsa’”、 “./id_dsa”；
–key-type (SSL)指定私钥文件类型，支持：DER、PEM、ENG，默认是PEM；
–pass (SSL/SSH)指定私钥文件的密码；
–pubkey (SSH)使用指定文件提供的您公钥；
FTP -P --ftp-port <接口> (FTP)FTP主动模式时，设置一个地址等待服务器的连接，如： 网卡：eth1 IP：8.8.8.8 主机名：aiezu.com 可以加端口号：eth1:20000-21000;
–crlf (FTP)上传时将换行符(LF)转换为回车换行(CRLF)；
–ftp-account [data] (FTP)ftp帐号信息；
–ftp-method [method] (FTP)可选值：multicwd/nocwd/singlecwd；
–ftp-pasv (FTP)使用使用PASV(被动)/EPSV模式；
–ftp-skip-pasv-ip (FTP)使用PASV的时,跳过指定IP；
–ftp-create-dirs (FTP)上传时自动创建远程目录；
-l --list-only (FTP)列出ftp文件列表；
-B --use-ascii (FTP/LDAP)使用Ascii传输模式，用于FTP、LDAP；在ftp中相当与使用了“type=A;”模式。
–disable-epsv (FTP)告诉curl在PASV(被动模式)时不要使用EPSV；
–disable-eprt (FTP)告诉curl在主动模式时禁用EPRT和LPRT；
限速 –limit-rate 限制curl使用的最大带宽；如果未指定单位，默认单位为“bytes/秒”，你也可以指定单位为“K”、“M”、“G”等单位，如：“–limit-rate 1m”为限制最大使用带宽为“1m字节/秒”；
-y --speed-time If a download is slower than speed-limit bytes per second during a speed-time period, the download gets aborted. If speed-time is used, the default speed-limit will be 1 unless set with -Y. This option controls transfers and thus will not affect slow connects etc. If this is a concern for you, try the --connect-timeout option.
-Y --speed-limit If a download is slower than this given speed (in bytes per second) for speed-time seconds it gets aborted. speed-time is set with -y and is 30 if not set.
其他 选项 -0/–http1.0 (HTTP) 强制curl使用HTTP 1.0而不是使用默认的HTTP 1.1；
–interface 使用指定的网卡接口访问； curl --interface eth0 http://aiezu.com curl --interface 10.0.0.101 http://aiezu.com
-X --request （HTTP）指定与服务器通信使用的请求方法，如：GET、PUT、POST、DELETE等，默认GET；
–keepalive-time 设置keepalive时间
–no-keepalive 关闭keepalive功能；
–no-buffer 禁用对输出流缓冲；
–buffer 启用输出流缓冲；
-L --location (HTTP/HTTPS)追随http响应头“Location：”定向到跳转后的页面； (在http响应码为3XX时使用，如301跳转、302跳转)
–location-trusted (HTTP/HTTPS)同“–location”，但跳转后会发送跳转前的用户名和密码；
–compressed (HTTP)请求对返回内容使用压缩算法进行压缩；curl支持对gzip压缩进行解压；
–connect-timeout 指定最大连接超时，单位“秒”；
-m seconds --max-time seconds 限制整个curl操作的最长时间，单位为秒；
-s --silent 安静模式。不要显示进度表或错误消息；
-# --progress-bar 显示进度条；
错误 选项 -f --fail (HTTP)连接失败时（400以上错误）不返回默认错误页面，而是返回一个curl错误码“22”；
–retry --retry-delay --retry-max-time 失败重试次数； 重试间隔时间； 最大重试时间；
-S --show-error 安静模式下显示错误信息；
–stderr 错误信息保存文件；
输出 -o file --output file 将返回内容输出到文件。 如果是用过通配符获取多个url，可以使用“#”后跟“数字序号”，curl会自动将它替换对应的关键词，如： 　　curl “http://aiezu.com/{a,b}.txt” -o “#1.txt”; 　　将保存为：“a.txt”,“b.txt”; 　　curl “http://aiezu.com/{a,b}_[1-3].txt” -o “#1#2.txt”; 　　将保存为：a1.txt、a2.txt、a3.txt、b1.txt、b2.txt、b3.txt 　　如果要根据规则创建保存目录，参考：“–create-dirs” 指定“-”将定向到标准输出“如控制台”；
-O --remote-name 将返回内容输出到当前目录下，和url中文件名相同的文件中（不含目录）；
–create-dirs 与“-o”参数配合使用，创建必要的本地目录层次结构
-w --write-out format 操作完成后在返回信息尾部追加指定的内容；要追加的内容可以是一个字符串“string”、从文件中获取“@filename”、从标准输入中获取“@-” 格式参数中可以用%{variable_name} 方式使用响应信息的相关变量，如：%{content_type}、%{http_code}、%{local_ip}…，更多变量参考“man curl”获取； 格式参数可以使用“\n”、“\r”、“\t”等转义字符；
调试 –trace 转储所有传入和传出的数据到文件，包括描述信息； 使用“-”作为文件名将输出发送到标准输出。
–trace-ascii file 转储所有传入和传出的数据到文件，包括描述信息，只转储ASCII部分，更容易阅读； 使用“-”作为文件名将输出发送到标准输出。 这个选项会覆盖之前使用的-v、 --verbose、 --trace-ascii选项；
–trace-time 转储文件中添加时间信息；
-K --config 从配置文件中读取参数，参考：http://curl.haxx.se/docs/
-v --verbose 显示更详细的信息，调试时使用；
帮助 -M --manual 显示完整的帮助手册；
-h --help linux curl用法帮助；

curl -h 的完整参数解释：

-a/–append 上传文件时，附加到目标文件
–anyauth 可以使用“任何”身份验证方法
–basic 使用HTTP基本验证
-B/–use-ascii 使用ASCII文本传输
-d/–data HTTP POST方式传送数据
–data-ascii 以ascii的方式post数据
–data-binary 以二进制的方式post数据
–negotiate 使用HTTP身份验证
–digest 使用数字身份验证
–disable-eprt 禁止使用EPRT或LPRT
–disable-epsv 禁止使用EPSV
–egd-file 为随机数据(SSL)设置EGD socket路径
–tcp-nodelay 使用TCP_NODELAY选项
-E/–cert 客户端证书文件和密码 (SSL)
–cert-type 证书文件类型 (DER/PEM/ENG) (SSL)
–key 私钥文件名 (SSL)
–key-type 私钥文件类型 (DER/PEM/ENG) (SSL)
–pass 私钥密码 (SSL)
–engine 加密引擎使用 (SSL). “–engine list” for list
–cacert CA证书 (SSL)
–capath CA目 (made using c_rehash) to verify peer against (SSL)
–ciphers SSL密码
–compressed 要求返回是压缩的形势 (using deflate or gzip)
–connect-timeout 设置最大请求时间
–create-dirs 建立本地目录的目录层次结构
–crlf 上传是把LF转变成CRLF
–ftp-create-dirs 如果远程目录不存在，创建远程目录
–ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用
–ftp-pasv 使用 PASV/EPSV 代替端口
–ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址
–ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输
–ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输
-F/–form 模拟http表单提交数据
-form-string 模拟http表单提交数据
-g/–globoff 禁用网址序列和范围使用{}和[]
-G/–get 以get的方式来发送数据
-h/–help 帮助
-H/–header 自定义头信息传递给服务器
–ignore-content-length 忽略的HTTP头信息的长度
-i/–include 输出时包括protocol头信息
-I/–head 只显示文档信息
-j/–junk-session-cookies 读取文件时忽略session cookie
–interface 使用指定网络接口/地址
–krb4 使用指定安全级别的krb4
-k/–insecure 允许不使用证书到SSL站点
-K/–config 指定的配置文件读取
-l/–list-only 列出ftp目录下的文件名称
–limit-rate 设置传输速度
–local-port 强制使用本地端口号
-m/–max-time 设置最大传输时间
–max-redirs 设置最大读取的目录数
–max-filesize 设置最大下载的文件总量
-M/–manual 显示全手动
-n/–netrc 从netrc文件中读取用户名和密码
–netrc-optional 使用 .netrc 或者 URL来覆盖-n
–ntlm 使用 HTTP NTLM 身份验证
-N/–no-buffer 禁用缓冲输出
-p/–proxytunnel 使用HTTP代理
–proxy-anyauth 选择任一代理身份验证方法
–proxy-basic 在代理上使用基本身份验证
–proxy-digest 在代理上使用数字身份验证
–proxy-ntlm 在代理上使用ntlm身份验证
-P/–ftp-port
使用端口地址，而不是使用PASV
-Q/–quote 文件传输前，发送命令到服务器
–range-file 读取（SSL）的随机文件
-R/–remote-time 在本地生成文件时，保留远程文件时间
–retry 传输出现问题时，重试的次数
–retry-delay 传输出现问题时，设置重试间隔时间
–retry-max-time 传输出现问题时，设置最大重试时间
-S/–show-error 显示错误
–socks4 用socks4代理给定主机和端口
–socks5 用socks5代理给定主机和端口
-t/–telnet-option Telnet选项设置
–trace 对指定文件进行debug
–trace-ascii Like --跟踪但没有hex输出
–trace-time 跟踪/详细输出时，添加时间戳
–url Spet URL to work with
-U/–proxy-user 设置代理用户名和密码
-V/–version 显示版本信息
-X/–request 指定什么命令
-y/–speed-time 放弃限速所要的时间。默认为30
-Y/–speed-limit 停止传输速度的限制，速度时间’秒
-z/–time-cond 传送时间设置
-0/–http1.0 使用HTTP 1.0
-1/–tlsv1 使用TLSv1（SSL）
-2/–sslv2 使用SSLv2的（SSL）
-3/–sslv3 使用的SSLv3（SSL）
–3p-quote like -Q for the source URL for 3rd party transfer
–3p-url 使用url，进行第三方传送
–3p-user 使用用户名和密码，进行第三方传送
-4/–ipv4 使用IP4
-6/–ipv6 使用IP6

四、Linux curl命令退出码

下面是linux curl命令的错误代码和她们的相应的错误消息，可能会出现在恶劣的环境。

退出码 错误描述
1 Unsupported protocol. This build of curl has no support for this protocol.
2 Failed to initialize.
3 URL malformed. The syntax was not correct.
5 Couldn’t resolve proxy. The given proxy host could not be resolved.
6 Couldn’t resolve host. The given remote host was not resolved.
7 Failed to connect to host.
8 FTP weird server reply. The server sent data curl couldn’t parse.
9 FTP access denied. The server denied login or denied access to the particular resource or directory you wanted to reach. Most often you tried to change to a directory that doesn’t exist on the server.
11 FTP weird PASS reply. Curl couldn’t parse the reply sent to the PASS request.
13 FTP weird PASV reply, Curl couldn’t parse the reply sent to the PASV request.
14 FTP weird 227 format. Curl couldn’t parse the 227-line the server sent.
15 FTP can’t get host. Couldn’t resolve the host IP we got in the 227-line.
17 FTP couldn’t set binary. Couldn’t change transfer method to binary.
18 Partial file. Only a part of the file was transferred.
19 FTP couldn’t download/access the given file, the RETR (or similar) command failed.
21 FTP quote error. A quote command returned error from the server.
22 HTTP page not retrieved. The requested url was not found or returned another error with the HTTP error code being 400 or above. This return code only appears if -f/–fail is used.
23 Write error. Curl couldn’t write data to a local filesystem or similar.
25 FTP couldn’t STOR file. The server denied the STOR operation, used for FTP uploading.
26 Read error. Various reading problems.
27 Out of memory. A memory allocation request failed.
28 Operation timeout. The specified time-out period was reached according to the conditions.
30 FTP PORT failed. The PORT command failed. Not all FTP servers support the PORT command, try doing a transfer using PASV instead!
31 FTP couldn’t use REST. The REST command failed. This command is used for resumed FTP transfers.
33 HTTP range error. The range “command” didn’t work.
34 HTTP post error. Internal post-request generation error.
35 SSL connect error. The SSL handshaking failed.
36 FTP bad download resume. Couldn’t continue an earlier aborted download.
37 FILE couldn’t read file. Failed to open the file. Permissions?
38 LDAP cannot bind. LDAP bind operation failed.
39 LDAP search failed.
41 Function not found. A required LDAP function was not found.
42 Aborted by callback. An application told curl to abort the operation.
43 Internal error. A function was called with a bad parameter.
45 Interface error. A specified outgoing interface could not be used.
47 Too many redirects. When following redirects, curl hit the maximum amount.
48 Unknown TELNET option specified.
49 Malformed telnet option.
51 The peer’s SSL certificate or SSH MD5 fingerprint was not ok.
52 The server didn’t reply anything, which here is considered an error.
53 SSL crypto engine not found.
54 Cannot set SSL crypto engine as default.
55 Failed sending network data.
56 Failure in receiving network data.
58 Problem with the local certificate.
59 Couldn’t use specified SSL cipher.
60 Peer certificate cannot be authenticated with known CA certificates.
61 Unrecognized transfer encoding.
62 Invalid LDAP URL.
63 Maximum file size exceeded.
64 Requested FTP SSL level failed.
65 Sending the data requires a rewind that failed.
66 Failed to initialize SSL Engine.
67 The user name, password, or similar was not accepted and curl failed to log in.
68 File not found on TFTP server.
69 Permission problem on TFTP server.
70 Out of disk space on TFTP server.
71 Illegal TFTP operation.
72 Unknown TFTP transfer ID.
73 File already exists (TFTP).
74 No such user (TFTP).
75 Character conversion failed.
76 Character conversion functions required.
77 Problem with reading the SSL CA cert (path? access rights?).
78 The resource referenced in the URL does not exist.
79 An unspecified error occurred during the SSH session.
80 Failed to shut down the SSL connection.
82 Could not load CRL file, missing or wrong format (added in 7.19.0).
83 Issuer check failed (added in 7.19.0).
XX More error codes will appear here in future releases. The existing ones are meant to never change.

五、curl 下载功能

5.1、下载页面：

$ curl -o dodo1.jpg http:www.linux.com/dodo1.JPG
#要注意-O这里后面的url要具体到某个文件，不然抓不下来
$ curl -O http://www.linux.com/dodo1.JPG

5.2、循环下载

有时候下载图片可以能是前面的部分名称是一样的，就最后的尾椎名不一样。这样就会把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下来

$ curl -O http://www.linux.com/dodo[1-5].JPG

5.3、下载重命名

在hello/dodo1.JPG的文件下载下来就会变成hello_dodo1.JPG,其他文件依此类推，从而有效的避免了文件被覆盖

$ curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG

由于下载的hello与bb中的文件名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下载的会把第一次下载的覆盖，这样就需要对文件进行重命名。

$ curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG

5.4、分块下载(option：-r)

curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG
curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG
curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG
cat dodo1_part* > dodo1.JPG  #这样就可以查看dodo1.JPG的内容了

5.5、通过ftp下载文件(option：-u)

curl 可以通过ftp下载文件，curl提供两种从ftp中下载的语法

curl 可以通过ftp下载文件，curl提供两种从ftp中下载的语法
curl -O -u 用户名:密码 ftp://www.linux.com/dodo1.JPG
curl -O ftp://用户名:密码@www.linux.com/dodo1.JPG

5.6、下载，显示进度条(option：-#)或不显示进度条(option：-s)

curl -# -O http://www.linux.com/dodo1.JPG  
curl -s -O http://www.linux.com/dodo1.JPG

5.7、下载，断点续传(-C )

断点续转，从文件头的指定位置开始继续下载/上传；offset续传开始的位置，如果offset值为“-”，curl会自动从文件中识别起始位置开始传输；

curl -# -o centos6.8.iso -C - http://mirrors.aliyun.com/centos/6.8/isos/x86_64/CentOS-6.8-x86_64-minimal.iso
curl -C -O http://www.linux.com/dodo1.JPG

六、参考文档

1、https://docs.gitlab.com/ee/api/jobs.html

2、https://www.cnblogs.com/deny/p/15778324.html

3、https://blog.csdn.net/ths512/article/details/110917388

4、http://www.ruanyifeng.com/blog/2019/09/curl-reference.html

5、https://www.ruanyifeng.com/blog/2011/09/curl.html

你可能感兴趣的:(linux,&,shell,linux,运维,服务器,curl)

  • MHA+MYCAT 高可用架构 第九系艾文 linuxLinuxtools服务器数据库mycatmhalinux
    架构图如下：本次是4服务器架构如下环境：centos7.2x64mariadb10.4MHA5.7MyCat1.6.7IP规划IP功能10.1.41.166VIP10.1.41.167master,mycat,mha.node10.1.41.168slave(master),mha.node10.1.41.165slave,mycat,keepalived10.1.41.169slave,myca
  • Web渗透练习技巧N则（一） jintonghuoya Web搜索引擎WordPressJoomla
    简介对于我们的生活来说，web的重要性不言而喻，因为这个看起来简单的几个页面与我们的生活的联系越来越紧密，我们有更多的个人信息由其承载往来于服务器和我们的电脑之间，正因为如此，web的安全也变得越来越重要，越来越不能被我们忽视。作为一个网络安全的工作者/爱好者，研究web的安全性也变得越来越重要。那么，接下来的几篇文章，我将陆续给大家介（ban）绍（yun）一些国外的大牛的web渗透的奇技淫巧，当
  • (代码可运行)Bootstrap框架的HTML示例 程序员大侠 前端CSShtmlbootstrap前端
    Bootstrap：一套流行的前端开发框架，基于HTML、CSS和JavaScript，适用于快速构建响应式Web应用。以下是一个使用Bootstrap构建的简单响应式Web应用的HTML示例：BootstrapExampleHello,Bootstrap!CardtitleSomequickexampletexttobuildonthecardtitleandmakeupthebulkofthe
  • svn介绍（五）--创建版本库 小蘑菇二号 SVN
    目录1.创建本地版本库步骤1:创建版本库目录步骤2:初始化版本库2.创建远程版本库步骤1:登录到远程服务器步骤2:创建版本库目录步骤3:初始化版本库3.配置Apache服务器托管SVN版本库步骤1:安装必要的模块步骤2:配置Apache步骤3:创建用户密码文件步骤4:重启Apache服务器总结创建Subversion（SVN）版本库是使用SVN进行版本控制的第一步。以下是详细的步骤说明，包括如何创
  • 自学黑客（网络安全） 白袍无涯 web安全网络安全网络安全系统安全运维计算机网络
    前言：想自学网络安全（黑客技术）首先你得了解什么是网络安全！什么是黑客！网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟
  • mycat双主高可用架构部署-MySQL5.7环境部署第一台 龙哥·三年风水 MySQL5.7.36分布式高可用架构mysql分布式
    MySQL5.7服务器IP是192.168.31.209及192.168.31.2101、192.168.31.209:3307实例部署a、配置文件mkdir-p/data/mysql/mysql3307/{data,logs}#创建MySQL数据及日志目录vi/data/mysql/mysql3307/my3307.cnf#配置文件整理[client]#password=your_passwor
  • Linux：从入门到放弃 Monly21 Linuxlinux
    目录一、基础巩固Linux：常用命令二、实战应用Linux：CentOS7基础配置Linux：CentOS7安装MySQL三、常见问题Linux：yum源失效问题一、基础巩固Linux：常用命令二、实战应用Linux：CentOS7基础配置Linux：CentOS7安装MySQL三、常见问题Linux：yum源失效问题
  • 移动端测试 渔jy Android系统及应用androidlinux
    三种移动端产品类型介绍移动端应用的测试其自身特点，和其他传统测试又有一些独特的测试方法与思路。移动端应用又可以进一步细分为三大类：WebApp指的是移动端的Web浏览器，其实和PC端的Web浏览器没有任何区别，只不过Web浏览器所依附的操作系统不再是Windows和Linux了，而是iOS和Android了。WebApp采用的技术主要是，传统的HTML、JavaScript、CSS等Web技术栈，
  • java class .method_java Class Method类的使用 weixin_39620629 javaclass.method
    packagesample;/**Tochangethistemplate,chooseTools|Templates*andopenthetemplateintheeditor.*/importjava.lang.reflect.Constructor;importjava.lang.reflect.InvocationTargetException;importjava.lang.reflec
  • 网页显示无法解析服务器DNS地址,打开windows7系统下网页提示无法解析服务器的DNS地址怎么办... 含老司开挖掘机
    有使用windows7系统的用户表示，在使用电脑的过程中，打开网页时提示错误：“无法解析服务器的DNS地址”的情况，最后导致网页无法打开，这是怎么回事呢?对于这样的问题我们又该怎么解决呢?以下是详细的操作步骤。方法一：1、点击开始菜单，点击“控制面板”;2、在控制面板中将查看方式修改为“类别”;3、然后点击“更改适配器设置”;4、在我们正在使用的本地连接上单击右键，选择“属性”;5、在“本地连接属
  • 程序员技术练级攻略 bo o ya ka 操作系统设计模式python
    转自：http://coolshell.cn/articles/4990.html前言你是否觉得自己从学校毕业的时候只做过小玩具一样的程序？走入职场后哪怕没有什么经验也可以把以下这些课外练习走一遍（朋友的抱怨：学校课程总是从理论出发，作业项目都看不出有什么实际作用，不如从工作中的需求出发）建议：不要乱买书，不要乱追新技术新名词，基础的东西经过很长时间积累而且还会在未来至少10年通用。回顾一下历史，
  • C# WinForm实现WebService接口进行图片上传下载 诡道荒行
    本文还有配套的精品资源，点击获取简介：本文深入介绍了在C#WinForm应用程序中使用WebService接口连接服务器，实现图片的上传和下载功能。通过理解WebService基础，利用WinForm工具创建用户界面，并实现客户端与WebService的连接，我们详细探讨了图片上传与下载的具体步骤，包括文件选择、数据转换、接口调用，以及异常处理和进度显示。同时，还强调了安全性与性能优化的重要性，确
  • linux系统下PostgreSQL的使用 敲代码的雪糕 linuxlinuxpostgresql运维
    文章目录前言一、安装pgsql数据库二、安装c和c++驱动三、使用1、头文件2、源文件3、main文件4、编译前言最近工作中使用到了pgsql,主要是使用其c++驱动完成数据库创建及增删改查等操作…一、安装pgsql数据库使用命令如下:sudoapt-getinstallpostgresql安装完成,使用如下命令,确认数据库版本:psql--version二、安装c和c++驱动使用如下命令安装c驱
  • maven工程使用sonar tommyhxh
    maven项目配置maven的setting.xml文件Maven插件会自动把所需数据（如单元测试结果、静态检测结果等）上传到Sonar服务器上，Sonar的配置并不在每个工程的pom.xml文件里，而是在Maven的配置文件settings.xml里。在标签添加：sonartruejdbc:mysql://10.16.8.96:3306/sonar?useUnicode=true&cha
  • 学习小组Day3笔记--安之若素 安之若素_9e53
    Conda的安装与初步使用Conda是Linux环境下的软件安装与管理工具相当于应用商店，日常生信使用miniconda即可miniconda的下载与安装从清华镜像下载miniconda3安装包wgethttps://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh安装minicond
  • Spring Boot详解 GG编程 springboot数据库mysql
    1.基本概念：SpringBoot是一个用于简化Spring应用开发的框架。它通过提供预配置的环境和一组开箱即用的功能，帮助开发人员快速构建和部署基于Spring的应用程序。2.特点：(1).简化配置:SpringBoot提供了一系列的默认配置，简化了XML和注解的配置，极大地降低了初学者的学习成本。(2).内嵌服务器:提供了Tomcat、Jetty和Undertow等内嵌式服务器，不需要手动安装
  • 用MobaXterm工具的Linux远程SSH登录 昵称什么的不存在 linuxssh服务器
    去官网下载MobaXtermXserverwithSSH,telnet,RDP,VNCandX11-HomeEdition(mobatek.net)
  • 从管控角度谈慢SQL治理 egzosn sql数据库服务器oracle运维
    一、什么是慢SQL慢SQL是指那些执行效率低下、响应时间长，导致用户等待时间变长和服务器资源利用率下降的SQL查询。那么，如何定义一个SQL查询是"慢"的呢？这不是一个绝对时间的问题，而是需要从多维度考量。时间维度最常见的定义慢SQL的方法是时间阈值。这个阈值可以根据不同的系统和性能要求设置。例如，一个查询如果在网页应用中执行时间超过2秒，或在数据分析系统中执行超过30秒，就可以被认为是慢的。业务
  • 《Nginx 负载均衡详解》 陈在天box nginx负载均衡运维
    一、引言在当今互联网时代，随着业务的不断发展和用户量的持续增长，单一服务器往往难以满足高并发的访问需求。为了提高系统的可用性、可靠性和性能，负载均衡技术应运而生。Nginx作为一款高性能的Web服务器和反向代理服务器，提供了强大的负载均衡功能。本文将深入探讨Nginx负载均衡的原理、配置方法、算法以及实际应用中的注意事项，帮助读者更好地理解和运用Nginx负载均衡技术。二、负载均衡概述（一）负载均
  • Linux常用命令大全，一篇搞定 2301_79098686 作者\/linuxpython服务器
    :setnu#去除行号:setnonu#检索/xxx(检索内容)#从头检索,按n查找下一个?xxx(检索内容)#从尾部检索打开只读文件,修改后需要保存时(不用切换用户即可保存的方式)#在normal模式下:w!sudotee%查看磁盘,文件目录基本信息#查看磁盘挂载情况mount#查看磁盘分区信息df#查看目录及子目录大小du-H-h#查看当前目录下各个文件,文件夹占了多少空间,不会递归du-sh
  • HTML 文本标签 一壶浊酒.. 前端开发html前端
    一个静态页面绝大部分都是由文字、图片、超链接、音频、视频组成。动态页面和静态页面的区别在于：是否与服务器进行数据交互标题标签这是一级标题这是二级标题这是三级标题这是四级标题这是五级标题这是六级标题web前端开发床前明月光，疑是地上霜。举头望明月，低头思故乡这是普通文本这是粗体文本这是粗体文本斜体文本斜体文本斜体文本--->(a+b)2=a2+b2+2abH2SO4是指硫酸分子水果原价：6元现在：5
  • 掌握Go语言邮件发送：net/smtp实用教程与最佳实践 walkskyer golang标准库golanggithub开发语言
    掌握Go语言邮件发送：net/smtp实用教程与最佳实践概述基本配置与初始化导入`net/smtp`包设置SMTP服务器基本信息创建SMTP客户端实例身份验证发送简单文本邮件配置发件人信息构建邮件头部信息编写邮件正文使用`SendMail`方法发送邮件示例代码发送带附件的邮件邮件多部分格式简介构建带有附件的邮件体使用`SendMail`方法发送邮件发送HTML格式的邮件HTML邮件的优势和应用场景
  • 【软考】希尔排序算法分析 王佑辉 软考算法算法软考
    目录1.c代码2.运行截图3.运行解析1.c代码#include#includevoidshellSort(intdata[],intn){//划分的数组，例如8个数则为[4,2,1]int*delta;intk;//i控制delta的轮次inti;//临时变量，换值inttemp;intdk;intj;k=n;delta=(int*)malloc(sizeof(int)*(n/2));i=0;d
  • Linux防火墙，常用的三个命令 风雪山神喵
    https://blog.csdn.net/weixin_38492591/article/details/78474310关闭某个端口的防火墙firewall-cmd--zone=public--add-port=80/tcp--permanent重启防火墙，让关闭防火墙的操作生效firewall-cmd--reload查看防火墙列表信息firewall-cmd--list-all
  • 在Docker容器中部署Flask应用：一步步的实践指南 2401_85743969 算法dnn学习
    引言Docker是一种流行的容器化技术，它允许开发者将应用及其依赖打包到一个轻量级、可移植的容器中。Flask是一个用Python编写的轻量级Web应用框架。Gunicorn是一个PythonWSGIHTTP服务器，用于生产环境。本文将详细介绍如何在Docker容器中运行Flask应用，包括使用Gunicorn作为服务器。Docker容器化的优势环境一致性：确保应用在不同环境中的一致性。开发与生产
  • linux-性能优化命令 码农小伙 Linuxlinux性能优化服务器
    top我们先来说说top命令用法，这个命令对于我们监控linux性能是至关重要的，我们先来看看展示结果。top-15:20:23up10min,2users,loadaverage:0.39,0.53,0.35Tasks:217total,1running,216sleeping,0stopped,0zombie%Cpu(s):0.0us,0.0sy,0.0ni,100.0id,0.0wa,0.0
  • MySQL 日期函数语法介绍和案例示范以及常见问题解决 J老熊 MySQL实战秘籍mysql数据库面试系统架构
    本文将以电商交易系统为例，详细讲解MySQL日期类型及其转化，常用的日期函数，以及一些解决常见问题的方案。一、MySQL日期数据类型MySQL提供了多种日期数据类型，适用于不同的使用场景。常见的日期类型包括DATE、DATETIME、TIMESTAMP、TIME和YEAR。DATE：只存储日期，不包含时间部分，格式为'YYYY-MM-DD'。例如，订单生成日期或用户注册日期。DATETIME：包含
  • 2024年最值得买的7款阿里云服务器推荐，价格便宜又好用 阿里云最新优惠和活动汇总
    随着云计算技术的日益成熟，越来越多的企业和个人开始选择云服务器作为自己的IT基础设施。在众多云服务提供商中，阿里云是很多个人和企业用户的首选云服务商。2024年，阿里云又推出了几款性价比超高的云服务器，不仅价格便宜，而且性能卓越，非常适合个人和普通企业用户购买。下面，就让我们一起来看看这7款值得入手的阿里云服务器吧！一、轻量应用服务器——入门之选，性价比超高对于初学者和小型应用来说，轻量应用服务器
  • 【python】最新版小红书js逆向拿到数据，非常详细教程（附完整代码） 景天科技苑 爬虫副业实战零基础进阶教学pythonjs逆向小红书逆向python爬虫
    ✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，前后端开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，linux，shell脚本等实操经验，网站搭
  • SonarQube扫码Android代码 Mac Zhu android
    1.安装SonarQube服务器（也可以配置公司的服务器地址）首先，你需要在本地或服务器上安装并运行SonarQube服务器：下载SonarQube：从SonarQube官方网站下载适合你操作系统的版本。解压并配置SonarQube：按照官方文档中的说明，配置sonar.properties文件，设置数据库连接等。启动SonarQube：在命令行中运行./bin//sonar.shstart（适用
  • 插入表主键冲突做更新 a-john
    有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sql语
  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
    一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello"   2.引用系统资源。格式：@android:type/name     android:textColor="@android:color/opaque_red"
  • 数据结构的基本介绍 天子之骄 数据结构散列表树、图线性结构价格标签
    数据结构的基本介绍 数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。   经典的数据结构大致如下：   一：线性数据结构 (1)：列表 a
  • 通过二维码开放平台的API快速生成二维码 一炮送你回车库 api
     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。        html代码如下:(二维码将生成在这div下) ? 1  &nbs
  • ImageIO读取一张图片改变大小 3213213333332132 javaIOimageBufferedImage
    package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
  • myeclipse集成svn（一针见血） 7454103 eclipseSVNMyEclipse
                                     &n
  • 装箱与拆箱----autoboxing和unboxing darkranger J2SE
    4.2　自动装箱和拆箱 基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
  • ajax传统的方式制作ajax aijuans Ajax
    //这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
  • 只用jre的eclipse是怎么编译java源文件的？ avords javaeclipsejdktomcat
    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
  • 前端模块化 bee1314 模块化
    背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
  • 处理百万级以上的数据处理 bijian1013 oraclesql数据库大数据查询
    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。         2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
  • mac 卸载 java 1.7 或更高版本 征客丶 javaOS
    卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析   本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
  • Erlang vs TNSDL bookjovi erlang
          TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 相关新闻： （1）IT行业成五大疾病重灾区：过劳死平均37.9岁
  • 读《研磨设计模式》-代码笔记-原型模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
  • 配置管理---svn工具之权限配置 chenyu19891124 SVN
    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos    component    webapps 在conf里面的auth里赋予的权限配置为 [groups]
  • 浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
                                     浅谈程序员的数学修养
  • 批量执行 bulk collect与forall用法 daizj oraclesqlbulk collectforall
    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。     有关FORALL语句的用法请参考：批量SQL之 F
  • Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
    1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
  • Yii CModel中rules验证规格 dcj3sjt126com rulesyiivalidate
    Yii cValidator主要用法分析：  yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError  
  • 基于vagrant的redis主从实验 dcj3sjt126com vagrant
    平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从   实现思路 制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box   制作sentos6.5+redis的box   mkdir vagrant_redis cd vagrant_
  • Memcached(二)、Centos安装Memcached服务器 frank1234 centosmemcached
    一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]： 建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
  • Remove Duplicates from Sorted List hcx2013 remove
    Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
  • Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • 浅谈enum与单例设计模式 247687009 java单例
    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构 造器，导出静态成员变量，以便调用者访问。 第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
  • 使用switch条件语句需要注意的几点 openwrt cbreakswitch
    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
  • 配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 springmybatisJUnit
    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串 解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 第二个问题的具体实例是：    
  • Java 定时任务总结一 tuoni javaspringtimerquartztimertask
     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank相似度计算文本相似度词袋模型余弦相似度
    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。   最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：     1、注册多个账号（一般10个以上）。     2、从多个账号中选择一个账号，发表1-2篇博文
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他