Linux工具集合之aria2-axel-curl-wget用法

分类：安全工具, 系统基础篇 | 发表于 2015年5月17日 星期日 下午5:16

发表评论

================ axel 支持续下载多线程============

Axel，是 Linux 下一款不错的 HTTP 或 FTP 高速下载工具。支持多线程下载、断点续传，且可以从多个地址或者从一个地址的多个连接来下载同一个文件，适合网速不给力时多线程下载以提高下载速度。需要注意的是，该软件只有命令行界面。

1，下载地址：http://yunpan.cn/cjIydRLZcUxVX  访问密码 8ab7

也可以根据自己系统版本去官网下：http://pkgs.repoforge.org/axel/,

2，安装：

1）yum安装：

#wget -c http://pkgs.repoforge.org/axel/axel-2.4-1.el6.rf.x86_64.rpm

#rpm  -ivh  axel-2.4-1.el6.rf.x86_64.rpm

2）源码安装

[root@local local] tar xzf axel-2.4.tar.gz

[root@local axel-2.4]# ./configure  --script=0

[root@local axel-2.4]#make

[root@local axel-2.4]# cp axel /bin/ 复制到bin 

[root@local /]# axel -n 3 -o /root http://192.168.1.1/ CentOS-5.11-i386-bin-DVD-1of2.iso测试下载

3，常用参数：

-n   指定线程数

-o   指定另存为目录

-s   指定每秒的最大比特数

-q   静默模式

更多参数请#axel --help

=================== Aria2下载工具==================

Aria2是一个命令行下运行、多协议、多来源下载工具（HTTP/HTTPS、FTP、BitTorrent、Metalink），内建 XML-RPC 用户界面.轻量，平均4-9MB内存使用量，BitTorrent下载速度2.8MiB/s时CPU占用约6%。 全面的BitTorrent特性支持，包括 DHT, PEX, Encryption, Magnet URI, Web-Seeding，选择下载，本地资源探测。 Mtalink支持。包括File verification, HTTP/FTP/BitTorrent integration and Configuration for language, location, OS, 之类。

1，下载地址：http://pkgs.repoforge.org/aria2/

#wget -c http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm

#rpm -ivh aria2-1.16.4-1.el6.rf.x86_64.rpm

在安装过程有可能会出现缺少 libnettle.so.4 的错误提示。

2，CentOS 6.x 64 位下安装

#wget -c http://pkgs.repoforge.org/nettle/nettle-2.2-1.el6.rf.x86_64.rpm

#wget -c http://pkgs.repoforge.org/nettle/nettle-devel-2.2-1.el6.rf.x86_64.rpm

#rpm -ivh nettle-2.2-1.el6.rf.x86_64.rpm

#rpm -ivh nettle-devel-2.2-1.el6.rf.x86_64.rpm

3，用法：

直接

# aria2c http://example.org/mylinux.iso

从两个来源（更多也可以）

# aria2c http://a/f.iso ftp://b/f.iso

BitTorrent

#aria2c http://example.org/mylinux.torrent

BitTorrent Magnet URI

#aria2c 'magnet:?xt=urn:btih:248D0A1CD08284299DE78D5C1ED359BB46717D8C'

Metalink

# aria2c http://example.org/mylinux.metalink

文本文件uri.text中的链接(URI)

# aria2c -i uri.txt

显示种子中包含了哪些文件

# aria2c -S bit.torrent

选择仅下载种子中编号为1，4，7的文件 $ aria2c --select-file 1,4,7 bit.terrent

aria2还有web ui工具：具体参考https://github.com/ziahamza/webui-aria2

 

====================curl文件传输工具==================

它的参数众多，此处例句几个常用的参数：

常用参数如下：

-c，--cookie-jar：将cookie写入到文件

-b，--cookie：从文件中读取cookie

-C，--continue-at：断点续传

-d，--data：http post方式传送数据

-D，--dump-header：把header信息写入到文件

-F，--from：模拟http表达提交数据

-s，--slient：减少输出信息

-o，--output：将信息输出到文件

-O，--remote-name：按照服务器上的文件名，存在本地

--l，--head：仅返回头部信息

-u，--user[user:pass]：设置http认证用户和密码

-T，--upload-file：上传文件

-e，--referer：指定引用地址

-x，--proxy：指定代理服务器地址和端口

-w，--write-out：输出指定格式内容

--retry：重试次数

--connect-timeout：指定尝试连接的最大时间/s

案例：

1,抓取指定页面的文件，若乱码可以使用iconv转码

# curl -o  qq.html  www.qq.comcurl

# curl -s -o  qq.html www.qq.com | iconv -f utf-8

2，伪装浏览器头（user-agent）

# curl -A  "Mozilla/3.0 (compatible;msie 6.0;windows NT5.0)"  www.qq.com

3，获取http的相应头header

# curl   -I www.qq.com

# curl   -D ./header.txt  www.qq.com 将headers保存到文件中

更多参数请#curl --help

==================wget文件下载工具====================

常用的参数如下：

1，启动参数：

-V：--version 显示版本号

-h： --help显示帮助

-b：--background启动后转入后台执行

2，日志记录和输入文件参数

-o：--output-file-file把记录写到file文件中

-a：--apped-output=file把记录追加到file文件中

-i：--input-file=file从file读取url来下载

3，下载参数：

-bind-address=address：指定本地使用的地址

-t：-tries=munber设置最大尝试连接次数

-c：-continue接着下载没有 下载完的文件

-O：-output-document=file将下载的文件写入到file中

-spider：不下载文件

-T：-timeout=sec 设置相应超时时间

-w：-wait=sec 两次尝试之间间隔时间

--limit-rate=rate：显示下载速率

-progress=type：设置进度条

4，目录参数：

-P：--directory-prefix=prefix将文件保存到指定目录

5，http参数

--http-user=user 设置用户

--http-passwd=pass设置密码

-U：--user-agnet=agent 伪装代理

-no-http-keep-alive：关闭http活动链接，变成永久链接

--cookie=off 不实用cookie

-load-cookie-file：在开始回话前从file文件加载cookie

-save-cookies=file：在会话结束后将cookie保存到file文件

6，ftp参数

-passive-ftp：默认值，使用被动模式

-active-ftp：使用主动模式

7，递归下载排除参数

-A：--accept=list分号分割被下载扩展的列表
-R：--reject=list 分号分割不被下载扩展的列表

-D：--domains=list 分号分割被下载域的列表

--exclude-domains=list：分号分割不被下载域的列表

案例：

1）下载单个文件到当前目录，也可以-P指定到下载目录

# wget  http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm

2）对于网络不稳定的用户可以使用-c和--tries参数，保证下载完成

# wget -c --tries=20  http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm

3）下载大文件时候，可以让后台下载，这时候会生成wget-log文件保存下载进度

# wget -b http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm

4）可以利用-spider参数判断网址是否有效

# wget --spider http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm

5）自动从多个链接下载文件

首先创建一个url文件：

#more url.txt

http://pkgs.repoforge.org/nettle/nettle-2.2-1.el6.rf.x86_64.rpm http://pkgs.repoforge.org/nettle/nettle-devel-2.2-1.el6.rf.x86_64.rpm

#wget -I url.txt

6）限制下载速度

#wget --limit-rate=1m http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm

7）登录ftp下载

#wget --ftp-user=user --ftp-password=pass ftp://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm

转自：http://www.mrliangqi.com/564.html