wget

最近工作中需要下载ftp服务器上的文件，本来是想写脚本的，后来发现wget命令的强大之处，在此进行记录。

1. wget

wget：名字是“World Wide Web”和“Get”的结合，目前支持通过HTTP、HTTPS，以及FTP这三个最常见的TCP/IP协议下载

2. 参数

-h : --help, 显示帮助信息

• -c : --continue 断点续传
  --progress=TYPE : 选择进度条类型
• -t: --tries=NUMBER 设置重复次数(0 代表无限制)
  --retry-connrefused : 即使拒绝连接也重试
• -r : 递归下载服务器上所有的目录和文件，实质就是下载整个网站
• -l : --level=NUMBER， 递归最大深度， 如只下载两层 -l 2
• -N : 只下载比本地新的文件
• -nc : --no-clobber 不要覆盖已经存在的文件
• -k : --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件。
• -K : --backup-converted 在转换文件 X 前先将它备份为 X.orig。
• -m : --mirror -N -r -l inf --no-remove-listing 的缩写形式。
• -p : --page-requisites 下载所有用于显示 HTML 页面的图片之类的元素。
  --strict-comments 开启 HTML 注释的精确处理(SGML)。
• -A : --accept=LIST, 指定可接受的扩展名列表，逗号分隔，如 -A .gz,.xml
• -R : --reject=LIST, 指定要拒绝的扩展名列表，逗号分隔
• -D : –domains=LIST : 可以接受的域名，逗号分隔
  --exclude-domains=LIST : 拒绝的域名，逗号分隔
• -L : –relative 下载关联链接
  -follow-ftp 只下载FTP链接
• -H: –span-hosts, 可以下载外面的主机
• -I : –include-directories=LIST, 允许的目录
• -X : –exclude-directories=LIST, 拒绝的目录
• --ftp-user='user' : 设置 ftp 用户名为 user
• --ftp-password='123' : 设置 ftp 密码为 123
• --no-remove-listing : 不要删除‘.listing’文件。
• --no-glob : 不在 FTP 文件名中使用通配符展开。
• --no-passive-ftp : 禁用“passive”传输模式。
• --retr-symlinks : 递归目录时，获取链接的文件(而非目录)
• -http-user=USER : 设置HTTP用户
• -http-passwd=PASS : 设置HTTP密码
• -proxy-user=USER : 设置代理用户
• -proxy-passwd=PASS : 设置代理密码

3. 个人使用到的

wget ftp://xxxx --ftp-user='anonymous' --ftp-password='' -r -c -N --accept=.pdf
匿名用户登录ftp服务器，user:'anonymous', password:''