curl wget lynx

wget
    wget url
    wget url1 url2 url3
    wget url -O outname.jpg -o wget.log #-O指定下载后的文件名，-o指定默认显示在stdout下载信息和进度到文件。
    wget -t 5 url #网络连接中断重试5次。
    wget --limit-rate 20k url
    wget --limit-rate 20m url #下载限速
    wget --quota 100m url1 url2 #限制本次下载的所有文件磁盘使用量。
    wget --Q 100m url1 url2 #限制本次下载的所有文件磁盘使用量。
    wc -c url #断点续传，从断点开始下载。
    wget --mirror test.com #镜像网站，像爬虫一样以递归方式收集网页上所有的URL链接，或才下面这种方式
    wget -r -N -l DEPTH URL #-l指定页面层级DEPTH，该选项要和-r（递归）同时使用，-N对使用时间戳。
    wget --user name --password password URL #访问需要认证的HTTP或FTP页面
    wget --user name --ask-password URL #不直接指定，由网页提示，手动输入密码。

curl
    curl http://test.com > index.html #curl默认把下载内容写入到stdout,所以必须使用重定向。不用指定到具体文件
    curl http://test.com/index.php -O --silent #不写入到stdout，使用默认解析出的文件名，需要指定首页文件;--silent(或-s)不显示进度。
    curl http://test.com/index.php -o newname --progress #不写入到stdout，自定义下载后的文件名,--progress #显示"#"进度条
    curl -C - http://test.com/1.zip -O #断点续传,必须指定原保存文件名的任务。
    curl --referer Referer_URL target_URL #手动指定 参照页。Regerer_URL会原样存在于目的站点的日志中。
    curl URL --limit-rate 20k #限速
    curl URL --limit-rate 20m #限速
    curl URL --max-filesize bytes #指定最大下载量，超出限制返回非0退出码，未超出返回0。
    curl -u username:password URL #同时指定用户名和密码
    curl -u username URL #只指定用户名，手动输入密码
    curl -I http://bd1.php.net/distributions/php-5.3.26.tar.bz2 #只打印头部信息，可能过Content-Length查看文件大小（单位：B）

lynx
    lynx -dump URL > a.txt #将所有的超链接显示在输出文件的References标题下。
    lynx -traversal http://domain.com #递归访问网站页面并生成所有超链接列表。