13 shell命令之下载
这个标题我不知道是否合理.因为我接下来要说的,并不全是现在工具.闲言少叙.
首先是linux下三个相关的命令wget curl lynx
接下来分别介绍一下使用.
1. wget
wget是一个文件下载命令.可以用来下载网页或者图片等.用法如下:
wget [option] url1 url2...
根据url的不他能够,wget下载的文件也是不同的.如果是纯文本的网页,那么wget下载的也是一个html后缀的文件.
option主要有:
-O 指定保存的文件名.如果没有这个选项,会根据网页的名字来合理命名.
-o 将原本输出到标准输出的日志信息,输出到指定的文件中.
-t 指定重试次数.如果internet不稳定,那么可能会超时,通过-t选项可以指定接受的超时等次数.
--limit-rate 限速.后面跟带单位的数字.比如3k.5M.
-Q 指定单次下载的最大限制.
-c 断点重传.
--mirror 递归下载某个网页所有链接并下载.像爬虫一样.不过对于某些大型网站,这并没有效果.这些网站拒绝被爬.
-N 允许下载的文件打上时间戳.
-r 递归
-l 深度
关于wget,我所知道的就是这么多,不一一演示用法了.同学们看了以后可以自己尝试一下.实际的使用中,我还真没怎么用过这个工具.接下来看一款比wget更厉害的工具.
2. curl
和wget不同,curl的输出直接到stdout,所以如果我们要保存,需要将结果重定向到文件中.curl的选项同样很丰富.
--slient 比显示进度信息.
-O 将输出到从url解析出来的文件名中.
-o filename 输出到指定的文件名
-C offset 断点续传.从指定的offset开始.如果想自动定位断点位置,需要把offset替换成一个减号.
--referer 指定参考页字符串.
--cookie "name=value" 指定一个cookie
--user-agent 指定用户代理.
-H 指定HOST字段
--limit-rate 限速
--max-filesize 指定可下载的最大可用空间.
-u 指定用户名和密码.
3. lynx
这个命令用来浏览网页,可以尽量在字符界面下保证界面布局.虽然看着还是一团...不过毕竟好很多了.
--dump 通过了解,我就知道它的这个参数.把下载的网页重组,将所有涉及到的url列举出来.
当然还有一款axel下载工具.没有用过.大多数时间,毕竟ubuntu是有界面的,肯定还是界面方便.所以能通过浏览器解决的浏览和下载任务,都优先选择浏览器.毕竟效率是最高的.
写这篇文章,一来温习一下自己所学的内容,二来是给各位同学一个参考.希望能够达到启发的效果.当然我们工作学习中,还是以顺手和效率为先.