Linux用wget批量下载GEO数据

一、什么是wget?

几乎每台linux必装的一个下载软件,当然for windows也有,不过没用过这里不作讨论了.wget是GNU的一个软件,说到GUN又得说起UNIX操作系统了,考古开讲工作这里也不展开了.

这是wget官网大家有兴趣去看一下GNU Wget
这是操作手册(说明书)GNU Wget 1.21.1-dirty Manual,很齐全,个人也没完全系统学习过,毕竟使用需求不深,知道常用命令就好.

wget常用语法

1. -c, 断点后继续下载
2. -q, 安静模式
3. -b, 后台下载
4. -i 123.txt,批量下载123.txt内链接
5. -P /home/xzw/media, 下载到指定目录/home/xzw/media
6. -0 abc.zip, 下载后重命名abc.zip
7. –limit-rate=500k,限制下载速度为500k

想看详细的wget -h,或者看看这篇整理的挺好的wget命令详解

*下载数据除此外还有一些其他软件可以试试

1. prefetch
   全称SRA Toolkit - prefetch,sra toolkit是NCBI提供的一个关于sra数据管理使用的工具,是专门用于下载sra数据的,区别于wget(只要有下载源地址,下载数据,图片,软件,视频都可以),这是官网地址NCBI SRA Toolkit
2. mwget
   mwget是wget的升级版,支持多线程下载,在下载大文件时速度优势明显,但折腾了多次仍未安装成功,有大佬望支招.
3. axel
   axel也是Linux一个很好的下载软件,“支持多线程下载和断点续传，且可以从多个地址或者从一个地址的多个连接来下载同一个文件”,在国外网站下载优势就很明显了.
   这篇写的很简单明了axel命令

二、下载数据

2.1找到想要下载的数据并复制链接

(我这里是为了方便顺手找的一组SRA,无参考意义)

2.2转换链接

url编码下载地址链接转换工具批量转换,仅个人习惯(为避免有特殊字符,但有些浏览器复制没有转换,所以一直保持着这个习惯)

2.3建立下载文件url列表

mkdir一个txt文件,一个地址一行

2.4下载数据

cd到下载文件url列表所在目录
wget -c -i downloading.txt即可下载(可-b后台下载)
文件会下载到所在同一目录