本文翻译整理自《Bioinformatics Data Skills》第六章“Bioinformatics Data”。
内容
Retrieving data
- 是否需要下载大的测序数据集还是频繁通过web应用下载特定文件，这都需要特殊的工具和技能。
Ensuring data integrity
- 数据太大，很可能网络传输时丢包，我们该怎样确保下载下来的数据是完整可用的，在分析之前我们也应该检查数据。
Compression
- 数据太大需要压缩，不然各种操作（存储、传输、拷贝等）都不方便，浪费资源。
用 wget与curl下载数据
wget
我们可在终端命令行上用wget从网上快速下载一个文件，比如下载hg19(GRCh37)的22号染色体序列：
shawn@ubuntu-wsx:/mnt/d$ sudo wget http://hgdownload.soe.ucsc.edu/goldenPath/hg19/chromosomes/chr22.fa.gz
--2017-07-19 22:09:09-- http://hgdownload.soe.ucsc.edu/goldenPath/hg19/chromosomes/chr22.fa.gz
正在解析主机 hgdownload.soe.ucsc.edu (hgdownload.soe.ucsc.edu)... 128.114.119.163
正在连接 hgdownload.soe.ucsc.edu (hgdownload.soe.ucsc.edu)|128.114.119.163|:80... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度： 11327826 (11M) [application/x-gzip]
正在保存至: “chr22.fa.gz”
chr22.fa.gz 100%[===================>] 10.80M 2.19MB/s in 9.6s
2017-07-19 22:09:19 (1.13 MB/s) - 已保存 “chr22.fa.gz” [11327826/11327826])
可以看到非常快，而且简单。如果不指定路径，它直接下载到当前目录。
wget可以处理FTP和HTTP协议，基本我们接触的传输协议就是它们了（邮箱好像不一样）。有些文件下载需要认证，这可以通过--user=和--ask-password两个选项登入。wget它的一个优点是可以递归下载，通过-r选项指定，它会下载当前目录的文件以及当前目录链接的文件、目录。默认下载的深度是5（当前目录的5层子文件），我们可以用--level或者-l指定。
一个从某大学网站下载gtf文件的例子：
root@ubuntu-wsx:/mnt/d/example-data# wget --accept "*.gtf" --no-directories --recursive --no-parent http://genomics.someuniversity.edu/labsite/annotation.html
需要注意的是，wget命令会把它能下载的全下载下来（疯狗啊～）。我们可以通过--no-parent选项阻止它下载上层文件，用--accept "*.gtf"只下载匹配指定模式的文件。--limit-rate可以限制下载速度。
man wget可以获取更多信息，http://man.linuxde.net/wget 是非常不错的参考。
Curl
curl与wget略有不同。wget适用于递归下载文件，curl是抓取文件到标准输出（当然可以抓网络上的啦）。同样的，如果我们下载hg19上22号染色体数据：
root@ubuntu-wsx:/mnt/d/example-data# curl http://hgdownload.soe.ucsc.edu/goldenPath/hg19/chromosomes/chr22.fa.gz > chr22_1.fa.gz
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 10.8M 100 10.8M 0 0 509k 0 0:00:21 0:00:21 --:--:-- 1465k
显示的界面也不同呢。
如果你不想用重导向<，可以添加-o 指定输出文件。curl支持比wget更多的协议，像SFTP（secure FTP）和SCP(secure copy)；它的另一个特点是curl会下载链接重导向的最终页面，而不是链接导向的页面本身。当然它还有一些其他的特点。Linux的每一个命令工具都有其系统性和优势，熟练掌握它们会为工作减少很多力气和时间。
命令详情：http://man.linuxde.net/curl
Rsync and Secure Copy (scp)
rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项。
基本语法：rsync source destination
下面是一个例子，你想要把你data/目录下的数据传输到同事的数据目录下：
$ rsync -avz -e ssh zea_mays/data/ vinceb@[ip地址]:/home/deborah/zea_mays/data
-a表示启动归档模式，表示以递归方式传输文件，并保持所有文件属性；-v可视地显示传输过程；-z以压缩的方式传输。-e后接ssh表示指定以ssh的方式进行同步数据。
详情：http://man.linuxde.net/Rsync
因为这个命令用于数据同步，你可以多次使用以确保数据传输完成。
scp命令支持将本地数据拷贝到远程，或者将远程数据拷贝到本地。传输通过ssh协议完成。
详情：http://man.linuxde.net/scp
数据完整性
SHA and MD5 检验和
两个最重要的检验和算法是MD5和SHA-1。介绍可以问度娘，我们知道和会用就行。
我们可以通过shasum命令创建和检查（SHA-1）检验和。
相似的命令有md5sum，sum,chsum等等。
一些参考详情：
https://linux.die.net/man/1/shasum
http://man.linuxde.net/sum
http://man.linuxde.net/md5sum
查看数据不同
当你发现数据的检验和不同时，你可能会想文件之间有多大的差别。这时候可以使用diff命令。
比如比较两个bed文件：
diff -u gene-1.bed gene-2.bed
-u选项指定输出为unified diff format。类似于git diff。
详情：http://man.linuxde.net/diff
压缩数据和处理压缩数据
两大最常用的压缩系统是gzip和bzip2。两者都有各自的优势：gzip压缩和解压缩速度比后者快；bzip2比前者拥有更高的压缩比例。通常生信数据用gzip存储和处理，bzip2适用于长期存储的数据。这里主要介绍gzip，bzip2操作类似。
gzip体系中，用gzip命令压缩，用gunzip命令解压。gzip不仅可以用来压缩大的、较少使用的文件以节省磁盘空间，还可以和tar命令一起构成Linux操作系统中比较流行的压缩文件格式。
下面是简单使用例子，我们压缩和解压缩fastq文件：
$ gzip -c in.fastq > in.fastq.gz
$ gunzip -c in.fastq.gz > duplicate_in.fastq
-c选项可以将结果导出到标准输出，这样我们可以调用管道命令。
gzip另一方面之处是我们可以对压缩文件追加压缩：
$ ls
in.fastq.gz in2.fastq
$ gzip -c in2.fastq >> in.fastq.gz
这样，我们通过>>将in2.fastq追加压缩到in.fastq.gz中了。
详情：http://man.linuxde.net/gzip http://man.linuxde.net/gunzip
需要注意的是，这种压缩的文件是单个的，也就是两个文件的内容是连在一起的。如果要压缩多个文件，需要和tar命令(http://man.linuxde.net/tar )连用。
与常用的文件处理命令（cat, grep, less, diff）相对应，处理压缩文件有类似的命令——zcat,zgrep,zless,zdiff。
我就不一一的放详情地址了，常用的linux命令都可以在http://man.linuxde.net/ 查询。这是中文的，有些命令找不到的可能需要找下相关博文或者英文手册。