测序数据过滤

上一节我们对原始数据进行了质量检测，对于质量比较好的数据我们可以直接进行后续分析，而对于一般质量的，或者质量较差的，我们就需要对数据进行进一步的清洗过滤了。

前文我们提到，下机数据中可能包含以下几类不合格数据：

测序质量低：低质量碱基(即质量分数为小于10的碱基)占整条序列的30%以上。
序列含接头：接头序列未去除干净或者由于测序读长较短测穿了的数据。
含N比例较高：由于机器设备或者其他原因，导致碱基未测出的。
测序错误的序列等

这块比较好的几款软件都在 Github (程序员搞基大本营) 上建立了各自的开源项目。

1. 几款常用软件 (排序不分先后)

1.1 fastp

业内同行海普洛斯小伙伴们的一个开源项目，这里要向海普洛斯 CTO 陈实富博士(推广到了我们生信人员大本营)致敬。
该程序由 C++开发，支持多线程，能实现多个功能，操作简便，支持较多，开发也较为活跃，个人推荐使用：

可以过滤低质量数据 (如较低的质量分数，较短的序列，含 N 较多的序列等等)
可以实现剪切序列的首尾两端
可以通过对滑动窗口的平均质量的评价，对 5' 和 3' 端序列进行剪切(这个功能与Trimmomatic 软件功能相似，但是速度却更快)
可以自动检测街头序列并做切除
对于PE数据中的overlap区间中不一致的碱基对，依据质量值进行校正
支持三代测序或四代测序的long reads (nanopore / pacbio的数据)
生成 html/json 报告，有助于直观的查看，json 格式更利于一些大型流程的串写
其他等一系列功能(软件还在开发阶段，可以直接和作者团队交流，提一些相关建议)

题外话：软件安装不外乎两种方式(主要针对Linux，其他系统大都相似)：

二进制程序直接下载使用 (建议初学者使用)

下载源代码进行编译

## 软件安装：
## fastp 有编译好的二进制可执行文件版本，我们直接下载使用
wget http://opengene.org/fastp/fastp
chmod a+x ./fastp
## 使用起来也比较简单
fastp -i in.fq -o out.fq

命令示例

参数不少，但是说明给的还比较详细。具体可以查看网页。

会输出过滤后的结果，fq/fq.gz 格式，同时还有 json 和 html 格式的报告，具体内容见示例报告

1.2 AfterQC

fastp 前身，python语言写的。输出内容比较丰富，但是速度较慢，开发团队推荐使用 fastp 。

## 软件安装(由于是 python包，推荐使用 bioconda安装)
conda install afterqc

## 也可以直接下载 
wget -c https://github.com/OpenGene/AfterQC/archive/master.zip

## 解压后使用
unzip master.zip

## 用法比较简单
# SE
python after.py -1 R1.fq
# PE 
python after.py -1 R1.fq -2 R2.fq

image.png

生成的报告比较丰富：
Example： http://opengene.org/AfterQC/report.html

1.3 SOAPnuke

华大看家工具集 SOAP 系列之一。适用于多种数据类型 ( mRNA，small RNA，DEG... )

## 软件下载安装
git clone https://github.com/BGI-flexlab/SOAPnuke.git
cd SOAPnuke/src
cmake .
make
./SOAPnuke
## 软件使用
SOAPnuke filter  --cut 0  --qualRate 0.5  --index  --lowQual 5  --nRate 0.1  -Q 2 -5 1 -1 ZJ-2-1-A_1.fq.gz -2 ZJ-2-1-A_2.fq.gz   -o output/ZJ1Rep1 -C ZJ1Rep1_1.fq -D ZJ1Rep1_2.fq

软件使用

结果展示如下：

结果文件列表

这些文件详细的展示了序列过滤的具体情况。

1.4 seqtk

李恒大神(不知道此人的请自行百度)写的一款过滤软件。
四个字点评：短小精悍！

## 下载安装
git clone https://github.com/lh3/seqtk.git;
cd seqtk; 
make

文件内容

软件编译

软件说明

该软件功能丰富，具体示例详见说明文档：https://github.com/lh3/seqtk
我们重点关注 fqchk 与trimfq 功能：

fqchk

trimfq

1.5 Trimmomatic

老牌软件啦，java 写的,说明文档：manual。

## 下载安装
wget -c http://www.usadellab.org/cms/uploads/supplementary/Trimmomatic/Trimmomatic-0.36.zip
## 解压软件包
unzip Trimmomatic-0.36.zip
## 软件使用示例
# PE
java -jar trimmomatic-0.35.jar PE -phred33 input_forward.fq.gz input_reverse.fq.gz output_forward_paired.fq.gz output_forward_unpaired.fq.gz output_reverse_paired.fq.gz output_reverse_unpaired.fq.gz ILLUMINACLIP:TruSeq3-PE.fa:2:30:10 LEADING:3 TRAILING:3 SLIDINGWINDOW:4:15 MINLEN:36
# SE
java -jar trimmomatic-0.35.jar SE -phred33 input.fq.gz output.fq.gz ILLUMINACLIP:TruSeq3-SE:2:30:10 LEADING:3 TRAILING:3 SLIDINGWINDOW:4:15 MINLEN:36

解压

使用说明

参数说明：

PE/SE     设定对Paired-End或Single-End的reads进行处理，其输入和输出参数稍有不一样。
-threads  设置多线程运行数
-phred33 设置碱基的质量格式，可选pred64
ILLUMINACLIP:TruSeq3-PE.fa:2:30:10  切除adapter序列。参数后面分别接adapter序列的fasta文件：允许的最大 mismatch 数：palindrome 模式下匹配碱基数阈值：simple模式下的匹配碱基数阈值。
LEADING:3  切除首端碱基质量小于3的碱基
TRAILING:3  切除尾端碱基质量小于3的碱基
SLIDINGWINDOW:4:15  从5'端开始进行滑动，当滑动位点周围一段序列(window)的平均碱基低于阈值，则从该处进行切除。Windows的size是4个碱基，其平均碱基
质量小于15，则切除。
MINLEN:50  最小的reads长度
CROP:  保留reads到指定的长度
HEADCROP:  在reads的首端切除指定的长度
TOPHRED33  将碱基质量转换为pred33格式
TOPHRED64  将碱基质量转换为pred64格式

2. 其他数据过滤软件：

QcReads

由中科院昆明动物所开发的一个快速、高效的高通量测序reads去接头和去低质量序列工具。

cutadapt

从名字可以很直观的看出来这是一款去接头的软件啦~

fastx_toolkit

二代测序经典数据质控过滤软件，只是 2010 年后就没有维护更新啦~
喜欢折腾的可以去官网或者 github 上逛逛：
官网
GitHub

SOAPnuke 软件编译这块稍显复杂，之前华大网站有放出编译好的 SOAPnuke 程序，可惜找不到了。文中所列软件，如果有需要的话，各位下伙伴可以后台回复索取(Linux 版本)。

欢迎补充讨论。
下节我们详细讨论各个软件生成的报告。

3. 小尾巴.命令详解

今天的小尾巴是 chmod.
chmod命令用来变更文件或目录的权限。在UNIX系统家族里，文件或目录权限的控制分别以读取、写入、执行3种一般权限来区分，另有3种特殊权限可供运用。用户可以使用chmod指令去变更文件与目录的权限，设置方式采用文字或数字代号皆可。符号连接的权限无法变更，如果用户对符号连接修改权限，其改变会作用在被连接的原始文件。
语法：

chmod [-cfvR] [--help] [--version] mode file...

权限范围的表示法如下：

u User，即文件或目录的拥有者； 
g Group，即文件或目录的所属群组；
o Other，除了文件或目录拥有者或所属群组之外，其他用户皆属于这个范围； 
a All，即全部的用户，包含拥有者，所属群组以及其他用户； 
r 读取权限，数字代号为“4”; 
w 写入权限，数字代号为“2”； 
x 执行或切换权限，数字代号为“1”；
- 不具任何权限，数字代号为“0”；
s 特殊功能说明：变更文件或目录的权限。

来自: http://man.linuxde.net/chmod

参考资料

http://journal.embnet.org/index.php/embnetjournal/article/view/200/479
http://hannonlab.cshl.edu/fastx_toolkit/index.html
http://not.farbox.com/page/9
https://zhuanlan.zhihu.com/p/28924793
https://disease.novogene.org/topic/305/%E4%BD%BF%E7%94%A8trimmomatic%E8%BF%87%E6%BB%A4%E4%BD%8E%E8%B4%A8%E9%87%8F%E5%BA%8F%E5%88%97?page=1
http://not.farbox.com/post/fastx_toolkit