raw data/PF data/Q30 data/clean data的不同(转载)

测序数据拿回来之后,会给一些数据。那么这些数据代表什么呢?

1. 原始数据(Raw data):一次测序产生的全部原始数据。理论上,它们应该是没有经过任何过滤的,无论好坏。

raw data/PF data/Q30 data/clean data的不同(转载)_第1张图片
GB和Gb的区别

2. PF数据(PF data):在测序过程中,Illumina内置软件根据每个测序片段(read,通常每个片段长100个碱基)前25个碱基的质量决定该read是保留还是抛弃。如果没有达到质控标准,则该read的全部碱基都被抛弃;达到标准、保留下来的数据叫做PF data。 PF代表pass filtering。

3. Q30数据(Q30 data):Illumina内置软件根据统一设定的标准来评判碱基识别结果的可靠性,为每个碱基给予一个质量评分(QV)。PF data里质量评分>=30分的数据称为Q30 data。 Q30的意思是该碱基的可靠性为99.9%。Q30数据通常占PF数据的80%左右。视样本质量、操作水平、试剂质量、仪器状态的不同,这一比例有很大波动。

raw data/PF data/Q30 data/clean data的不同(转载)_第2张图片
Q30和Q20

4. 干净数据(Clean data。数据还有不干净的?):某些实验室根据其自身的判断标准,在PF data的基础上,进一步删除质量不好的reads后得到的数据。常见的删除动作有:去接头、去N含量高的reads、去质量评分低的reads、去掉每个read的最后几个碱基,等等。

Clean data是国内叫法;PF data是来自Illumina的概念,是广为接受的国际通行标准。

PF算法实质上是选取每个测序片段(read)前25个碱基的质量来代表整条片段的质量,从而决定该片段的去留。Illumina之所以这样做,而不是逐个检查整条片段所有碱基的质量,一方面是为了节省电脑资源,不致于花费太多时间进行运算,拖累测序进程,另一方面也是在大量测序数据的统计结果基础上选择的平衡点,只要前25个碱基是正常的,后75个碱基出问题的概率比较小。

一次测序实验完成,测序仪上展示的数据量和%Q30都是以PF数据为基础的。只要对数据质量有足够信心,就不会对PF数据再进行加工,可以直接把PF数据交给客户,进行下游的生物信息学分析。

三、为什么要clean data?

如果二代测序实验成功,则PF data已经是质量比较好的数据,没有必要进一步加工。从基本原理来讲,任何形式的加工过滤,毫无例外都会引入额外的偏差(bias),严重的时候会导致生物信息学分析结论失真。

把PF数据加工成“干净数据”,原因有多种,其中常见的原因之一是使用山寨的试剂(非Illumina原厂正版试剂)构建文库,测序质量不尽如人意,Q30比例不高。在采用同种技术、同种平台的情况下,文库构建的质量是决定测序质量的关键。只要去掉质量差的数据,就可以提高Q30比例,可是这样做法目的性太强,难免让人心里打鼓。

让我们来具体分析为了获得clean data所做的4种常见动作是否有必要,及其潜在副作用。

1、去接头。

使用正版试剂、按标准流程进行操作,接头序列是不会被测出来的,这是因为测序引物的结合位点位于接头的3'端,测序测到的第一个碱基就是插入片段的未知碱基,因此不需要去接头。

在以下两种特殊情况下,需要去接头(adaptor),或者去标签(barcode):

一是自己合成寡核苷酸、自配文库构建试剂,这类设计通常把barcode安排在接头的3'端后面,而测序引物的结合位点仍然在接头的3'端,导致测序一开始测到的就是barcode序列,标签测完了之后才是插入片段的未知序列。在这种情况下,完成demultiplexing之后,标签序列完成了使命,就要把标签序列删除。

二是文库的插入片段太短,测序片段长度(通常是100碱基)大于插入片段长度,导致插入片段被测通,一直测到下游接头的部分或者全部序列。在这种情况下,要删除下游的接头序列。

插入片段太短,除了改变打断条件,增加插入片段长度以外,有些种类的样本比如small RNA本身就很短。小RNA的长度只有20几个碱基,测序试剂的包装是50碱基和100碱基两种,都长于小RNA;另外,如果小RNA样本数量少,凑不满一张FC,就要与其他样本一起测序,为了将就同一张FC上的其他样本,往往就对小RNA进行2x100碱基的测序。在这种情况下,去接头是必要的。

去接头和去标签,对测序数据本身不造成影响。

2、去含N多的测序片段。

一个测序片段里如果有很多碱基无法识别(用N表示),提示测序质量不高,或者测序过程中遭遇到问题,需要严肃对待,通过故障排除找到根本原因,针对性地采取必要措施进行改正。删除这些片段,只是使数据看起来比较漂亮,治标不治本。

3、去质量评分低的片段。

PF算法本身去除的就是质量评分低的片段。如果要在PF之后再来一次“PF”,那就提示测序质量没有达到正常水准,实乃不得已而为之。

4、去末端一定数目的碱基。

随着测序读长的增加,酶活性下降,荧光强度也在下降,因此测序数据质量逐渐降低乃是自然趋势,片段末端的碱基质量低于片段前端的。

即使存在这样的问题,只要样本质量、试剂质量、操作技能和仪器性能等有保障,在厂家承诺的片段长度范围内,%Q30是完全能够达到指标的,并不需要人为去掉末端碱基。

原文:raw data/PF data/Q30 data/clean data的不同

你可能感兴趣的:(raw data/PF data/Q30 data/clean data的不同(转载))