声明：因为本人使用过程中遇到了很多原来人碰得到的问题，放防止以后遗忘，所以做一下记录，因为前总结的很到位，所以直接引用到自己日常记录，供日后查阅。
主要引用为：【原创文章】辣椒BSA分析对数据进行质控、去重、索引等预处理的几个姿势 （https://www.baishujun.com/archives/7191.html）！
去除PCR扩增重复序列
由于构建文库的时候进行了pcr扩增，然后进行测序，这么测序出来的数据存在很多重复序列，在这里需要去除，然后建立索引，那么这个预处理工作就结束了。
遇到的问题最多的也是在这里。
按照之前的资料，对于PE测序数据一般用picard，效果好，SE可以用samtools或picard去重。
所以我首先用picard的MarkDuplicates进行了去重，遇到N个错误！
1，临时目录不够
错误提示：
java运行问题，原因/tmp空间太小造成的，有两个解决办法。
（1），给picard设置特定的tmp目录 (原作者推荐）
picard MarkDuplicates I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt TMP_DIR=/www/tmp
本人项目中也是用特定目录解决， 在picard运行命令之前，加一行命令：
export _JAVA_OPTIONS=-Djava.io.tmpdir=./tmp
picard -Xmx32g MarkDuplicates I=S99.new1.bam O=S99.rmdup.bam CREATE_INDEX=ture REMOVE_DUPLICATES=ture M=S99.marked_dup_metrics.txt
（2），为了一劳永逸的解决这个问题，我直接挂载了一个1t的分区给/tmp（原作者）
#####此处还有一点项目中的查询结果针对 java.lang.OutOfMemoryError: GC overhead limit exceeded
如果在垃圾收集中花费太多的时间太少，GC会抛出这个异常。GC上的CPU时间占用了98％，只有不到2％的堆被恢复。
此功能旨在防止应用程序长时间运行，而由于堆太小，进行很少或没有进度。
您可以使用命令行选项关闭此功能 -XX:-UseGCOverheadLimit （我在使用beagle尝试使用过这个但是没有解决问题，其他原因）。
2，java堆大小设置过低
错误提示：
面对“Java heap space”的问题，主要是由于我的测序数据大，占用内存大，但是java程序默认的堆大小分配不够，所以出现这个问题，我们可以给当前运行的java程序设定一个内存值，从而覆盖默认设置。
picard -Xmx40g MarkDuplicates I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt （Xmx40g，设置JVM最大可用内存为40G.）
3，“Insert size out of range”错误
关于这个错误，从字面意思上来看是插入大小超过了范围，并且我发现基本都是在检测重复完成之后才出现，这个错误应当和程序读取reads的大小或者java写入磁盘文件大小相关方面的限制有关，但是没有找到具体原因，从错误提示也可以看出，这是在确认sam数据时出现的问题，那么我们可以采用宽松一点的审计策略，就可以绕过这个“Insert size out of range”错误。
picard -Xmx40g MarkDuplicates VALIDATION_STRINGENCY=LENIENT I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt
我用的是conda环境，所以上面的命令是我运行picard进行序列去重成功的命令。
如果不想使用conda的picard，那么我们也可以直接调用java包，在picard命令中已经包含了当前picard的jar包的地址，我们可以修改命令如下：
java -Xmx40g -jar /www/soft/miniconda2/envs/pepper/share/picard-2.20.3-0/picard.jar MarkDuplicates VALIDATION_STRINGENCY=LENIENT I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt
使用了VALIDATION_STRINGENCY=LENIENT参数以后
我们可以看到大量的提示
其它去重软件
经过这一轮之后，整理发现，还有好几个很优秀的去重软件，
1，Sambamba
地址：http://lomereiter.github.io/sambamba/
原文描述如下：
Marks (by default) or removes duplicate reads. For determining whether a read is a duplicate or not, the same criteria as in Picard are used.
这是我推荐的替代picard的软件
她筛选reads是否重复的标准和picard是一样的（For determining whether a read is a duplicate or not, the same criteria as in Picard are used）。
关键是这个软件支持多线程，速度就快多了，她也支持是标记或者删除重复序列，并且自动建立bai索引文件。
该软件还有其它的sort，index，merge等功能，详细地址为，http://lomereiter.github.io/sambamba/docs/sambamba-markdup.html#OPTIONS，
需要代理才能打开。
sambamba markdup -p -t 16 S347.merged.sorted.viewed.bam S347.sorted.viewed.markdupba.bam
-p显示过程，-t线程数16.
对于一个46.70GB的bam文件进行去重，picard耗时78.11分钟，而sambamba仅仅用时33分钟，快了一半吧。
但是我用picard去重标记重复后的文件为48.23G，用Sambamba去重后的文件为46.27g，这是否预示着picard标记了更多重复？
运行sambamsa软件，我遇到一个Too many open files问题
sambamba-markdup: Cannot open file `/tmp/sambamba-pid87983-markdup-xrmt/PairedEndsInfozkeh29' in mode `w+' (Too many open files)
这是由于我们的系统限制导致的，解决方法有两个。
（1），临时办法
首先
运行命令
ulimit -n
查看线程限制，默认一般为1024，我们修改为10240.
运行命令
ulimit -n 10240
（2），上面的方法重启后就失效了，如果想重启后生效，需要修改/etc/security/limits.conf文件，root权限。
在文件末尾添加
* soft nofile 10240
* hard nofile 10240
*代表所有该系统的用户
这个10240值不能大于/proc/sys/fs/nr_open文件中的数值，否则将无法正常登录系统。
我的nr_open值为1048576
2，samtools
samtools也有标记或者删除重复序列的功能，命令分别为
samtools rmdup
删除重复序列，但是软件还是推荐标记重复序列
samtools markdup -@ 8 S347.merged.sorted.viewed.bam S347.sorted.viewed.markdupba.bam
通过资料查询，发现这个工具对于bam有一定要求：bam文件以染色体位置排序，MC tag需要用fixmate -m来提供，fixmate -m操作的bam文件必须是利用read name来排序的。
我放弃了，没有测试。
3，samblaster
地址：https://github.com/GregoryFaust/samblaster
命令示例：
samblaster -i samp.disc.sam -o samp.split.sam
没有多线程，操作的是sam文件，没有测试。
4，biobambam2
地址：
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4075596/
https://github.com/gt1/biobambam2
bammarkduplicates功能可以去重，没测试
5，bamUtil
https://github.com/statgen/bamUtil
有兴趣的试试吧
生成索引
1，用Sambamba去重时，会自动生成bai索引文件。
但是当我使用命令
sambamba index -p S347.sorted.viewed.markdup.bam
却显示错误
Segmentation fault (core dumped)
2，picard MarkDuplicates去重时加入CREATE_INDEX=true参数，也可以建立索引。
单独使用picard BuildBamIndex命令
picard BuildBamIndex -Xmx64g I=S352.sorted.viewed.markdup.bam
对于picard MarkDuplicates生成的bam提示“非bam”错误
picard.sam.BuildBamIndex done. Elapsed time: 0.00 minutes.
Runtime.totalMemory()=2147483648
To get help, see http://broadinstitute.github.io/picard/index.html#GettingHelp
Exception in thread “main” htsjdk.samtools.SAMException: Input file must be bam file, not sam file.
这个真是搞不懂了
用flagstat检查了一下，好像bam文件正常啊
samtools flagstat -@ 30 S346.sorted.viewed.markdup.bam >S346.sorted.markdup.stat
对于sambamba markdup生成的bam，不说不是bam文件了，但是提示“ Insert size out of range”错误
picard.sam.BuildBamIndex done. Elapsed t ime: 29.70 minutes.
Runtime.totalMemory()=5200936960
To get help, see http://broadinstitute.github.io/picard/index.html#Gett ingHelp
Exception in thread “main” htsjdk.samtools.SAMFormatException: SAM vali dation error: ERROR: Record 704691907, Read name A00174:10:HCCJKDSXX:4: 2426:2564:33301, Insert size out of range
at htsjdk.samtools.SAMUtils.processValidationErrors(SAMUtils.ja va:455)
3，使用samtools index建立索引
samtools index S347.sorted.viewed.markdup.bam
却提示错误
Region 536874585..536874735 cannot be stored in a bai index. Try using a csi index with min_shift = 14, n_lvls >= 6
samtools index: failed to create index for “S347.sorted.viewed.markdup.bam”: Numerical result out of range
查询了一下资料，原始BAM索引格式（BAI）具有固定的bin大小系统，并且最大参考序列长度为512Mbp，使其不适合大染色体。
辣椒的参考基因组cm334，zunla超过3个G，远远大于536,870,912，bai格式索引不适合辣椒基因组分析！
辣椒只能使用csi格式索引文件，然后使用bcftools来call snp了
samtools index -c S347.sorted.viewed.markdup.bam
把变异检测前对数据进行预处理的命令总结一下：
#数据指控
fastp -q 15 -u 40 -M 0 -n 5 -l 80 -w 16 -i S347_jikangda-A_Green-beifen-1_AHCCJKDSXX_S347_L004_R1_001.fastq.gz -I S347_jikangda-A_Green-beifen-1_AHCCJKDSXX_S347_L004_R2_001.fastq.gz -o S347.clean_R1.fastq.gz -O S347.clean_R2.fastq.gz -h report/S347-report.html
#建立参考基因组索引
bwa index Capsicum.annuum.L_Zunla-1_Release_2.0.fasta -p zunla
#与参考基因组比对并转换成bam文件
bwa mem -k 32 -M -t 16 -R '@RG\tID:S347\tPL:illumina\tLB:S347\tSM:S347' zunla S347.clean_R1.fastq.gz S347.clean_R2.fastq.gz | samtools view -S -b - > S347.bam
#对bam文件排序
samtools sort -@ 10 -m 80G -O bam -o S347.sorted.viewed.bam S347.bam
#merge两个lanes
samtools merge S347.merged.sorted.viewed.bam S347.sorted.viewed.bam S411.sorted.viewed.bam （此处samtools 其实可以多线程）
#去除PCR重复序列
picard -Xmx40g MarkDuplicates VALIDATION_STRINGENCY=LENIENT I=S347.merged.sorted.viewed.bam O=S347.sorted.viewed.markdup.bam M=S347.sorted.viewed.markdup_metrics.txt
#构建bam文件的csi索引
samtools index -c S347.sorted.viewed.markdup.bam