- 2018-01-25 linux 学习- 让程序在后台运行
小郑的学习笔记
有些时候你运行一个程序很长时间,但是突然你网络断了,或者不小心客户端除了问题,或者是客户端电脑要关机确实挺麻烦的,用一个命令解决nohup命令&这样程序就会在后台运行了PS:跑了30多个小时的gatk了还没跑完,而且我还不是丢在后台跑的,千万别掉线了。。
- 2021-03-22
Jason_5b5a
03、测序数据批量比对到参考基因组建立索引:cd/home/ngs/Pipeline/WES/database/gatk/hg38gzip-dHomo_sapiens_assembly38.fasta.gzmkdirindex&&cdindexnohupbwaindex-abwtsw-phg38../Homo_sapiens_assembly38.fasta-a有两种构建index的算法:bw
- 用conda下载安装gatk3.8并注册
卖萌哥
现在gatk已经更新到gatk4了,但是gatk3.8还是有很多应用的场景,比如指定多线程,并且有些功能在gatk4里找不到(也可能是我道行浅)所以记录一下之前如何安装和注册gatk3.8的过程,以备不时之需。用conda安装gatkconda的安装及使用请参考conda的安装与使用#创建一个叫GATK的虚拟环境,并安装gatk$condacreate-nGATKGATK-y#激活这个虚拟环境$c
- 修改bam文件的染色体信息
jiarf
背景在运行wes的数据流程的时候,生成marked.bam文件之后的染色体是12这样的,但是下载的gatk的人的基因组的fa文件的染色体是chr1chr2这样的信息,所以进行后续的recal和bqsr的时候会报错,这是由于自己之前bwa比对的时候比对的那个基因组文件不是自己生成的,是服务器上别人生成的bwa的index,发现那个染色体是没有chr的,十所以我就那么跑了,但是现在需要给生成的bam文
- 2023-04-07
小谷头
重测序分析-使用GATK进行SNP和INDEL检测GATK是Broad开发的用于二代测序数据变异检测的软件,后续推广到动植物研究中,是目前最广泛使用的变异检测软件。本部分介绍如何使用GATK进行SNP和INDEL检测及过滤。•软件:GATK•文件准备:基因组文件:genome.fasta比对结果文件:S1.sort.markdup.bam•参考脚本:第一步:创建tmp目录创建临时文件目录$mkdi
- 关于sentieon的几点补充说明
六六_ryx
sentieon的特点sentieon是一款商业版call变异的软件。call变异的软件很多,为什么sentieon能商业化(据说价格还很贵),主要有两个特点准、快。准Broad研究所的GATK目前仍然是call变异软件中被业界认可度最高的,而sentieon是用的和GATK一样的数学模型,不一样的是对算法进行了改进,用sentieon的结果和GATK一样。所以,即使目前已经有很多软件的速度可以超
- GATK4 Mutect2 call Short Variant
JeremyL
GATK4Mutect2callShortVariant先来看一下GATK官网对ShortVariant的定义:Shortvariantsincludesinglenucleotide(SNV)andinsertionanddeletion(indel)variants.Mutect2CallsomaticSNVsandindelsvialocalassemblyofhaplotypesMutec
- Linux中普通用户对Java JDK的配置
不想透明的小透明
最近分析用到GATKHaplotypeCaller,在进行VQSR(变异检测质控和过滤)的时候,出现报错,如下:GATK运行报错现将解决方法记录分享一下~首先我对报错信息进行了谷歌,看了一堆网页以及报错信息之后迷迷糊糊觉得应该是因为Java版本和GenomeAnalysisTK版本不兼容,于是我尝试升级我们服务器上现有的Java,我首先试着直接用wget命令来InstallJAVA,但是被告知no
- WDL语言入门
基因组分析
WDL最初是由BroadInstitute为基因组分析管道开发的。语法简单,易于表达,能很好的描述流程;且跨平台。GATK首选的pipeline解决方案:WDL+cromwell****。目前,Cromwell是唯一支持WDL的全功能执行引擎。cromwell是一个面向科学工作流程的工作流管理系统,基于BSD3-Clauselicense证书的开源软件,支持在三种平台上运行WDL:本地机器、通过作
- GATK4.0的更新
栽生物坑里的信息汪
从去年开始,就一直在使用GATK(GenomeAnalysisToolkit)进行人类基因组的SNVCalling工作。后来从官网上得知即将有4.0的版本更新,众所周知,这种3.x-->4.0的变化应该是十分巨大的,所以说其中变化的东西也是十分的多很繁杂。所以用这篇日志简要总结一下。当然不是其更新日志的翻译版。。。那也没有什么意义。这篇文章的主旨是在总结现有的GATK4.0的功能,能做什么,需要怎
- gatk报错整理
Amy_Cui
gatk-Vgvcf报错报错内容AUSERERRORhasoccurred:Failedtocreatereaderfromfile:///...image.png报错原因:gvcf同目录下缺少idx文件解决方法:复制过来上步骤和gvcf一起生成时候的idx文件过来gatk安装调用报错直接装软件:condainstallgatk4小环境下又装一次:condacreate-nwes&&sourcea
- 一文详解GATK-HaplotypeCaller 变异检测原理和实战
香菇泡泡青
要点1.GATK-HaplotypeCaller简介2.GATK-HaplotypeCaller的基本组装原理3.GATK-HaplotypeCaller的安装和使用4.GATK-HaplotypeCaller实战hello,大家好,今天为大家带来关于变异检测工具GATK-HaplotypeCaller超详细安装及应用教程。我们将持续为大家带来生物医疗大数据分析一文详解系列文章,欢迎大家关注并星标
- GATK4 conda 安装
Silver_42ac
conda直接gatk并不完整,总会有问题,这里提供摸索后的conda安装解决方法#准备gatkcondaenv.yml,gatkPythonPackageArchive.zip来自下列网址压缩包https://github.com/broadinstitute/gatk/releases/download/4.2.6.1/gatk-4.2.6.1.zip${your_path}=xxxxxx#你
- GATK3
晓佥
1.要分析的序列名称中,一般不要有空格2.准备Reference文件(需为fasta格式)及比对1)Index处理:生成一个ref.fasta.fai的文件2)生成.dict文件:samtoolsfaidxreference.fasta``java-jarpicard-tools/CreateSequenceDictionary.jarR=reference.fastaO=reference.di
- gatk4安装过程
守望一株麦穗
配置环境SLES11PS1,anaconda3#################################$condacreate-ngatk419gatk4~/anaconda3/lib/python3.6/site-packages/requests/__init__.py:104:RequestsDependencyWarning:urllib3(1.26.7)orchardet(2.
- GATK 4.1.4.0 CreateSomaticPanelOfNormals
莎莉噢
最近在做bloodtumorpaired外显子分析流程,看了一下GATK的论坛,在关于用对照样本作过滤的问题上,曾经的设置质量参数作硬性过滤条件的方法已经out,现在GATKbestpractice流程里是用大量正常对照样本训练一个正常模型,应该是用机器学习和算法吧(反正我不懂~).那么基于我的需求也应该走Mutect2的CreateSomaticPanelOfNormals,GATK版本是4.1
- 重测序分析
每天都想睡觉的阿源
通过双端测序的数据比对参考基因组。第一步准备工作(这里只用了拟南芥1号染色体的数据)bwaindex./sequences.fa(bwa建立索引)gatk--java-options"-Xmx8G-Djava.io.tmpdir=./tmp"CreateSequenceDictionary-Rath.chr1/sequences.fa-Oath.chr1/sequences.dict(建立gatk
- R语言发送邮件丨blastula包使用教程
生信分析笔记
后端
R语言自动发送邮件今天分享一个小技巧,用R语言脚本实现STMP邮件自动发送功能。生信分析实际操作过程中,可能会偶尔会遇到耗时比较久的计算,比如基因组上游分析GATK标准流程往往耗时几天时间。使用R语言自动发送邮件,在关键节点及时提醒计算状态,能尽可能的避免浪费时间和无效等待,再也不用加班看结果了,系统自动将运算得到的结果汇报至邮箱(文字、表格、图片等文件都支持)。使用方法首先,需要安装Rstudi
- 一个完整的WGS变异检测snakemake流程详解
BioGou
写在前边的话 在此要感谢碱基矿工,第一次做全外显子测序的变异检测时便是参考了他写的教程,当时的GATK还是3.8版本,而现在已经是4.1了。使用GATK来做变异检测非常好用,但是在有些步骤是非常耗时的,如果不能用多线程去处理的话,尤其是有多个样本时,就会效率很差。所以才打算写一个snakemake流程化处理,最后会附上一个完整脚本供大家参考。第一步:建立index以及下载数据库 Index使用
- WDL
小七玩数据
WDL(一个workflowdescriptionlanguage)+Cromwell(anexecutionenginethatcanrunWDLscripts)是目前可以更好使用GATK的一套工具。阿里云批量计算:https://help.aliyun.com/document_detail/110173.html主要组成workflow,taskandcall。workflow在顶层,用ca
- WGS-variant calling pipeline (变异的探索流程)
lakeseafly
GATK升级4.0版了,作为一个callvariant的非常常用的软件,之前我一直是在使用3.8的版本,这次也正好整理下,将GATK基本分析流程过渡到4.0版本,看看具体有什么异同。GATK4.0最明显的变化是其命令调用发生了改变,可以看看这个就明白了https://software.broadinstitute.org/gatk/documentation/quickstartGATK4.0还集
- GATK4重测序数据怎么分析?上游分析标准流程
生信分析笔记
后端
GATK4×WGS今天分享一篇笔记,主要内容是WGS重测序下机数据fq.gz文件到变异位点信息vcf文件的操作过程,包括序列质控过滤、基因组比对、检测变异、合并VCF等步骤。本篇笔记只涉及代码步骤,均已测试过,不提供示例数据,有需要可以用公开发表数据进行学习。关键词:WGS、GATK4、samtools、vcftools、fastp、picard。什么是WGS重测序?重测序是指在基因组学研究中,通
- 植物重测序---变异位点分析(GATK篇)
LiuYueRR
基因组变异的类型有很多,譬如:单核苷酸多态性(singlenucleotidepolymorphism,SNP)、单核苷酸位点变异(singlenucleotidevariant,SNV)、插入/缺失(Insertion/Deletion.InDel)、基因组拷贝数变异(copynumbervariation,CNV)、基因组结构变异(structurevariation,SV)、融合基因(Fus
- GATK ApplyBQSRSpark 过程中因No space left on device终止
骑行去看海
debugbug生物信息linux
Error:GATKApplyBQSRSpark过程中因Nospaceleftondevice终止执行命令:nohuptime./gatk--java-options"-Xmx128G"ApplyBQSRSpark--spark-masterlocal[20]-R../../alignment/hg38/hg38.fa-I../../alignment/bam/P368T.sorted.markd
- GATK BaseRecalibratorSpark 过程中因Too many open files终止
骑行去看海
debug生物信息Linux
Error:GATKBaseRecalibratorSpark过程中因Toomanyopenfiles终止执行命令:nohuptime./gatk--java-options"-Xmx16G"BaseRecalibratorSpark-R../../alignment/hg38/hg38.fa-I../../alignment/bam/P368T.sorted.markdup.bam--known
- 植物重测序---变异检测(samtools+bcftools篇)
LiuYueRR
植物基因组重测序除了GATK的方法进行变异检测以外,还有samtools+bcftools去进行变异检测。在这里我们不去分析哪一种分析方法好,使用samtools+bcftools的最突出的特点:速度快!其实,samtools+bcftools去进行变异检测的流程很早就有了。但是为什么现在又写一个呢?就是因为:samtools以及bcftools软件逐步更新,里面的参数更改的太快了,以致于网络上很
- RNAseq相关
昌平厄齐尔
数据下载sra下载ncbi数据star比对star软件的简单使用star官方文档gatk流程image.png
- GATK-变异流程2
家和建材广场
上次我们整理到bwa比对后得到bam文件,下一步我们要通过GATK流程从bam文件中callvariant。一、使用GATK前须知事项:对GATK的测试主要使用的是人类全基因组和外显子组的测序数据,而且全部是基于illumina数据格式,目前还没有提供其他格式文件(如IonTorrent)或者实验设计(RNA-Seq)的分析方法。GATK是一个应用于前沿科学研究的软件,不断在更新和修正,因此,在使
- snpEff注释结果解读
生信学习小达人
命令linux
目录1.帮助文档1.1常用参数2.命令的用法:3.结果文件解读4.SNP下游的分析利用snpEff软件对snp.vcf(利用gatk软件calling-snp)进行注释,运行下述命令:##构建好物种的数据库java-jar/opt/snpEff/snpEff.jarbuild-c./snpEff.config-gtf22-vAth10M##进行注释java-jar/opt/snpEff/snpEf
- 通过Docker安装GATK分析工具包
虾里巴人
分享者:栾生GATK是GenomeAnalysisToolKit的缩写,是一款从高通量测序数据中分析变异信息的软件,是目前最主流的snpcalling软件之一。GATK设计之初是用于分析人类的全外显子和全基因组数据,随着不断发展,现在也可以用于其他的物种,还支持CNV和SV变异信息的检测。在官网上,提供了完整的分析流程,叫做GATKBestPractices。浏览GATK官网,会发现GATK4的安
- 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题
何必如此
jsp超链接文件下载窗口
生成下载页面是需要选择“录入提交页面”,生成之后默认的下载页面<a>标签超链接为:<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
- 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析
bit1129
cluster
在分析源代码之前,首先对Standalone Cluster Mode的资源调度有一个基本的认识:
首先,运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下,Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU,这就需要Maste
- linux上独立安装部署spark
daizj
linux安装spark1.4部署
下面讲一下linux上安装spark,以 Standalone Mode 安装
1)首先安装JDK
下载JDK:jdk-7u79-linux-x64.tar.gz ,版本是1.7以上都行,解压 tar -zxvf jdk-7u79-linux-x64.tar.gz
然后配置 ~/.bashrc&nb
- Java 字节码之解析一
周凡杨
java字节码javap
一: Java 字节代码的组织形式
类文件 {
OxCAFEBABE ,小版本号,大版本号,常量池大小,常量池数组,访问控制标记,当前类信息,父类信息,实现的接口个数,实现的接口信息数组,域个数,域信息数组,方法个数,方法信息数组,属性个数,属性信息数组
}
&nbs
- java各种小工具代码
g21121
java
1.数组转换成List
import java.util.Arrays;
Arrays.asList(Object[] obj); 2.判断一个String型是否有值
import org.springframework.util.StringUtils;
if (StringUtils.hasText(str)) 3.判断一个List是否有值
import org.spring
- 加快FineReport报表设计的几个心得体会
老A不折腾
finereport
一、从远程服务器大批量取数进行表样设计时,最好按“列顺序”取一个“空的SQL语句”,这样可提高设计速度。否则每次设计时模板均要从远程读取数据,速度相当慢!!
二、找一个富文本编辑软件(如NOTEPAD+)编辑SQL语句,这样会很好地检查语法。有时候带参数较多检查语法复杂时,结合FineReport中生成的日志,再找一个第三方数据库访问软件(如PL/SQL)进行数据检索,可以很快定位语法错误。
- mysql linux启动与停止
墙头上一根草
如何启动/停止/重启MySQL一、启动方式1、使用 service 启动:service mysqld start2、使用 mysqld 脚本启动:/etc/inint.d/mysqld start3、使用 safe_mysqld 启动:safe_mysqld&二、停止1、使用 service 启动:service mysqld stop2、使用 mysqld 脚本启动:/etc/inin
- Spring中事务管理浅谈
aijuans
spring事务管理
Spring中事务管理浅谈
By Tony Jiang@2012-1-20 Spring中对事务的声明式管理
拿一个XML举例
[html]
view plain
copy
print
?
<?xml version="1.0" encoding="UTF-8"?>&nb
- php中隐形字符65279(utf-8的BOM头)问题
alxw4616
php中隐形字符65279(utf-8的BOM头)问题
今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror.
调试:
1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题.
2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.
 
- 调用对象是否需要传递对象(初学者一定要注意这个问题)
百合不是茶
对象的传递与调用技巧
类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看
为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇)
类和对象的基础概念:
JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
- JDK1.5 AtomicLong实例
bijian1013
javathreadjava多线程AtomicLong
JDK1.5 AtomicLong实例
类 AtomicLong
可以用原子方式更新的 long 值。有关原子变量属性的描述,请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中(如以原子方式增加的序列号),并且不能用于替换 Long。但是,此类确实扩展了 Number,允许那些处理基于数字类的工具和实用工具进行统一访问。
 
- 自定义的RPC的Java实现
bijian1013
javarpc
网上看到纯java实现的RPC,很不错。
RPC的全名Remote Process Call,即远程过程调用。使用RPC,可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例,从中可以看到RPC如何
- 【RPC框架Hessian一】Hessian RPC Hello World
bit1129
Hello world
什么是Hessian
The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
- 【Spark九十五】Spark Shell操作Spark SQL
bit1129
shell
在Spark Shell上,通过创建HiveContext可以直接进行Hive操作
1. 操作Hive中已存在的表
[hadoop@hadoop bin]$ ./spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Welcom
- F5 往header加入客户端的ip
ronin47
when HTTP_RESPONSE {if {[HTTP::is_redirect]}{ HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
- java-61-在数组中,数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5,
bylijinnan
java
思路来自:
http://zhedahht.blog.163.com/blog/static/2541117420116135376632/
写了个java版的
public class GreatestLeftRightDiff {
/**
* Q61.在数组中,数字减去它右边(注意是右边)的数字得到一个数对之差。
* 求所有数对之差的最大值。例如在数组
- mongoDB 索引
开窍的石头
mongoDB索引
在这一节中我们讲讲在mongo中如何创建索引
得到当前查询的索引信息
db.user.find(_id:12).explain();
cursor: basicCoursor 指的是没有索引
&
- [硬件和系统]迎峰度夏
comsci
系统
从这几天的气温来看,今年夏天的高温天气可能会维持在一个比较长的时间内
所以,从现在开始准备渡过炎热的夏天。。。。
每间房屋要有一个落地电风扇,一个空调(空调的功率和房间的面积有密切的关系)
坐的,躺的地方要有凉垫,床上要有凉席
电脑的机箱
- 基于ThinkPHP开发的公司官网
cuiyadll
行业系统
后端基于ThinkPHP,前端基于jQuery和BootstrapCo.MZ 企业系统
轻量级企业网站管理系统
运行环境:PHP5.3+, MySQL5.0
系统预览
系统下载:http://www.tecmz.com
预览地址:http://co.tecmz.com
各种设备自适应
响应式的网站设计能够对用户产生友好度,并且对于
- Transaction and redelivery in JMS (JMS的事务和失败消息重发机制)
darrenzhu
jms事务承认MQacknowledge
JMS Message Delivery Reliability and Acknowledgement Patterns
http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/
Transaction and redelivery in
- Centos添加硬盘完全教程
dcj3sjt126com
linuxcentoshardware
Linux的硬盘识别:
sda 表示第1块SCSI硬盘
hda 表示第1块IDE硬盘
scd0 表示第1个USB光驱
一般使用“fdisk -l”命
- yii2 restful web服务路由
dcj3sjt126com
PHPyii2
路由
随着资源和控制器类准备,您可以使用URL如 http://localhost/index.php?r=user/create访问资源,类似于你可以用正常的Web应用程序做法。
在实践中,你通常要用美观的URL并采取有优势的HTTP动词。 例如,请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
- MongoDB查询(4)——游标和分页[八]
eksliang
mongodbMongoDB游标MongoDB深分页
转载请出自出处:http://eksliang.iteye.com/blog/2177567 一、游标
数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制,从shell中定义一个游标非常简单,就是将查询结果分配给一个变量(用var声明的变量就是局部变量),便创建了一个游标,如下所示:
> var
- Activity的四种启动模式和onNewIntent()
gundumw100
android
Android中Activity启动模式详解
在Android中每个界面都是一个Activity,切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。
Android总Activity的启动模式分为四种:
Activity启动模式设置:
<acti
- 攻城狮送女友的CSS3生日蛋糕
ini
htmlWebhtml5csscss3
在线预览:http://keleyi.com/keleyi/phtml/html5/29.htm
代码如下:
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
- 读源码学Servlet(1)GenericServlet 源码分析
jzinfo
tomcatWebservlet网络应用网络协议
Servlet API的核心就是javax.servlet.Servlet接口,所有的Servlet 类(抽象的或者自己写的)都必须实现这个接口。在Servlet接口中定义了5个方法,其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。
先看javax.servlet.servlet接口源码:
package
- JAVA进阶:VO(DTO)与PO(DAO)之间的转换
snoopy7713
javaVOHibernatepo
PO即 Persistence Object VO即 Value Object
VO和PO的主要区别在于: VO是独立的Java Object。 PO是由Hibernate纳入其实体容器(Entity Map)的对象,它代表了与数据库中某条记录对应的Hibernate实体,PO的变化在事务提交时将反应到实际数据库中。
实际上,这个VO被用作Data Transfer
- mongodb group by date 聚合查询日期 统计每天数据(信息量)
qiaolevip
每天进步一点点学习永无止境mongodb纵观千象
/* 1 */
{
"_id" : ObjectId("557ac1e2153c43c320393d9d"),
"msgType" : "text",
"sendTime" : ISODate("2015-06-12T11:26:26.000Z")
- java之18天 常用的类(一)
Luob.
MathDateSystemRuntimeRundom
System类
import java.util.Properties;
/**
* System:
* out:标准输出,默认是控制台
* in:标准输入,默认是键盘
*
* 描述系统的一些信息
* 获取系统的属性信息:Properties getProperties();
*
*
*
*/
public class Sy
- maven
wuai
maven
1、安装maven:解压缩、添加M2_HOME、添加环境变量path
2、创建maven_home文件夹,创建项目mvn_ch01,在其下面建立src、pom.xml,在src下面简历main、test、main下面建立java文件夹
3、编写类,在java文件夹下面依照类的包逐层创建文件夹,将此类放入最后一级文件夹
4、进入mvn_ch01
4.1、mvn compile ,执行后会在