儒雅随和王小板
儒雅随和王小板

Docker封装生物信息学分析有参流程

1.环境配置

下载docker到服务器，并启动

问题：

1.docker权限

2.选择系统

3.软件安装

4.挂载加上目录 -v

5.json文件参数配置

6.镜像与容器

7.封装

容器封装镜像命令

docker commit 容器ID rna:v1.0

首先后台运行镜像

docker run -itd --name rna_test -v /data/xczhang/RNA_seq/pipline/RNA-seq_pipeline:/data/RNA  ubuntu

进入容器

docker exec -it 容器ID /bin/bash

配置容器环境

1.apt-getinstall vim

2.apt-getinstall wget

3.安装R

apt-getinstall  r-base

4.安装java

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%[2Fwww.oracle.com%2F;](http://2fwww.oracle.com%2f%3b/)oraclelicense=accept-securebackup-cookie" "[http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz](http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz)"

tar -zxvf jdk-8u161-linux-x64.tar.gz #解压

#重命名为JDK8

mv jdk1.8.0_161 jdk8

配置环境变量

sudo vim /etc/profile #打开环境变量配置文件

增加下面内容到该文件最后

export JAVA_HOME=/usr/local/src/jdk8

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使环境生效

source /etc/profile

2.软件安装

5.安装FastQC-0.11.5

nohup wget -c[http://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.11.5.zip](http://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.11.5.zip)

unzip 不用编译直接使用

6.Trimmomatic-0.38安装

wget[http://www.usadellab.org/cms/uploads/supplementary/Trimmomatic/Trimmomatic-0.38.zip](http://www.usadellab.org/cms/uploads/supplementary/Trimmomatic/Trimmomatic-0.38.zip)

java -jar trimmomatic-0.38.jar

7.samtools-1.4下载

wget [https://github.com/samtools/samtools/releases/download/1.4/samtools-1.4.tar.bz2](https://github.com/samtools/samtools/releases/download/1.4/samtools-1.4.tar.bz2)

./configure --prefix=/home/vip47/biosoft/samtools-1.9

make

make install

8.hisat2-2.1.0下载

直接可以用

wget

[ftp://ftp.ccb.jhu.edu/pub/infphilo/hisat2/downloads/hisat2-2.1.0-Linux_x86_64.zip](ftp://ftp.ccb.jhu.edu/pub/infphilo/hisat2/downloads/hisat2-2.1.0-Linux_x86_64.zip)

9.StringTie下载

直接可以用

wget   [http://ccb.jhu.edu/software/stringtie/dl/stringtie-1.3.3b.Linux_x86_64.tar.gz](http://ccb.jhu.edu/software/stringtie/dl/stringtie-1.3.3b.Linux_x86_64.tar.gz)

10.cufflinks下载

直接可以用

wget

[http://cole-trapnell-lab.github.io/cufflinks/assets/downloads/cufflinks-2.2.1.Linux_x86_64.tar.gz](http://cole-trapnell-lab.github.io/cufflinks/assets/downloads/cufflinks-2.2.1.Linux_x86_64.tar.gz)

从另一个服务器复制文件到其他服务器命令

scp cufflinks-2.2.1.Linux_x86_64.tar.gz  zhangxc@IP:/data/xczhang/RNA_seq/pipline/RNA-seq_pipeline/PE/

从服务器复制文件到docker容器命令

docker cp cufflinks-2.2.1.Linux_x86_64.tar.gz rna_test:/home/ubuntu/SSD/software/

11.STAR下载

直接可以用

wget -c[https://github.com/alexdobin/STAR/archive/2.7.3a.tar.gz](https://github.com/alexdobin/STAR/archive/2.7.3a.tar.gz)

12.STAR-Fusion下载

wget[https://github.com/STAR-Fusion/STAR-Fusion/releases/download/STAR-Fusion-v1.8.1/STAR-Fusion-v1.8.1.FULL.tar.gz](https://github.com/STAR-Fusion/STAR-Fusion/releases/download/STAR-Fusion-v1.8.1/STAR-Fusion-v1.8.1.FULL.tar.gz)

13.jq命令安装

apt-get install jq

14.q30下载q30-master/q30.py

网址  [https://github.com/dayedepps/q30/find/master](https://github.com/dayedepps/q30/find/master)

fastq模块也在这个网址下

15.python安装

apt-get install python

pip命令未找到

/etc/apt/sources.list 文件添加软件源

wget[https://bootstrap.pypa.io/get-pip.py](https://bootstrap.pypa.io/get-pip.py)

下载并 python get-pip.py

16.homo基因组下载建立hisat索引

直接下载hisat2索引文件

mwget -n 30[https://cloud.biohpc.swmed.edu/index.php/s/grch37_tran/download](https://cloud.biohpc.swmed.edu/index.php/s/grch37_tran/download)

17.STAR-fusion安装

安装conda

conda install -c bioconda star-fusion

从pkgs中找到 STAR-Fusion-v1.8.1.FULL.tar.gz 重新解压修改bin目录下可执行程序路径

注意要先添加STAR软件路径到环境变量

18.报错02-alignSummary.sh: line 18: bc: command not found

解决：apt-get install bc

19.STAR比对fa文件

wget   

[ftp://ftp.ensembl.org/pub/release-75/fasta/homo_sapiens/dna/Homo_sapiens.GRCh37.75.dna.toplevel.fa.gz](ftp://ftp.ensembl.org/pub/release-75/fasta/homo_sapiens/dna/Homo_sapiens.GRCh37.75.dna.toplevel.fa.gz)

gtf文件

20.cufflinks测试

bash 03-assemblyCuff.sh 脚本运行正常  生成样本转录本文件

bash 03-gtfMerge.sh 脚本运行正常

转录本重新组装cuffmerge、gffread定量

Cuffcompare是将组装后的转录本与参考基因组的转录本进行比较，从而对比对结果进行分类

对于stringtie组装后的gtf文件，想将组装后的转录本的序列从对应的参考基因组上提取出来，这时就可以用gffread

21.cuffdiff转录本定量

bash  04-dge.sh

22.筛选差异基因阈值 q-value < 0.05

23.dge基因图片展示

bash 05-cuffPlot.sh

报错R包缺失there is no package called 'cummeRbund'

安装依赖包install.packages("RSQLite") 

install.packages("ggplot2") 

install.packages("plyr") 

install.packages("fastcluster") 

install.packages("BiocManager")

BiocManager::install("rtracklayer")

BiocManager::install("Gviz")

BiocManager::install("BiocGenerics")

BiocManager::install("cummeRbund")

报错

library安装未成功

apt-get install libcurl4-gnutls-dev

apt-get install libxml2-dev

apt-get install openssl 

apt-get install libssl-dev

安装成功！

bash 05-cuffPlot.sh正常运行图片生成正常

生成DGE目录

24，dge基因富集分析GO KEGG

报错 缺失R包

1.there is no package called 'topGO'

2.there is no package called 'clusterProfiler'

3.there is no package called 'org.Hs.eg.db'

解决办法：

BiocManager::install("topGO")

BiocManager::install("Rgraphviz")

BiocManager::install("clusterProfiler")

BiocManager::install("org.Hs.eg.db")

25.KEGG富集分析报错

Error in setReadable(kegg, OrgDb = org.Hs.eg.db, keytype = "ENTREZID") :

  unused argument (keytype = "ENTREZID")

解决办法：

kegg2<-setReadable(kegg, OrgDb = org.Hs.eg.db, keytype = "ENTREZID")

改为：

kegg2<-setReadable(kegg, OrgDb = org.Hs.eg.db, keyType = "ENTREZID")

26.镜像导出入导入

整个流程测试完成后镜像name为rna：1.0

使用save命令将镜像打包成tar文件，cp到其他服务器用load命令导入，完成流程部署

镜像导入： docker save -o rna_seq.tar rnaseq:v2.0

镜像导出：docker load -i rna_seq.tar

27.融合基因分析

数据库下载

[https://data.broadinstitute.org/Trinity/CTAT_RESOURCE_LIB/__genome_libs_StarFv1.8/GRCh37_gencode_v19_CTAT_lib_Oct012019.plug-n-play.tar.gz](https://data.broadinstitute.org/Trinity/CTAT_RESOURCE_LIB/__genome_libs_StarFv1.8/GRCh37_gencode_v19_CTAT_lib_Oct012019.plug-n-play.tar.gz)

选择版本下载

bash 06-fusionDetc.sh 报错

Can't locate Set/IntervalTree.pm in @INC (you may need to install the Set::IntervalTree module)

安装缺少perl模块

install Set::IntervalTree

再次报错缺少模块

install  JSON::XS

再次报错

Argument "brkpt_donorA" isn't numeric in preincrement (++) at /home/ubuntu/SSD/software/star-fusion/lib/STAR-Fusion/util/STAR-Fusion.map_chimeric_reads_to_genes line 379, <$fh> line 1.

Can't use an undefined value as an ARRAY reference at /home/ubuntu/SSD/software/star-fusion/lib/STAR-Fusion/util/STAR-Fusion.map_chimeric_reads_to_genes line 511, <$fh> line 1.

谷歌显示版本未兼容

解决办法：

软件版本：star-fusion-1.6.0-0.tar.bz2

STAR-2.7.3a

数据库版本

重新下载star-fusion-1.9.0软件 STAR暂时不换 数据库版本符合

下载地址：

[https://github.com/STAR-Fusion/STAR-Fusion/releases/download/STAR-Fusion-v1.9.0/STAR-Fusion.v1.9.0.FULL.tar.gz](https://github.com/STAR-Fusion/STAR-Fusion/releases/download/STAR-Fusion-v1.9.0/STAR-Fusion.v1.9.0.FULL.tar.gz)

不用编译

再次运行脚本

* STAR-Fusion complete.  See output: /data/RNA/RNA_test/nCov9/FusionDetc/star-fusion.fusion_predictions.tsv (or .abridged.tsv version)

![image](https://upload-images.jianshu.io/upload_images/14081483-7b8c71155a26459c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

进行进度json文件生成

思路：

每运行一个模块，生成该模块的结果json，并判断是否出错，通过err = 0控制

通过config文件传参，得到样本，任务ID，模块名称，索引等信息，

新建固定字典，通过上面json文件里的值更新字典，并生成结果json文件

运行脚本例子：

python star_pipline.py -i /data/analysis-dir/config.json

修改流程

1.新建run_rna_seq.py 整理json 并生成job配置文件，运行pipeline.sh

2.修改pipeline.sh 添加step.py 目的流程中增加进度反馈，

每运行一个bash脚本，判断err，并进行下一步bash

3.发送QC报告与结果报告

run_rna_seq.py 总运行脚本--目的 生成最终json文件 并运行bash模块

sendMessage.sh 发送信息脚本里调用sh为另一个bash脚本

step.py 判断出错

发送QC报告

将模板QC_json文件填充，然后发送

发送结题报告

流程测试问题：

1.中文显示问题：导致发送进度日志报错

export LANG="C.UTF-8"

source /etc/profile

使用Dockerfile 生成镜像

docker build -t second:v1.0 .

然后集群启动bash脚本 通过-v 挂载目录 运行成功！

你可能感兴趣的:(Docker封装生物信息学分析有参流程)

  • 处理没有提示的字符串、计算相隔天数应用题 malloc-free 算法c语言
    正常情况下，小云每天跑1千米。如果某天是周一或者月初（1日），为了激励自己，小云要跑2千米。如果同时是周一或月初，小云也是跑2千米。小云跑步已经坚持了很长时间，从1990年1月1日周一（含）到2022年2月20日周日（含）。请问某一天小云总共跑步多少千米？输入格式:有多组数据，每行为三个正整数，且不超过小云跑步日期的范围。输出格式:对每一组输入，在一行中输出小云总共跑步多少千米。输入样例:2020
  • 21天学通C++第八章——指针 不想睡觉_ QT客户端学习路线c++开发语言
    C++虽然可以动态的管理内存，但是并不能像其他高级语言如JAVA、C#有自动垃圾收集器去对应用程序的内存进行清理。常见指针错误内存泄漏解释：在使用完new申请内存之后，没有配套的delete，则之后会产生内存泄漏。即如何理解，当ptr指向new1，使用完成以后未使用delete对new1所占用的空间释放，然后又将ptr=new2，则会产生内存泄漏，即new1未被释放的同时也没有指针指向，即产生内存
  • 4.指派问题匈牙利解法以及其优化 HughSylar 转载z
    指派问题匈牙利解法以及其优化本人第一次写blog，难免有不足之处，还请大家不吝指正。1、问题的提出简单的说，n个人恰好分别承担n个任务，每个人对于不同的任务效率不同；我们的目的就是为使任务完成效率尽可能的高。例如：有4个工人，要分别指派他们完成4项不同的工作，每人做各项工作所消耗的时间如下表所示，问应如何指派工作，才能使总的消耗时间为最少。若用0-1整数规划问题的常规思路来解，即：解：令xij=1
  • python中drop用法 去重_如何使用drop_duplicates进行简单去重（入门篇） weixin_39991055 python中drop用法去重
    什么是去重呢？简单来说，数据去重指的是删除重复数据。在一个数字文件集合中，找出重复的数据并将其删除，只保存唯一的数据单元。在我们的数据预处理过程中，这是一项我们经常需要进行的操作。去重有哪些好处？节省存储空间提升写入性能提高模型精度今天我们就来简单介绍一下，在pandas中如何使用drop_duplicates进行去重。一、函数体及主要参数函数体：df.drop_duplicates(subset
  • python中legend设置_如何使用python legend()函数？ weixin_39906130 python中legend设置
    当我们需要去设置一个图示，并且在细节掌控上需要我们对于背景的颜色，以及边框颜色等属性，需要去做处理的时候，一般大家想到的模块或者函数都只能解决部分。结合起来可以完成上述所说的要求，但是有一个函数是专门为制定个性化的图例而工作的，这就是本章要跟大家介绍的legend()函数。函数功能：设置图例的字体、大小、颜色等属性，制定个性化。函数语法：plt.legend()函数参数：Loc，指代地理位置实例代
  • 新一代实时神器-Fluss初识及部署 本旺 大数据FlinkFlussflink大数据数据结构etl
    Fluss简介Fluss是一种为实时分析而构建的流式存储，可以用作Lakehouse架构的实时数据层。Fluss支持亚秒级延迟的流式读取和写入，并以列格式存储数据，从而提高查询性能并降低存储成本。它提供灵活的表类型，包括仅追加日志表和可更新的PrimaryKey表，以满足不同的实时分析和处理需求。在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中
  • linux进程状态Ds,Linux下ps aux中进程状态为Ss，S+, Rs，Ds是什么意思？ weixin_39816062 linux进程状态Ds
    系统维护的时候难免会遇到进程的状态的查询和管理，到底什么是R，有的是S，有的还是S+呢？一直有些混沌的问题，今天细细的来总结一下：PS是用来报告系统中程序执行状况的命令这个是无可厚非的，linux进程的状态：D不可中断睡眠(通常是在IO操作)收到信号不唤醒和不可运行,进程必须等待直到有中断发生R正在运行或可运行(在运行队列排队中)S可中断睡眠(休眠中,受阻,在等待某个条件的形成或接受到信号)T已停
  • Pandas数据预处理——drop_duplicates()函数 Vous oublie@ python学习数据分析pythonpandas数据分析
    Pandas是一个强大的数据分析工具，可以用于数据预处理、数据清洗、数据分析和可视化等多个领域。在数据预处理中，数据去重是非常重要的一个步骤。Pandas提供了drop_duplicates()函数来实现数据去重，可以根据指定的列或行进行去重操作。下面是使用drop_duplicates()函数实现数据去重的示例代码：importpandasaspd#读取csv文件df=pd.read_csv('
  • 解决docker: Error response from daemon: Get “https://registry-1.docker.io/v2/“: net/http: request canc 码农甘道夫 dockerk8sdocker容器
    解决docker:Errorresponsefromdaemon:Get“https://registry-1.docker.io/v2/”:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders).首先进入/etc/docker/daemon.json文件然后在里面加
  • SD ComfyUI工作流 平面模型房屋3D渲染 Mr数据杨 StableDiffusionAI绘画ComfyUIAI绘画
    文章目录平面模型房屋3D渲染SD模型Node节点工作流程开发与应用效果展示平面模型房屋3D渲染此工作流是为将平面模型房屋图转换为3D渲染而设计，利用先进的模型和节点处理图像，增加细节和色彩，以及通过超分辨率技术增强最终图像的清晰度。流程从加载图像开始，经过一系列的处理步骤，包括图像缩放、条件编码、模型加载，最终通过高级放大技术提高图像分辨率，以达到高清的视觉效果。SD模型模型名称说明majicMI
  • 提升YOLOv8性能：用Swin Transformer替换Backbone的详细实现与分析【YOLOv8】 步入烟尘 YOLO系列创新涨点超专栏YOLOv8YOLO目标跟踪
    本专栏专为AI视觉领域的爱好者和从业者打造。涵盖分类、检测、分割、追踪等多项技术，带你从入门到精通！后续更有实战项目，助你轻松应对面试挑战！立即订阅，开启你的YOLOv8之旅！专栏订阅地址：https://blog.csdn.net/mrdeam/category_12804295.html文章目录YOLOv8改进|主干篇|SwinTransformer替换Backbone（附代码+详细修改步骤+
  • 海外抖音技术深度解析：算法、AI与全球化的挑战 神探阿航 计算机产业科普与思考算法人工智能机器学习数据挖掘深度学习
    引言2025年1月19日，在美国宣布暂停服务，这一事件引发了全球用户的广泛关注。作为全球最受欢迎的短视频平台之一，其成功离不开其强大的技术支撑，尤其是其个性化推荐算法和AI驱动的创作工具。然而，随着全球市场环境的变化，它面临的技术与运营挑战也日益凸显。本文将深入分析其技术核心、全球化运营中的挑战及其未来发展方向。核心：个性化推荐引擎其算法是其成功的关键，其核心在于个性化推荐引擎。该引擎采用深度学习
  • 《数据关联的艺术：揭开MySQL与图数据库结合的高级可视化探索》 墨夶 数据库学习资料2数据库mysql
    在这个信息爆炸的时代，企业和研究者们面临着从海量数据中挖掘有价值信息的巨大挑战。传统的关系型数据库如MySQL虽然擅长处理结构化数据，但在面对复杂的关系网络时显得力不从心。而图数据库以其独特的架构优势，能够高效地表示和查询实体之间的多层关系。当我们将这两种技术结合起来，并辅以强大的可视化工具时，便开启了一扇通往更深层次数据分析的大门。本文将深入探讨如何通过MySQL与图数据库的结合来实现高级可视化
  • 如何运用Python爬虫快速获得1688商品详情数据 小爬虫程序猿 APIpython爬虫开发语言
    在数字化时代，数据的价值日益凸显，尤其是在电商领域。对于企业来说，获取竞争对手的商品信息是分析市场趋势、制定营销策略的重要手段。1688作为中国领先的B2B电商平台，拥有海量的商品数据。本文将介绍如何使用Python编写爬虫程序，以合法合规的方式快速获取1688商品详情，为电商企业提供数据支持。1.环境准备在开始编写代码之前，我们需要准备以下开发环境：Python3.x：确保已安装Python3.
  • Tomcat 假死原因分析 2401_87378716 tomcatpythonjava
    1.tomcatjvm内存溢出分析当时的gc.log7581861.927:[GC7581861.927:[ParNewDesiredsurvivorsize76677120bytes,newthreshold15(max15)-age1:5239168bytes,5239168total:749056K->10477K(898816K),0.0088550secs]1418818K->68023
  • AI与API的融合：构建智能互联技术世界的基石 IT数据V+I7809804594 人工智能数据分析python爬虫大数据
    在当今科技飞速发展的时代，人工智能（AI）与应用程序接口（API）的融合正在开启智能应用的新纪元。AI以其强大的数据处理和分析能力，正在改变各行各业的工作方式，而API则作为连接技术与应用的桥梁，为AI技术的普及和应用提供了无限可能。本文将深入探讨AI与API的融合如何推动智能应用的创新和发展，以及其在各个领域的应用和前景。一、AI与API融合的背景随着大数据、云计算、物联网等技术的快速发展，人工
  • C语言期末必练题目——part 2 Kylin524 C语言期末c语言算法c++
    读程序基本输入输出及流程控制1.#includemain(){inta=1,b=3,c=5;if(c==a+b)printf("yes\n");elseprintf("no\n");}运行结果为：no详见教材p89选择结构详见教材p91关系符号详见附录Dp378符号的优先级==表示判断符号两边的值是否相等；=表示将符号右边的值赋给左边的变量本题考点是选择结构3种基本形式的第二种选择结构三种一般形式
  • PAT (Basic Level) Practice 乙级1001-1020 今天_也很困 算法数据结构c++
    制作不易，大家的点赞和关注就是我更新的动力！由于这些题全是大一寒假刷的，部分还是c语言，部分的解题方法比较复杂，希望大家体谅。有问题欢迎大家在评论区讨论，有不足也请大家指出，谢谢大家！温馨提示：可以点目录跳转到相应题目哦。1001害死人不偿命的(3n+1)猜想分数15作者CHEN,Yue单位浙江大学卡拉兹(Callatz)猜想：对任何一个正整数n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么
  • python微博 关键词 爬虫 嵌入式开发项目 2025年爬虫精通专栏python爬虫开发语言媒体
    目录记一次阿里云盾滑块验证分析并通过操作环境数据接口proxy配置根据关键词获取userid根据userid获取信息数据保存数据：记一次阿里云盾滑块验证分析并通过操作环境win10、macPython3.9数据接口搜索https://**********?containerid=100103type%3D{chanenl}%26q%3D{quote(self.words)}&page_type=s
  • python matplotlib legend()参数详解 请一直在路上 pythonmatplotlib开发语言
    在Python的Matplotlib库中，legend函数用于添加图例，帮助解释图表中不同数据系列或数据点的含义。legend函数有很多参数，可以自定义图例的各个方面，从位置到样式，从字体大小到边框。下面是一些常用参数的详细解释：importmatplotlib.pyplotasplt#创建一些数据x=[1,2,3,4]y1=[1,4,9,16]y2=[1,2,3,4]#绘制数据plt.plot(
  • Python+Pytest+Allure+Git+Jenkins数据驱动接口自动化测试框架_python+pytest+allure+jenkins架构 2401_87378716 pythonpytestgit
    接口测试流程1、需求评审，熟悉业务和需求2、开发提供接口文档3、编写接口测试用例4、用例评审5、提测后开始测试6、提交测试报告两种常见的HTTP请求方法：GET和POST二、项目说明本框架是一套基于Python+Pytest+Requests+Allure+Jenkins而设计的数据驱动接口自动化测试的框架。技术栈Python、Pytest、Requests、Pactverity、Excel、Js
  • docker arm/amd双架构镜像制作 码农在失业 dockerdocker容器
    多架构打包DockerforLinux不支持构建arm架构镜像，我们可以运行一个新的容器让其支持该特性，Docker桌面版无需进行此项设置。dockerrun--rm--privilegedtonistiigi/binfmt:latest--installall由于Docker默认的builder实例不支持同时指定多个--platform，我们必须首先创建一个新的builder实例dockerbu
  • 一个产品从开发到上线需要几个步骤 yqcoder javascript前端
    一、需求分析与规划1.需求收集与客户、市场团队、用户等进行沟通，收集对产品的功能、性能、外观、用户体验等方面的需求。可以通过问卷调查、用户访谈、竞品分析等方式获取需求信息。2.需求分析对收集到的需求进行详细分析，明确需求的优先级、可行性和相互关系。分析过程中要考虑技术实现难度、成本、时间等因素，确保需求合理且可实现。3.产品规划根据需求分析结果，制定产品的整体规划，包括产品的定位、目标用户群体、功
  • Prometheus Alertmanager设置与告警规则配置详解 范范0825 prometheus
    PrometheusAlertmanager设置与告警规则配置详解Prometheus是一个开源的监控和告警系统，其设计理念是通过时间序列数据库存储指标数据，并通过多维数据模型和查询语言进行数据分析。Prometheus的告警系统由两部分组成：Prometheus服务器本身和Alertmanager。Alertmanager负责接收来自Prometheus的告警，执行通知的分发、抑制和聚合。本文将
  • java和kotlin混合开发 崔佳彤 javakotlin开发语言android
    Java和Kotlin混合开发指南1.整体流程首先，让我们看一下实现Java和Kotlin混合开发的整体流程：步骤内容1创建一个新的Android项目2在项目中添加Kotlin支持3创建Kotlin文件4在Java中调用Kotlin代码5在Kotlin中调用Java代码2.每一步的操作步骤1：创建一个新的Android项目在AndroidStudio中创建一个新的Android项目，选择Empty
  • 【JVM-9】Java性能调优利器：jmap工具使用指南与应用案例 AllenBright #JVMjvmjava开发语言
    在Java应用程序的性能调优和故障排查中，jmap（JavaMemoryMap）是一个不可或缺的工具。它可以帮助开发者分析Java堆内存的使用情况，生成堆转储文件（HeapDump），并查看内存中的对象分布。无论是内存泄漏、堆内存溢出，还是对象分布不均的问题，jmap都能提供关键的数据支持。本文将详细介绍jmap的使用方法，并结合实际案例展示其应用场景。1.什么是jmap？jmap是JDK自带的一
  • Linux离线安装docker(arm64架构cpu)极速版 gallonyin linuxdocker架构
    之前写过x86版本的快速docker安装部署，现在遇到arm64等架构cpu不适用，主要是因为安装包不通用，因此有这篇文章。cpu测试可以支持鲲鹏cpu或interlarm版本离线安装docker，10分钟极速搞定！亲测适用于CentOS8及其衍生版本。官网下载从官网中选择相应的版本，我选择了最新的包，在联网的环境下载到本地备用https://download.docker.com/linux/s
  • 基于Spring Boot和Vue的人脸识别项目（源码） AI人H哥会Java JAVA大作业项目实战springbootvue.jsjava人工智能计算机视觉后端sql
    背景随着人工智能技术的迅猛发展，生物识别技术的迅猛发展，人脸识别已经成为最具潜力的人工智能应用之一。它不仅在安全监控、金融支付、智能家居等多个领域得到了广泛应用，也逐渐进入日常生活场景。人脸识别作为一种生物特征识别技术，能够通过分析人脸图像中的特征点，实现对个体的身份识别。利用计算机视觉技术，系统能够快速从大量图片中定位并识别特定人脸，实现身份验证和信息检索。这一技术的应用，不仅提高了安全性，还提
  • 图像生成大模型：Imagen 详解 转角再相遇 imagenpython深度学习计算机视觉
    近年来，图像生成技术取得了显著进展，推动了计算机视觉和生成对抗网络（GAN）等领域的发展。Imagen是一个新兴的图像生成大模型，其在生成高质量、逼真图像方面表现出色。本文将详细讲解Imagen的基本原理、架构、训练流程及应用场景。1.Imagen的基本原理1.1什么是Imagen？Imagen是一种基于深度学习的图像生成模型，结合了自注意力机制（Self-attentionMechanism）和
  • 商城项目测试用例设计实战 shengnan_wsn 测试测试用例
    文章目录项目介绍模块测试用例实现步骤1注册模块1需求分析2提取测试点项目介绍注册模块登录模块搜索模块购物车模块订单模块模块测试用例实现步骤需求分析测试点提取用例编写用例执行缺陷管理1注册模块1需求分析查看查看需求文档原型图2提取测试点可以从ui布局和功能考虑
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他