- Gitlab流水线配置
由于格式和图片解析问题,为了更好阅读体验可前往阅读原文流水线的流程是,提交代码后,gitlab会检测项目根目录里的.github-ci.yml文件,根据文件中的流水线自动构建,配置文件格式正确性可以在gitlab进行文件校验,格式使用yaml文件格式,一个yaml文件就是一个流水线,里面会定义多个作业示例stages:-install-build-deployinstall_job:stage:i
- Spark的Web界面
静听山水
Sparkspark
http://localhost:4040/jobs/在顶部导航栏上,可以点击以下选项来查看不同类型的Spark应用信息:Jobs-此视图将列出所有已提交的作业,并提供每个作业的详细信息,如作业ID、名称、开始时间、结束时间等。Stages-此视图可以查看作业分解成的不同阶段,包括每个阶段的任务数、当前状态等。Storage-此视图展示了数据如何在RDDs(弹性分布式数据集)之间进行分层存储,以及
- CI/CD脚本简介,YAML介绍,Editor解析
刘姥姥爱学习
日常开发-pythonci/cdgitgithubyaml
说明:此篇文章纯概念,没有实际操作,实际操作请蹲下一篇!CI/CD理解这段代码是用于配置GitLabCI/CD(ContinuousIntegration/ContinuousDeployment)的YAML语法。GitLabCI/CD是一种自动化软件,用于自动化软件的构建、测试和部署过程。下面是对这段代码的详细解释和翻译配置项描述stages定义了CI/CD流程中的三个阶段:合并请求阶段(mer
- pipeline 语法及常见DSL
wuleijack
jenkinspipeline是jenkins实现持续集成持续部署最核心的部分,pipeline编写2种脚本式和声明式(官方推荐)声明式主要的需要的语法pipeline{agent{}options{}envirment{}stages{stage('build'){steps{script{}}}}}其实脚本式和声明可以相互转换所谓脚本式默认就是groovy脚本当然也可以把脚本写在script中
- .gitlab-ci.yml文件参数
寒山李白
#GitLabgitlabci/cd运维dockerjava容器git
天行健,君子以自强不息;地势坤,君子以厚德载物。每个人都有惰性,但不断学习是好好生活的根本,共勉!文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。文章目录一、参考文档二、保留字三、常用关键字四、注意事项1.stages注意点2.job注意点2.script注意点3.only和except注意点一、参考文档官方文档参考地址:https://docs.gitlab.com/ee/ci
- 【Jenkins】pipeline基本使用
墨撕酒家
jenkinsjenkins运维
目录一、pipeline二、创建pipeline项目1、安装pipeline插件2、创建pipeline项目三、pipeline语法1、pipeline组成2、agent:指定流水线的执行位置,流水线中每个阶段都必须在某个地方执行3、stage:阶段,代表流水线的阶段,每个阶段都必须要有名称,且各个名称不能重名4、stages:stage的集合,stages部分至少包含一个stage5、steps
- gitlab CI/CD 前端持续集成
菜鸟的备忘录
前端服务器相关gitlabci/cd
1,登录服务器-安装gitlab-runner机器人2,注册runnergitlab-runnerregister3,在gitlab-设置-CI/CD-runner里面找到url及注册令牌4,在registerrunner的时候输入对应的url及令牌5,其他都可以随意输入6,.gitlab-ci.yml文件内容stages:-test-build-deploybefore_script:-echo
- jenkins popeline模版
liao__ran
CICDjenkins运维
pipeline{agentany//定义一些可以在整个pipeline中使用的变量environment{//可以使用Jenkins密钥管理中的凭据DOCKER_IMAGE='my-app-image'DOCKER_REGISTRY_CREDENTIALS_ID='my-docker-registry-credentials'}stages{stage('代码拉取'){steps{echo'代码
- GitLab -- CI/CD 报错
小白的码BUG之路
LinuxGitcijavalinux
在执行CICD的时候,爆了下面两个错误.gitlab-ci.yml文件如下:stages:-build-package#构建Jobbuild:stage:buildtags:-diaoTagscript:-echo"=============编译构建任务=============="#打包package:stage:packagetags:-diaoTagscript:-echo"========
- [jenkins]-jenkins使用docker镜像进行编译构建
爷来辣
jenkinsjenkinsdocker运维
导语:记录一下在流水线中使用docker镜像作为构建的环境。缺少插件DockerPipelinegroovy.lang.MissingPropertyException:Nosuchproperty:dockerforclass:groovy.lang.Binding完整流水线如下pipeline{agent{node{label"master"}}stages{stage('WebBuild')
- Auto DevOps之gitlab CI/CD
穹柏
gitlabdevopsci/cd
文章目录CI/CD介绍CI/CD的工作流程ci整体原理安装gitlabrunner1.创建一个由docker管理的volumes2.创建并启动gitlab-runner容器3.注册gitlab-runner4.一些注意点编写.gitlab-ci.yml1.[stages](https://docs.gitlab.com/ee/ci/yaml/#stages)2.job3.[stage](https
- 构建docker镜像并上传到阿里云仓库
嗨安HiAn
docker阿里云jenkins
1、新建项目,配置从gitee拉取项目文件2、配置Jenkinsfile和Dockerfile,并上传到gitee中2、配置Jenkinsfile和Dockerfile,并上传到gitee中#Jenkinsfilepipeline{ agentany stages{ stage("Buildimage"){ steps{ //Dockerfile为镜像docker
- pipeline制品 archiveArtifacts
野猪佩挤
Jenkins
脚本pipeline{agentanyoptions{timestamps()}stages{stage('getcode'){steps{checkout([$class:'GitSCM',branches:[[name:'*/master']],doGenerateSubmoduleConfigurations:false,extensions:[],submoduleCfg:[],userR
- jenkins禁止并行构建
野猪佩挤
Jenkins
参数disableConcurrentBuilds()完整pipelinepipeline{agentanyoptions{timestamps()disableConcurrentBuilds()}stages{stage('getcode'){steps{checkout([$class:'GitSCM',branches:[[name:'*/master']],doGenerateSubmo
- jenkins-cl参数化构建
野猪佩挤
Jenkinsjenkins运维
pipeline片段(对应jenkins-cli-p参数的BRANCH=develop)parameters{string(name:'BRANCH',defaultValue:'master',description:'Enterthebranchname')}stages{stage('GetCode'){steps{script{defbranch=params.BRANCHcheckout
- Jenkins-Pipeline语法总结大全
敲代码敲到头发茂密
jenkins持续集成jenkinsjava运维pythongitgitlab
这里写目录标题pipeline的组成1、pipeline最简单结构1.1、pipeline1.2、stages1.3、stage1.4、steps1.5、agent2、post3、pipeline支持的命令3.1、environment3.2、tools3.3、input3.4、options3.5、parameters3.6、parallel3.7、triggers3.8、whenpipelin
- DevOps搭建(十四)-基于Jenkins流水线方式部署详细步骤
Java高知社区
devopsjenkinselasticsearch
1、新建一个流水线项目进入配置最下方的流水线,可以选择HelloWorld最简单的demo体验。2、编写流水线脚本2.1、编写整体的流水线脚本整体他脚本格式如下,我们只要在对应的//所有的脚本命令都放在pipeline中pipeline{//指定任务在哪个集群节点中执行agentany//声明全局变量,方便后面使用environment{key='value'}stages{stage('拉取gi
- Jenkinsfile 使用说明(1)
phantom_111
jenkins运维
文章目录1.Jenkins是什么2.流水线2.1流水线是什么2.2流水线的分类2.2为什么使用流水线3.声明式流水线——jenkinsfile的语法3.1声明式流水线基础语法3.2典型的声明式流水线例子3.3流水线基础语法详解3.3.1agent(require)3.3.2stages(require)3.3.3stage(require&&alestone)3.3.4steps(require)
- jenkins parallel并行执行job以及pipeline官网
会飞的尼古拉斯
Jenkinsjenkins
pipeline{agent{label'ellis'}stages{stage('Hello'){parallel{stage("BuildEcho"){steps{buildjob:'Echo'}}stage("Buildparams"){steps{buildjob:'params',parameters:[string(name:'testparams',value:'test_param
- spark web ui中skipped的含义
NikolasNull
如图:skippedskipped的stages代表是已经执行过,因此不需要再次执行。举个栗子,你有一个testRdd,先做testRdd.filter(bool).map(x=>x),这个是transform,然后再分别做count和reduce操作。这两个都是action,第一次执行action操作时会执行transform,然后执行第二个action时,transform就会进行skippe
- 【Jenkins】Pipeline 语法解析(声明式Pipeline)
顽石九变
运维jenkinsservletjava
文章目录一、Sections1、agent(代理)agent参数值2、post3、stages(阶段)4、steps(步骤)二、Directives指令1、environment环境变量2、options配置选项可用的选项options3、parameters参数可用的参数Parameters4、triggers触发器Jenkinscron语法5、stage(阶段)6、tools(工具)7、inp
- gitlab-ci.yml 同步https 仓库地址
qq_40157234
gitlabci/cd运维
1.先在要部署的机器上,执行如下命令,输入一次密码后,保存该密码gitconfig--globalcredential.helperstore2.然后执行gitpull命令,然后会提示输入密码,输入密码即可.3.编写gitlab-ci.yml文件stages:-deploy#部署master服务deployMaster:stage:deployscript:-echo"666"-cd/home/v
- faster_rcnn_r50_fpn_1x-dahua
shishengle1024
人工智能
#modelsettingsmodel=dict(type='FasterRCNN',pretrained='torchvision://resnet50',backbone=dict(type='ResNet',depth=50,num_stages=4,out_indices=(0,1,2,3),frozen_stages=1,style='pytorch'),neck=dict(type='
- jenkins流水线(pipline)实例
小李不怕黑
项目部署软件安装jenkins运维
1、pipline语法介绍声明式的pipeline语法格式1.所有的声明都必须包含在pipeline{}中2.块只能有节段,指令,步骤或者赋值语句组成3.阶段:agent,stages,post,steps4.指令:environment,options,parameters,triggers,stage,input,tool,when2、阶段agent:该指令用于指定构建代理的配置。agenta
- Stages—研发过程可视化建模和管理平台
经纬恒润
Stages
产品概述Stages是美国ULSolutions旗下ULMethodParkGmbH的产品,用于帮助企业定义、管理、发布、控制、优化其研发过程,同时使其研发过程符合CMMI、ASPICE、ISO26262等标准。Stages的核心理念是把过程理论和实际项目进行有机结合。Stages聚焦于研发过程的用户体验,允许用户集中访问过程描述信息、项目文档、模板、实践或者技术知识库。在Stages中定义好的过
- 20-Jenkins-Pipeline-顺序执行和并行
爱学习de测试小白
#Jenkinsjenkinspipeline
目录前言顺序执行脚本示例并行执行脚本示例前言本篇学习下stage并行执行顺序执行所有的stage,都会内嵌在最外层的stages{…}一个stage{…}下可以内嵌有且只有一个stages{…}多层嵌套只支持在最后一个stage{…}里面
- DevOps系列---【jenkinsfile使用sshpass发送到另一台服务器】
少年攻城狮
devops服务器java运维开发语言
1.首先在宿主机安装sshpass2.把物理机的sshpass复制到容器中whichsshpasscp$(whichsshpass)/usr/local/app/dockercpsshpass容器id:/usr/local/bin/sshpass3.在jenkinsfile中添加#在stages中添加stagestage('部署TEST服务'){steps{sh"sshpass-proot1234
- gitlab+gitlab-runner 实现CI/CD
新时代的老古董
常用中间件gitlabci/cdgit
一、前言前面我用docker部署了gitlab和gitlab-runner。然后这一篇,我们就要通过gitlab和gitlab-runner来实现CI/CD代码自动化部署流程。大致流程就是,往分支发布代码,yml文件里配置不同分支执行不通脚本。二、编写yml文件首先,我们在我们的项目代码里,写一个.gitlab-ci.yml文件。别的大家可以自己查一下,我这里写了比较简单的。内容如下:stages
- Go并发模式之Pipelines
ethannotlazy
Gogolang开发语言后端
简介Go的并发原语使构建流数据pipeline变得容易,流数据pipeline可以有效地利用I/O和多个CPU。本文介绍了构建此类pipeline的示例,说明了故障发生时go协程永远阻塞的情况,并介绍了健壮地处理故障的方法。何为pipelinePipeline即流水线、管道。一个pipeline是指一系列用通道(channels)连接的阶段(stages),每个阶段是一组运行同一个函数的go协程,
- Gitlab CICD实用技巧汇总
蓝绿色~菠菜
DevOpsgitlabgit
关于.gitlab-ci.yml的实用配置1、stage参数stages:-build-test-deploy相同stage的作业会并行执行,有一个失败,则认为这个stage失败。不同stage的作业会按序执行,前面stage有失败,后续stage不会继续执行。可以使用needs参数改变不同stage之间的依赖关系。2、cache参数cache是一种用于存储和重用构建产物的机制,以加速CI/CD管
- 关于旗正规则引擎中的MD5加密问题
何必如此
jspMD5规则加密
一般情况下,为了防止个人隐私的泄露,我们都会对用户登录密码进行加密,使数据库相应字段保存的是加密后的字符串,而非原始密码。
在旗正规则引擎中,通过外部调用,可以实现MD5的加密,具体步骤如下:
1.在对象库中选择外部调用,选择“com.flagleader.util.MD5”,在子选项中选择“com.flagleader.util.MD5.getMD5ofStr({arg1})”;
2.在规
- 【Spark101】Scala Promise/Future在Spark中的应用
bit1129
Promise
Promise和Future是Scala用于异步调用并实现结果汇集的并发原语,Scala的Future同JUC里面的Future接口含义相同,Promise理解起来就有些绕。等有时间了再仔细的研究下Promise和Future的语义以及应用场景,具体参见Scala在线文档:http://docs.scala-lang.org/sips/completed/futures-promises.html
- spark sql 访问hive数据的配置详解
daizj
spark sqlhivethriftserver
spark sql 能够通过thriftserver 访问hive数据,默认spark编译的版本是不支持访问hive,因为hive依赖比较多,因此打的包中不包含hive和thriftserver,因此需要自己下载源码进行编译,将hive,thriftserver打包进去才能够访问,详细配置步骤如下:
1、下载源码
2、下载Maven,并配置
此配置简单,就略过
- HTTP 协议通信
周凡杨
javahttpclienthttp通信
一:简介
HTTPCLIENT,通过JAVA基于HTTP协议进行点与点间的通信!
二: 代码举例
测试类:
import java
- java unix时间戳转换
g21121
java
把java时间戳转换成unix时间戳:
Timestamp appointTime=Timestamp.valueOf(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()))
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd hh:m
- web报表工具FineReport常用函数的用法总结(报表函数)
老A不折腾
web报表finereport总结
说明:本次总结中,凡是以tableName或viewName作为参数因子的。函数在调用的时候均按照先从私有数据源中查找,然后再从公有数据源中查找的顺序。
CLASS
CLASS(object):返回object对象的所属的类。
CNMONEY
CNMONEY(number,unit)返回人民币大写。
number:需要转换的数值型的数。
unit:单位,
- java jni调用c++ 代码 报错
墙头上一根草
javaC++jni
#
# A fatal error has been detected by the Java Runtime Environment:
#
# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x00000000777c3290, pid=5632, tid=6656
#
# JRE version: Java(TM) SE Ru
- Spring中事件处理de小技巧
aijuans
springSpring 教程Spring 实例Spring 入门Spring3
Spring 中提供一些Aware相关de接口,BeanFactoryAware、 ApplicationContextAware、ResourceLoaderAware、ServletContextAware等等,其中最常用到de匙ApplicationContextAware.实现ApplicationContextAwaredeBean,在Bean被初始后,将会被注入 Applicati
- linux shell ls脚本样例
annan211
linuxlinux ls源码linux 源码
#! /bin/sh -
#查找输入文件的路径
#在查找路径下寻找一个或多个原始文件或文件模式
# 查找路径由特定的环境变量所定义
#标准输出所产生的结果 通常是查找路径下找到的每个文件的第一个实体的完整路径
# 或是filename :not found 的标准错误输出。
#如果文件没有找到 则退出码为0
#否则 即为找不到的文件个数
#语法 pathfind [--
- List,Set,Map遍历方式 (收集的资源,值得看一下)
百合不是茶
listsetMap遍历方式
List特点:元素有放入顺序,元素可重复
Map特点:元素按键值对存储,无放入顺序
Set特点:元素无放入顺序,元素不可重复(注意:元素虽然无放入顺序,但是元素在set中的位置是有该元素的HashCode决定的,其位置其实是固定的)
List接口有三个实现类:LinkedList,ArrayList,Vector
LinkedList:底层基于链表实现,链表内存是散乱的,每一个元素存储本身
- 解决SimpleDateFormat的线程不安全问题的方法
bijian1013
javathread线程安全
在Java项目中,我们通常会自己写一个DateUtil类,处理日期和字符串的转换,如下所示:
public class DateUtil01 {
private SimpleDateFormat dateformat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
public void format(Date d
- http请求测试实例(采用fastjson解析)
bijian1013
http测试
在实际开发中,我们经常会去做http请求的开发,下面则是如何请求的单元测试小实例,仅供参考。
import java.util.HashMap;
import java.util.Map;
import org.apache.commons.httpclient.HttpClient;
import
- 【RPC框架Hessian三】Hessian 异常处理
bit1129
hessian
RPC异常处理概述
RPC异常处理指是,当客户端调用远端的服务,如果服务执行过程中发生异常,这个异常能否序列到客户端?
如果服务在执行过程中可能发生异常,那么在服务接口的声明中,就该声明该接口可能抛出的异常。
在Hessian中,服务器端发生异常,可以将异常信息从服务器端序列化到客户端,因为Exception本身是实现了Serializable的
- 【日志分析】日志分析工具
bit1129
日志分析
1. 网站日志实时分析工具 GoAccess
http://www.vpsee.com/2014/02/a-real-time-web-log-analyzer-goaccess/
2. 通过日志监控并收集 Java 应用程序性能数据(Perf4J)
http://www.ibm.com/developerworks/cn/java/j-lo-logforperf/
3.log.io
和
- nginx优化加强战斗力及遇到的坑解决
ronin47
nginx 优化
先说遇到个坑,第一个是负载问题,这个问题与架构有关,由于我设计架构多了两层,结果导致会话负载只转向一个。解决这样的问题思路有两个:一是改变负载策略,二是更改架构设计。
由于采用动静分离部署,而nginx又设计了静态,结果客户端去读nginx静态,访问量上来,页面加载很慢。解决:二者留其一。最好是保留apache服务器。
来以下优化:
- java-50-输入两棵二叉树A和B,判断树B是不是A的子结构
bylijinnan
java
思路来自:
http://zhedahht.blog.163.com/blog/static/25411174201011445550396/
import ljn.help.*;
public class HasSubtree {
/**Q50.
* 输入两棵二叉树A和B,判断树B是不是A的子结构。
例如,下图中的两棵树A和B,由于A中有一部分子树的结构和B是一
- mongoDB 备份与恢复
开窍的石头
mongDB备份与恢复
Mongodb导出与导入
1: 导入/导出可以操作的是本地的mongodb服务器,也可以是远程的.
所以,都有如下通用选项:
-h host 主机
--port port 端口
-u username 用户名
-p passwd 密码
2: mongoexport 导出json格式的文件
- [网络与通讯]椭圆轨道计算的一些问题
comsci
网络
如果按照中国古代农历的历法,现在应该是某个季节的开始,但是由于农历历法是3000年前的天文观测数据,如果按照现在的天文学记录来进行修正的话,这个季节已经过去一段时间了。。。。。
也就是说,还要再等3000年。才有机会了,太阳系的行星的椭圆轨道受到外来天体的干扰,轨道次序发生了变
- 软件专利如何申请
cuiyadll
软件专利申请
软件技术可以申请软件著作权以保护软件源代码,也可以申请发明专利以保护软件流程中的步骤执行方式。专利保护的是软件解决问题的思想,而软件著作权保护的是软件代码(即软件思想的表达形式)。例如,离线传送文件,那发明专利保护是如何实现离线传送文件。基于相同的软件思想,但实现离线传送的程序代码有千千万万种,每种代码都可以享有各自的软件著作权。申请一个软件发明专利的代理费大概需要5000-8000申请发明专利可
- Android学习笔记
darrenzhu
android
1.启动一个AVD
2.命令行运行adb shell可连接到AVD,这也就是命令行客户端
3.如何启动一个程序
am start -n package name/.activityName
am start -n com.example.helloworld/.MainActivity
启动Android设置工具的命令如下所示:
# am start -
- apache虚拟机配置,本地多域名访问本地网站
dcj3sjt126com
apache
现在假定你有两个目录,一个存在于 /htdocs/a,另一个存在于 /htdocs/b 。
现在你想要在本地测试的时候访问 www.freeman.com 对应的目录是 /xampp/htdocs/freeman ,访问 www.duchengjiu.com 对应的目录是 /htdocs/duchengjiu。
1、首先修改C盘WINDOWS\system32\drivers\etc目录下的
- yii2 restful web服务[速率限制]
dcj3sjt126com
PHPyii2
速率限制
为防止滥用,你应该考虑增加速率限制到您的API。 例如,您可以限制每个用户的API的使用是在10分钟内最多100次的API调用。 如果一个用户同一个时间段内太多的请求被接收, 将返回响应状态代码 429 (这意味着过多的请求)。
要启用速率限制, [[yii\web\User::identityClass|user identity class]] 应该实现 [[yii\filter
- Hadoop2.5.2安装——单机模式
eksliang
hadoophadoop单机部署
转载请出自出处:http://eksliang.iteye.com/blog/2185414 一、概述
Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。
二、下载地址
Hadoop 网址http:
- LoadMoreListView+SwipeRefreshLayout(分页下拉)基本结构
gundumw100
android
一切为了快速迭代
import java.util.ArrayList;
import org.json.JSONObject;
import android.animation.ObjectAnimator;
import android.os.Bundle;
import android.support.v4.widget.SwipeRefreshLayo
- 三道简单的前端HTML/CSS题目
ini
htmlWeb前端css题目
使用CSS为多个网页进行相同风格的布局和外观设置时,为了方便对这些网页进行修改,最好使用( )。http://hovertree.com/shortanswer/bjae/7bd72acca3206862.htm
在HTML中加入<table style=”color:red; font-size:10pt”>,此为( )。http://hovertree.com/s
- overrided方法编译错误
kane_xie
override
问题描述:
在实现类中的某一或某几个Override方法发生编译错误如下:
Name clash: The method put(String) of type XXXServiceImpl has the same erasure as put(String) of type XXXService but does not override it
当去掉@Over
- Java中使用代理IP获取网址内容(防IP被封,做数据爬虫)
mcj8089
免费代理IP代理IP数据爬虫JAVA设置代理IP爬虫封IP
推荐两个代理IP网站:
1. 全网代理IP:http://proxy.goubanjia.com/
2. 敲代码免费IP:http://ip.qiaodm.com/
Java语言有两种方式使用代理IP访问网址并获取内容,
方式一,设置System系统属性
// 设置代理IP
System.getProper
- Nodejs Express 报错之 listen EADDRINUSE
qiaolevip
每天进步一点点学习永无止境nodejs纵观千象
当你启动 nodejs服务报错:
>node app
Express server listening on port 80
events.js:85
throw er; // Unhandled 'error' event
^
Error: listen EADDRINUSE
at exports._errnoException (
- C++中三种new的用法
_荆棘鸟_
C++new
转载自:http://news.ccidnet.com/art/32855/20100713/2114025_1.html
作者: mt
其一是new operator,也叫new表达式;其二是operator new,也叫new操作符。这两个英文名称起的也太绝了,很容易搞混,那就记中文名称吧。new表达式比较常见,也最常用,例如:
string* ps = new string("
- Ruby深入研究笔记1
wudixiaotie
Ruby
module是可以定义private方法的
module MTest
def aaa
puts "aaa"
private_method
end
private
def private_method
puts "this is private_method"
end
end