- Spark的Web界面
静听山水
Sparkspark
http://localhost:4040/jobs/在顶部导航栏上,可以点击以下选项来查看不同类型的Spark应用信息:Jobs-此视图将列出所有已提交的作业,并提供每个作业的详细信息,如作业ID、名称、开始时间、结束时间等。Stages-此视图可以查看作业分解成的不同阶段,包括每个阶段的任务数、当前状态等。Storage-此视图展示了数据如何在RDDs(弹性分布式数据集)之间进行分层存储,以及
- CI/CD脚本简介,YAML介绍,Editor解析
刘姥姥爱学习
日常开发-pythonci/cdgitgithubyaml
说明:此篇文章纯概念,没有实际操作,实际操作请蹲下一篇!CI/CD理解这段代码是用于配置GitLabCI/CD(ContinuousIntegration/ContinuousDeployment)的YAML语法。GitLabCI/CD是一种自动化软件,用于自动化软件的构建、测试和部署过程。下面是对这段代码的详细解释和翻译配置项描述stages定义了CI/CD流程中的三个阶段:合并请求阶段(mer
- pipeline 语法及常见DSL
wuleijack
jenkinspipeline是jenkins实现持续集成持续部署最核心的部分,pipeline编写2种脚本式和声明式(官方推荐)声明式主要的需要的语法pipeline{agent{}options{}envirment{}stages{stage('build'){steps{script{}}}}}其实脚本式和声明可以相互转换所谓脚本式默认就是groovy脚本当然也可以把脚本写在script中
- .gitlab-ci.yml文件参数
寒山李白
#GitLabgitlabci/cd运维dockerjava容器git
天行健,君子以自强不息;地势坤,君子以厚德载物。每个人都有惰性,但不断学习是好好生活的根本,共勉!文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。文章目录一、参考文档二、保留字三、常用关键字四、注意事项1.stages注意点2.job注意点2.script注意点3.only和except注意点一、参考文档官方文档参考地址:https://docs.gitlab.com/ee/ci
- 【Jenkins】pipeline基本使用
墨撕酒家
jenkinsjenkins运维
目录一、pipeline二、创建pipeline项目1、安装pipeline插件2、创建pipeline项目三、pipeline语法1、pipeline组成2、agent:指定流水线的执行位置,流水线中每个阶段都必须在某个地方执行3、stage:阶段,代表流水线的阶段,每个阶段都必须要有名称,且各个名称不能重名4、stages:stage的集合,stages部分至少包含一个stage5、steps
- gitlab CI/CD 前端持续集成
菜鸟的备忘录
前端服务器相关gitlabci/cd
1,登录服务器-安装gitlab-runner机器人2,注册runnergitlab-runnerregister3,在gitlab-设置-CI/CD-runner里面找到url及注册令牌4,在registerrunner的时候输入对应的url及令牌5,其他都可以随意输入6,.gitlab-ci.yml文件内容stages:-test-build-deploybefore_script:-echo
- jenkins popeline模版
liao__ran
CICDjenkins运维
pipeline{agentany//定义一些可以在整个pipeline中使用的变量environment{//可以使用Jenkins密钥管理中的凭据DOCKER_IMAGE='my-app-image'DOCKER_REGISTRY_CREDENTIALS_ID='my-docker-registry-credentials'}stages{stage('代码拉取'){steps{echo'代码
- GitLab -- CI/CD 报错
小白的码BUG之路
LinuxGitcijavalinux
在执行CICD的时候,爆了下面两个错误.gitlab-ci.yml文件如下:stages:-build-package#构建Jobbuild:stage:buildtags:-diaoTagscript:-echo"=============编译构建任务=============="#打包package:stage:packagetags:-diaoTagscript:-echo"========
- [jenkins]-jenkins使用docker镜像进行编译构建
爷来辣
jenkinsjenkinsdocker运维
导语:记录一下在流水线中使用docker镜像作为构建的环境。缺少插件DockerPipelinegroovy.lang.MissingPropertyException:Nosuchproperty:dockerforclass:groovy.lang.Binding完整流水线如下pipeline{agent{node{label"master"}}stages{stage('WebBuild')
- Auto DevOps之gitlab CI/CD
穹柏
gitlabdevopsci/cd
文章目录CI/CD介绍CI/CD的工作流程ci整体原理安装gitlabrunner1.创建一个由docker管理的volumes2.创建并启动gitlab-runner容器3.注册gitlab-runner4.一些注意点编写.gitlab-ci.yml1.[stages](https://docs.gitlab.com/ee/ci/yaml/#stages)2.job3.[stage](https
- 构建docker镜像并上传到阿里云仓库
嗨安HiAn
docker阿里云jenkins
1、新建项目,配置从gitee拉取项目文件2、配置Jenkinsfile和Dockerfile,并上传到gitee中2、配置Jenkinsfile和Dockerfile,并上传到gitee中#Jenkinsfilepipeline{ agentany stages{ stage("Buildimage"){ steps{ //Dockerfile为镜像docker
- pipeline制品 archiveArtifacts
野猪佩挤
Jenkins
脚本pipeline{agentanyoptions{timestamps()}stages{stage('getcode'){steps{checkout([$class:'GitSCM',branches:[[name:'*/master']],doGenerateSubmoduleConfigurations:false,extensions:[],submoduleCfg:[],userR
- jenkins禁止并行构建
野猪佩挤
Jenkins
参数disableConcurrentBuilds()完整pipelinepipeline{agentanyoptions{timestamps()disableConcurrentBuilds()}stages{stage('getcode'){steps{checkout([$class:'GitSCM',branches:[[name:'*/master']],doGenerateSubmo
- jenkins-cl参数化构建
野猪佩挤
Jenkinsjenkins运维
pipeline片段(对应jenkins-cli-p参数的BRANCH=develop)parameters{string(name:'BRANCH',defaultValue:'master',description:'Enterthebranchname')}stages{stage('GetCode'){steps{script{defbranch=params.BRANCHcheckout
- Jenkins-Pipeline语法总结大全
敲代码敲到头发茂密
jenkins持续集成jenkinsjava运维pythongitgitlab
这里写目录标题pipeline的组成1、pipeline最简单结构1.1、pipeline1.2、stages1.3、stage1.4、steps1.5、agent2、post3、pipeline支持的命令3.1、environment3.2、tools3.3、input3.4、options3.5、parameters3.6、parallel3.7、triggers3.8、whenpipelin
- DevOps搭建(十四)-基于Jenkins流水线方式部署详细步骤
Java高知社区
devopsjenkinselasticsearch
1、新建一个流水线项目进入配置最下方的流水线,可以选择HelloWorld最简单的demo体验。2、编写流水线脚本2.1、编写整体的流水线脚本整体他脚本格式如下,我们只要在对应的//所有的脚本命令都放在pipeline中pipeline{//指定任务在哪个集群节点中执行agentany//声明全局变量,方便后面使用environment{key='value'}stages{stage('拉取gi
- Jenkinsfile 使用说明(1)
phantom_111
jenkins运维
文章目录1.Jenkins是什么2.流水线2.1流水线是什么2.2流水线的分类2.2为什么使用流水线3.声明式流水线——jenkinsfile的语法3.1声明式流水线基础语法3.2典型的声明式流水线例子3.3流水线基础语法详解3.3.1agent(require)3.3.2stages(require)3.3.3stage(require&&alestone)3.3.4steps(require)
- jenkins parallel并行执行job以及pipeline官网
会飞的尼古拉斯
Jenkinsjenkins
pipeline{agent{label'ellis'}stages{stage('Hello'){parallel{stage("BuildEcho"){steps{buildjob:'Echo'}}stage("Buildparams"){steps{buildjob:'params',parameters:[string(name:'testparams',value:'test_param
- spark web ui中skipped的含义
NikolasNull
如图:skippedskipped的stages代表是已经执行过,因此不需要再次执行。举个栗子,你有一个testRdd,先做testRdd.filter(bool).map(x=>x),这个是transform,然后再分别做count和reduce操作。这两个都是action,第一次执行action操作时会执行transform,然后执行第二个action时,transform就会进行skippe
- 【Jenkins】Pipeline 语法解析(声明式Pipeline)
顽石九变
运维jenkinsservletjava
文章目录一、Sections1、agent(代理)agent参数值2、post3、stages(阶段)4、steps(步骤)二、Directives指令1、environment环境变量2、options配置选项可用的选项options3、parameters参数可用的参数Parameters4、triggers触发器Jenkinscron语法5、stage(阶段)6、tools(工具)7、inp
- gitlab-ci.yml 同步https 仓库地址
qq_40157234
gitlabci/cd运维
1.先在要部署的机器上,执行如下命令,输入一次密码后,保存该密码gitconfig--globalcredential.helperstore2.然后执行gitpull命令,然后会提示输入密码,输入密码即可.3.编写gitlab-ci.yml文件stages:-deploy#部署master服务deployMaster:stage:deployscript:-echo"666"-cd/home/v
- faster_rcnn_r50_fpn_1x-dahua
shishengle1024
人工智能
#modelsettingsmodel=dict(type='FasterRCNN',pretrained='torchvision://resnet50',backbone=dict(type='ResNet',depth=50,num_stages=4,out_indices=(0,1,2,3),frozen_stages=1,style='pytorch'),neck=dict(type='
- jenkins流水线(pipline)实例
小李不怕黑
项目部署软件安装jenkins运维
1、pipline语法介绍声明式的pipeline语法格式1.所有的声明都必须包含在pipeline{}中2.块只能有节段,指令,步骤或者赋值语句组成3.阶段:agent,stages,post,steps4.指令:environment,options,parameters,triggers,stage,input,tool,when2、阶段agent:该指令用于指定构建代理的配置。agenta
- Stages—研发过程可视化建模和管理平台
经纬恒润
Stages
产品概述Stages是美国ULSolutions旗下ULMethodParkGmbH的产品,用于帮助企业定义、管理、发布、控制、优化其研发过程,同时使其研发过程符合CMMI、ASPICE、ISO26262等标准。Stages的核心理念是把过程理论和实际项目进行有机结合。Stages聚焦于研发过程的用户体验,允许用户集中访问过程描述信息、项目文档、模板、实践或者技术知识库。在Stages中定义好的过
- 20-Jenkins-Pipeline-顺序执行和并行
爱学习de测试小白
#Jenkinsjenkinspipeline
目录前言顺序执行脚本示例并行执行脚本示例前言本篇学习下stage并行执行顺序执行所有的stage,都会内嵌在最外层的stages{…}一个stage{…}下可以内嵌有且只有一个stages{…}多层嵌套只支持在最后一个stage{…}里面
- DevOps系列---【jenkinsfile使用sshpass发送到另一台服务器】
少年攻城狮
devops服务器java运维开发语言
1.首先在宿主机安装sshpass2.把物理机的sshpass复制到容器中whichsshpasscp$(whichsshpass)/usr/local/app/dockercpsshpass容器id:/usr/local/bin/sshpass3.在jenkinsfile中添加#在stages中添加stagestage('部署TEST服务'){steps{sh"sshpass-proot1234
- gitlab+gitlab-runner 实现CI/CD
新时代的老古董
常用中间件gitlabci/cdgit
一、前言前面我用docker部署了gitlab和gitlab-runner。然后这一篇,我们就要通过gitlab和gitlab-runner来实现CI/CD代码自动化部署流程。大致流程就是,往分支发布代码,yml文件里配置不同分支执行不通脚本。二、编写yml文件首先,我们在我们的项目代码里,写一个.gitlab-ci.yml文件。别的大家可以自己查一下,我这里写了比较简单的。内容如下:stages
- Go并发模式之Pipelines
ethannotlazy
Gogolang开发语言后端
简介Go的并发原语使构建流数据pipeline变得容易,流数据pipeline可以有效地利用I/O和多个CPU。本文介绍了构建此类pipeline的示例,说明了故障发生时go协程永远阻塞的情况,并介绍了健壮地处理故障的方法。何为pipelinePipeline即流水线、管道。一个pipeline是指一系列用通道(channels)连接的阶段(stages),每个阶段是一组运行同一个函数的go协程,
- Gitlab CICD实用技巧汇总
蓝绿色~菠菜
DevOpsgitlabgit
关于.gitlab-ci.yml的实用配置1、stage参数stages:-build-test-deploy相同stage的作业会并行执行,有一个失败,则认为这个stage失败。不同stage的作业会按序执行,前面stage有失败,后续stage不会继续执行。可以使用needs参数改变不同stage之间的依赖关系。2、cache参数cache是一种用于存储和重用构建产物的机制,以加速CI/CD管
- MySQL 查询 JSON 数组是否包含特定的值
knan-阿樂
MySQLmysql
假设定义了一张表School,其中字段stages为JSON类型CREATETABLE`schools`(`id`bigintNOTNULLAUTO_INCREMENT,`stages`jsonDEFAULTNULL,PRIMARYKEY(`id`)USINGBTREE)ENGINE=InnoDBAUTO_INCREMENT=1DEFAULTCHARSET=utf8mb4COLLATE=utf8m
- eclipse maven
IXHONG
eclipse
eclipse中使用maven插件的时候,运行run as maven build的时候报错
-Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME environment variable and mvn script match.
可以设一个环境变量M2_HOME指
- timer cancel方法的一个小实例
alleni123
多线程timer
package com.lj.timer;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
public class MyTimer extends TimerTask
{
private int a;
private Timer timer;
pub
- MySQL数据库在Linux下的安装
ducklsl
mysql
1.建好一个专门放置MySQL的目录
/mysql/db数据库目录
/mysql/data数据库数据文件目录
2.配置用户,添加专门的MySQL管理用户
>groupadd mysql ----添加用户组
>useradd -g mysql mysql ----在mysql用户组中添加一个mysql用户
3.配置,生成并安装MySQL
>cmake -D
- spring------>>cvc-elt.1: Cannot find the declaration of element
Array_06
springbean
将--------
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3
- maven发布第三方jar的一些问题
cugfy
maven
maven中发布 第三方jar到nexus仓库使用的是 deploy:deploy-file命令
有许多参数,具体可查看
http://maven.apache.org/plugins/maven-deploy-plugin/deploy-file-mojo.html
以下是一个例子:
mvn deploy:deploy-file -DgroupId=xpp3
- MYSQL下载及安装
357029540
mysql
好久没有去安装过MYSQL,今天自己在安装完MYSQL过后用navicat for mysql去厕测试链接的时候出现了10061的问题,因为的的MYSQL是最新版本为5.6.24,所以下载的文件夹里没有my.ini文件,所以在网上找了很多方法还是没有找到怎么解决问题,最后看到了一篇百度经验里有这个的介绍,按照其步骤也完成了安装,在这里给大家分享下这个链接的地址
- ios TableView cell的布局
张亚雄
tableview
cell.imageView.image = [UIImage imageNamed:[imageArray objectAtIndex:[indexPath row]]];
CGSize itemSize = CGSizeMake(60, 50);
&nbs
- Java编码转义
adminjun
java编码转义
import java.io.UnsupportedEncodingException;
/**
* 转换字符串的编码
*/
public class ChangeCharset {
/** 7位ASCII字符,也叫作ISO646-US、Unicode字符集的基本拉丁块 */
public static final Strin
- Tomcat 配置和spring
aijuans
spring
简介
Tomcat启动时,先找系统变量CATALINA_BASE,如果没有,则找CATALINA_HOME。然后找这个变量所指的目录下的conf文件夹,从中读取配置文件。最重要的配置文件:server.xml 。要配置tomcat,基本上了解server.xml,context.xml和web.xml。
Server.xml -- tomcat主
- Java打印当前目录下的所有子目录和文件
ayaoxinchao
递归File
其实这个没啥技术含量,大湿们不要操笑哦,只是做一个简单的记录,简单用了一下递归算法。
import java.io.File;
/**
* @author Perlin
* @date 2014-6-30
*/
public class PrintDirectory {
public static void printDirectory(File f
- linux安装mysql出现libs报冲突解决
BigBird2012
linux
linux安装mysql出现libs报冲突解决
安装mysql出现
file /usr/share/mysql/ukrainian/errmsg.sys from install of MySQL-server-5.5.33-1.linux2.6.i386 conflicts with file from package mysql-libs-5.1.61-4.el6.i686
- jedis连接池使用实例
bijian1013
redisjedis连接池jedis
实例代码:
package com.bijian.study;
import java.util.ArrayList;
import java.util.List;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoo
- 关于朋友
bingyingao
朋友兴趣爱好维持
成为朋友的必要条件:
志相同,道不合,可以成为朋友。譬如马云、周星驰一个是商人,一个是影星,可谓道不同,但都很有梦想,都要在各自领域里做到最好,当他们遇到一起,互相欣赏,可以畅谈两个小时。
志不同,道相合,也可以成为朋友。譬如有时候看到两个一个成绩很好每次考试争做第一,一个成绩很差的同学是好朋友。他们志向不相同,但他
- 【Spark七十九】Spark RDD API一
bit1129
spark
aggregate
package spark.examples.rddapi
import org.apache.spark.{SparkConf, SparkContext}
//测试RDD的aggregate方法
object AggregateTest {
def main(args: Array[String]) {
val conf = new Spar
- ktap 0.1 released
bookjovi
kerneltracing
Dear,
I'm pleased to announce that ktap release v0.1, this is the first official
release of ktap project, it is expected that this release is not fully
functional or very stable and we welcome bu
- 能保存Properties文件注释的Properties工具类
BrokenDreams
properties
今天遇到一个小需求:由于java.util.Properties读取属性文件时会忽略注释,当写回去的时候,注释都没了。恰好一个项目中的配置文件会在部署后被某个Java程序修改一下,但修改了之后注释全没了,可能会给以后的参数调整带来困难。所以要解决这个问题。
&nb
- 读《研磨设计模式》-代码笔记-外观模式-Facade
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
/*
* 百度百科的定义:
* Facade(外观)模式为子系统中的各类(或结构与方法)提供一个简明一致的界面,
* 隐藏子系统的复杂性,使子系统更加容易使用。他是为子系统中的一组接口所提供的一个一致的界面
*
* 可简单地
- After Effects教程收集
cherishLC
After Effects
1、中文入门
http://study.163.com/course/courseMain.htm?courseId=730009
2、videocopilot英文入门教程(中文字幕)
http://www.youku.com/playlist_show/id_17893193.html
英文原址:
http://www.videocopilot.net/basic/
素
- Linux Apache 安装过程
crabdave
apache
Linux Apache 安装过程
下载新版本:
apr-1.4.2.tar.gz(下载网站:http://apr.apache.org/download.cgi)
apr-util-1.3.9.tar.gz(下载网站:http://apr.apache.org/download.cgi)
httpd-2.2.15.tar.gz(下载网站:http://httpd.apac
- Shell学习 之 变量赋值和引用
daizj
shell变量引用赋值
本文转自:http://www.cnblogs.com/papam/articles/1548679.html
Shell编程中,使用变量无需事先声明,同时变量名的命名须遵循如下规则:
首个字符必须为字母(a-z,A-Z)
中间不能有空格,可以使用下划线(_)
不能使用标点符号
不能使用bash里的关键字(可用help命令查看保留关键字)
需要给变量赋值时,可以这么写:
- Java SE 第一讲(Java SE入门、JDK的下载与安装、第一个Java程序、Java程序的编译与执行)
dcj3sjt126com
javajdk
Java SE 第一讲:
Java SE:Java Standard Edition
Java ME: Java Mobile Edition
Java EE:Java Enterprise Edition
Java是由Sun公司推出的(今年初被Oracle公司收购)。
收购价格:74亿美金
J2SE、J2ME、J2EE
JDK:Java Development
- YII给用户登录加上验证码
dcj3sjt126com
yii
1、在SiteController中添加如下代码:
/**
* Declares class-based actions.
*/
public function actions() {
return array(
// captcha action renders the CAPTCHA image displ
- Lucene使用说明
dyy_gusi
Lucenesearch分词器
Lucene使用说明
1、lucene简介
1.1、什么是lucene
Lucene是一个全文搜索框架,而不是应用产品。因此它并不像baidu或者googleDesktop那种拿来就能用,它只是提供了一种工具让你能实现这些产品和功能。
1.2、lucene能做什么
要回答这个问题,先要了解lucene的本质。实际
- 学习编程并不难,做到以下几点即可!
gcq511120594
数据结构编程算法
不论你是想自己设计游戏,还是开发iPhone或安卓手机上的应用,还是仅仅为了娱乐,学习编程语言都是一条必经之路。编程语言种类繁多,用途各 异,然而一旦掌握其中之一,其他的也就迎刃而解。作为初学者,你可能要先从Java或HTML开始学,一旦掌握了一门编程语言,你就发挥无穷的想象,开发 各种神奇的软件啦。
1、确定目标
学习编程语言既充满乐趣,又充满挑战。有些花费多年时间学习一门编程语言的大学生到
- Java面试十问之三:Java与C++内存回收机制的差别
HNUlanwei
javaC++finalize()堆栈内存回收
大家知道, Java 除了那 8 种基本类型以外,其他都是对象类型(又称为引用类型)的数据。 JVM 会把程序创建的对象存放在堆空间中,那什么又是堆空间呢?其实,堆( Heap)是一个运行时的数据存储区,从它可以分配大小各异的空间。一般,运行时的数据存储区有堆( Heap)和堆栈( Stack),所以要先看它们里面可以分配哪些类型的对象实体,然后才知道如何均衡使用这两种存储区。一般来说,栈中存放的
- 第二章 Nginx+Lua开发入门
jinnianshilongnian
nginxlua
Nginx入门
本文目的是学习Nginx+Lua开发,对于Nginx基本知识可以参考如下文章:
nginx启动、关闭、重启
http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html
agentzh 的 Nginx 教程
http://openresty.org/download/agentzh-nginx-tutor
- MongoDB windows安装 基本命令
liyonghui160com
windows安装
安装目录:
D:\MongoDB\
新建目录
D:\MongoDB\data\db
4.启动进城:
cd D:\MongoDB\bin
mongod -dbpath D:\MongoDB\data\db
&n
- Linux下通过源码编译安装程序
pda158
linux
一、程序的组成部分 Linux下程序大都是由以下几部分组成: 二进制文件:也就是可以运行的程序文件 库文件:就是通常我们见到的lib目录下的文件 配置文件:这个不必多说,都知道 帮助文档:通常是我们在linux下用man命令查看的命令的文档
二、linux下程序的存放目录 linux程序的存放目录大致有三个地方: /etc, /b
- WEB开发编程的职业生涯4个阶段
shw3588
编程Web工作生活
觉得自己什么都会
2007年从学校毕业,凭借自己原创的ASP毕业设计,以为自己很厉害似的,信心满满去东莞找工作,找面试成功率确实很高,只是工资不高,但依旧无法磨灭那过分的自信,那时候什么考勤系统、什么OA系统、什么ERP,什么都觉得有信心,这样的生涯大概持续了约一年。
根本不是自己想的那样
2008年开始接触很多工作相关的东西,发现太多东西自己根本不会,都需要去学,不管是asp还是js,
- 遭遇jsonp同域下变作post请求的坑
vb2005xu
jsonp同域post
今天迁移一个站点时遇到一个坑爹问题,同一个jsonp接口在跨域时都能调用成功,但是在同域下调用虽然成功,但是数据却有问题. 此处贴出我的后端代码片段
$mi_id = htmlspecialchars(trim($_GET['mi_id ']));
$mi_cv = htmlspecialchars(trim($_GET['mi_cv ']));
贴出我前端代码片段:
$.aj