pipline

Jenkins定制build history

今天介绍两种项目类型下，自定义buildhistory的方法1.pipline项目中先定义一个参数，选择字符参数，参数值即构建时的填写的此次构建的描述信息在piplinescript中的最上面，加入如下的代码开始构建
weixin_34050427·2020-06-28 10:43

jenkins编译时文件存放的位置

1、首先随便打包编译一下2、查看编译执行的目录[root@bogon~]#ls/root/.jenkins/workspace/pipline-test/CHANGE_LOGS.htmldeployment.yamlDockerfilepackage.jsonPULL_REQUEST_TEMPLATE.mdscripts
weixin_30896511·2020-06-28 02:11

HDFS写数据流程

packet：packet是第二大单位，它是client向datanode或者datanode之间经过pipline传输数据的基本单位，默认为64kb。
sxsAffable·2020-06-26 17:19

jenkins pipline脚本

#!groovypipeline{//在任何可用的代理上执行Pipelineagentany//参数化变量，目前只支持[booleanParam,choice,credentials,file,text,password,run,string]这几种参数类型，其他高级参数化类型还需等待社区支持。parameters{//git代码路径【参数值对外隐藏】string(name:'repoUrl',d
cq_莫离·2020-06-26 05:29

jenkins pipline脚本强化篇

#!groovypipeline{  //在任何可用的代理上执行Pipeline  agentany  //参数化变量，目前只支持[booleanParam,choice,credentials,file,text,password,run,string]这几种参数类型，其他高级参数化类型还需等待社区支持。  parameters{  //git代码路径【参数值对外隐藏】  string(name
cq_莫离·2020-06-26 05:29

Apache顶级项目介绍2－Kafka

Kafka最初起家于LinkedIn，当时原本作为linkedin用来管理活动流(PV,用户行为分析，搜索情况)和运营数据处理的pipline的基础。
erixhao·2020-06-26 00:41

Kubernates Pod无法启动问题分析排查

一、问题背景近期遇到一个特别奇怪的事就是关于K8sPod无法启动的问题，因为平时通过Jenkins打包成Docker后，再自动触发已经建好的Pipline就可以部署到Kubernates平台，但这次打包后发现部署应用到
lytao123·2020-06-25 02:45

Scrapy框架应用实践

文章目录安装创建项目文件说明创建一个spider(爬虫程序)生成文件xiaoshuo.pyPost方式带参数请求网页定义item再次打开spider来提取我们想要的信息setting运行与保存pipline
rainbow_lucky0106·2020-06-25 01:16

Spark ml pipline交叉验证之朴素贝叶斯

Sparkmlpipline交叉验证之朴素贝叶斯1.1模型训练1.1.1输入参数{"modelName":"朴素贝叶斯_运动状态预测","numFolds":"3","labelColumn":"Class","smoothings":[0.01,0.1,1]}1.1.2训练代码importcom.cetc.common.conf.MachineLearnModelimportcom.cetc.m
码上中年·2020-06-24 21:39

Kubeflow Pipeline - 上传一个 Pipeline

文章目录1Overview2理解Pipeline2UploadPipeline3Summary1OverviewPipeline提供了几个内置的Pipline…有点绕口，但是真正使用的时候，但是默认提供的几个
runzhliu·2020-06-24 18:28

Jenkins pipeline：pipeline 使用之语法详解

一、引言Jenkins2.0的到来，pipline进入了视野，jenkins2.0的核心特性.也是最适合持续交付的feature。
hxpjava1·2020-06-23 17:09

redis集群下使用pipline进行批处理操作（spring/springboot+jedis）

我们都知道redis集群下对于mget、mset、pipeline、事务的支持不太好。当然对于mget和mset有这么几种方法：1、串行遍历key依次执行（这种就是把批量拆开了）2、使用hash_tag包装key，在计算key的slot时候，如果key包含{}，就会使用第一个{}内部的字符串作为hashkey，这样就可以保证拥有同样{}内部字符串的key就会拥有相同slot（这种方式其实就是把一次
chuimingwen0582·2020-06-22 23:05

Flink state,checkpoint详解

ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream比较大的一个优势就是State，pipline
aa1215018028·2020-06-22 11:53

大数据开发面试题总结-超详细

客户端上传请求--->namenode检查，返回响应--->客户端真正的文件上传请求，包括文件名，文件大小--->namenode返回上传节点--->客户端准备上传，进行块的逻辑切分--->客户端构建pipline
_JohnnyChu·2020-06-21 23:59

Jenkins基于k8s进行持续集成测试实践

简单来说，我们在Jenkins上配置了job（通常以Pipline的形式配置）后，JenkinsMaster做两件事，1.选择要运行job的JenkinsSlave机器；2.在选取的Slave机器上运行
liuil930·2020-06-21 13:26

Flink 异常处理-State和Checkpoint实践

ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream比较大的一个优势就是State，pipline
beTree_fc·2020-06-21 09:22

机器学习之模型评估与参数调优

利用sklearn中的Pipline类，使得我们可以拟合出包含任意多个处理步骤的模型，并将模型用于新数据的预测。1.#Title:TODO2.#Objective:TODO3.
PyDarren·2020-06-20 22:19

Jenkins分布式构建和Pipline

Pipline简介pipline是帮助Jenkins实现CI到CD转变的重要角色，是运行在jenkins2.X版本的核心插件，简单来说Pipline就是一套运行于Jenkins上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来
you-men·2020-06-19 23:00

Scrapy与Selenium注意事项及采坑

Scrapy与Selenium注意事项笔记Selenium参数部分加载时间过长解决办法与scrapy整合使用模板Scrapy使用注意事项中间件使用Pipline使用ReferenceSelenium参数部分通常情况下涉及到
modderBUG·2020-04-11 11:40

Jenkins打iOS包+上传蒲公英+发送钉钉消息

assets；我们需要将这些资源整合到App中，可以去处理，人为的话会存在没有用最新的资源包或者忘了替换资源包的情况；所以最好是能通过CI管理这些操作1.多个仓库拉取代码多个仓库拉取代码，一般可以使用Pipline
jayhe·2020-03-06 00:12

工作问题总结(2016)

写在最前工作过程发现的一些问题和一些项目中我们要思考的问题，总结如下：Log4j多进程写同一文件的问题redisset过大的问题redispipline的问题redis超时的问题redis没有优化成pipline
大道至简_Andy·2020-02-26 05:06

Jenkins pipeline 系列

打算写一系列的博客记录对Jenkinspipeline官网的摘要和重点Jenkins2.0之后将pipline作为了默认的选项，对于Jenkins高阶使用者来说要学会运行pipeline和到编写pipeline
欧莉米·2020-02-22 01:27

【Mac大数据开发】第八篇-HDFS读写机制详解

文件以packet形式向首个datanode传输，并通过pipline自动传送给其他节点。所有节点收到后，进行确认，从发送队列和确认队列中移除packet。上传流程客户
irving_yuan·2020-02-10 09:50

Jenkins 的安装与基础配置

开发的可以实现整个软件开发周期的持续集成任务编码测试运维二、特点优势兼容所有的主流开发环境拥有极其丰富的插件，能与主流开发环境进行集成以不同的J0b类型来创建不同的任务freestyle自由风格(通过gui,手动创建job)流水线(通过pipline
守护往昔·2020-01-11 20:00

Unity Jenkins打包(3) Pipeline

创建一个Pipeline项目GettingStartedwithPipeline1.1前提prerequisites：Jenkins2.x以上+Pipelineplugin（已包含在推荐的插件中）1.2创建Pipline
云木unity·2020-01-03 14:28

【Beautiful Soup 初探】

前沿网络爬虫分为API接口爬取和web爬取，一般的流程是先将需要的字段读取出来，形成一个目标json文件，最后通过scrapy设置Item，pipline，将资源文件保存下来。
Geeks_Chen·2019-12-28 18:13

jenkins-pipline工作流

下面是pipeline项目的配置：1.png点击buildwithparameters：2.png点击开始构建：3.png构建成狗，我们来看下控制台输出日志：Startedbyuserljb[Pipeline]propertiesWARNING:ThepropertiesstepwillremoveallJobPropertyscurrentlyconfiguredinthisjob,either
老夫刘某·2019-12-23 23:31

(九) Item Pipline

当Item在Spider中被收集之后，它将会被传递到ItemPipeline，一些组件会按照一定的顺序执行对Item的处理。每个itempipeline组件(有时称之为“ItemPipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。以下是itempipeline的一些典型应用：清理H
iamlightsmile·2019-12-19 22:45

点读系列《Jenkins用户文档》

入门入门指南需要java和docker安装命令java-jarjenkins.war--httpPort=8080打开浏览器进入链接http://localhost:8080创建HelloWorld流水线pipline
东方er·2019-12-11 19:00

信息抽取——关系抽取(一)

目录简介关于关系抽取Pipline模型Model1:RelationClassificationviaConvolutionalDeepNeuralNetworkModel2:RelationExtraction
西多士NLP·2019-12-11 00:00

管道操作删除 MongoDB 重复数据

文档数量一旦达到一定数据量级，为了保证新插入的数据不重复，如果每次使用update操作感觉有点慢，倒不如一次性insert然后最后在使用pipline管道操作去重重复数据，感觉会快些，但是我没有测试过，
jiyang·2019-11-02 00:45

python3+Scrapy爬虫使用pipeline数据保存到文本和数据库，数据少或者数据重复问题

就比如pipline的速率是1TPS，而spider的速率是5TPS，那么数据库应该会有5条重复数据。解决方
WebLinuxStudy·2019-10-23 14:00

基于Kubernetes 1.16.0 建立企业Jenkins CI/CD发布平台

Jenkins采用Pipline发布，容器化部署，主从结构，Jenkinsmaster负责调度slave，而slave进行拉代码，打包，构建镜像发布等操作，待发布完成后slave自
wujunqi1996·2019-10-21 10:11

Jenkins的安装部署

可以实现整个软件开发周期的持续集成任务编码测试运维二、优势1.兼容所有的主流开发环境2.拥有极其丰富的插件，能与主流开发环境进行集成3.以不同的Job类型来创建不同的任务freestyle自由风格（通过gui，手动创建job）流水线（通过pipline
小公瑾·2019-10-13 16:00

GStreamer基础教程09 - Appsrc及Appsink

摘要在我们前面的文章中，我们的Pipline都是使用GStreamer自带的插件去产生/消费数据。
John.Leng·2019-09-30 10:00

jenkins Pipline 庖丁解牛

主要内容如下：Pipline语法讲解Pipline项目实战-MavenJAVA项目构建Pipline项目实战-NodeJS项目构建分享一个多语言构建的Pipeline小栗子1.Pipline的组成JenkinsPipeline
xjtuhit·2019-09-10 18:53

jenkins+gradle/maven+sonar+pipline

总结：gradle配置接入sonar，需要在build.gradle配置中引入sonar插件，而maven不需要。jenkinspiplinemaven配置：stage('SonarQubeanalysis'){withSonarQubeEnv('Sonar'){sh'/usr/local/maven/bin/mvnsonar:sonar-Dsonar.projectName=CTS-capita
运维勺子·2019-09-10 11:38

Spark ml pipline交叉验证之Kmeans聚类

Sparkmlpipline交叉验证之Kmeans聚类1.1模型训练1.1.1输入参数{"modelName":"KMeans聚类","numIterations":"","numClasses":"","runs":"","numFolds":"5","maxIters":[10,20,50,100],"ks":[5,6,7,8,9,10,11],"seeds":[10,20,30]}1.1.2
码上中年·2019-09-03 11:07

Jenkins与Rainbond对接部署应用

考虑到Jenkins是目前主流的持续集成工具，并且它在源码测试和Pipline方面已经做得非常成熟，所以我们提供了针对Jenkins的集成方案。
好雨科技·2019-08-16 14:43

Jenkins与Rainbond对接部署应用

考虑到Jenkins是目前主流的持续集成工具，并且它在源码测试和Pipline方面已经做得非常成熟，所以我们提供了针对Jenkins的集成方案。
好雨科技·2019-08-16 00:00

jenkins的pipeline基本语法

一、引言Jenkins2.0的到来，pipline进入了视野，jenkins2.0的核心特性.也是最适合持续交付的feature。
hagretd·2019-08-11 23:58

发布前自动测试+静态扫描(Sonar)的检测

blog.csdn.net/laotansuocai/article/details/85451293Jenkins里配置sonar的扫描参考这里：https://banto.cn/archives/62Jenkins中pipline
暗夜精灵_NightElf·2019-08-07 18:16

机器学习代码的书写

很早就已经接触到了pipline的概念，只不过我一直没用过，也没有具体的实践过。
VChao·2019-08-07 15:28

四、利用jenkins的pipline流水线构建k8s的cicd详细方案

示例java文件：[email protected]:liaochao1991/tomcat-demo.git1、准备测试文件：gitclonehttps://github.com/liaochao1991/tomcat-demo.git更改配置并且指定我们的仓库地址[email protected]:/home/git/s
超级大饭粒·2019-08-05 17:21

go使用go-redis操作redis(三)连接类型，pipline， 发布订阅

内容：一.客户端Client（普通模式，主从模式，哨兵模式）二.conn连接(连接，pipline，发布订阅等)三.示例程序(连接，pipline，发布订阅等)客户端Client普通模式的客户端goredis
comprel·2019-07-21 13:31

【07】Jenkins：流水线（Pipeline）

关于流水线（Pipline）
Dy1an·2019-07-19 16:00

【redis专题(16)】管道pipline

[toc]简述Redis管道技术可以在服务端未响应时，客户端可以继续向服务端发送请求，并最终一次性读取所有服务端的响应。也就是多次IO操作合并成一次IO操作。Redis管道(Pipeline)本身并不是Redis服务器直接提供的技术，这个技术本质上是由客户端提供的，跟服务器没有什么直接的关系。使用管道前：使用管道后：对于Redis来说，还是需要进行3次子查询，但是对于整个系统来说，网络通信的次数明
菜问·2019-07-18 00:00

GStreamer基础教程03 - 媒体类型与Pad

摘要在上一篇文章中，我们介绍了如何将多个element连接起来构造一个pipline，进行数据传输。那么GStreamer是通过何种方式保证element之间能正常的进行数据传输？
John.Leng·2019-07-01 12:00

GStreamer基础教程02 - 基本概念

为了能够更好的控制pipline中的element，我们需要单独创建element，然后再构造pipeline，下面将介绍GStreamer的一些基本概念并展示pipeline的另一种构造方式。
John.Leng·2019-06-17 15:00

scrapy自定义Pipline

第一个事mysql同步Pipline，适用爬虫量小导入文件importMySQLdbimportMySQLdb.cursorsclassMysqlPipeline(object):#采用同步的机制写入mysqldef
dongshangtong·2019-06-12 04:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他