pipline

爬虫入门（六）——Scrapy框架初探

目录1.Scrapy介绍1.1什么是Scrapy1.2爬虫的几种工作模式2.Scrapy的工作流程3.Scrapy入门4.pipline使用1.Scrapy介绍1.1什么是ScrapyScrapy是⼀个为了爬取
北木x·2020-07-05 02:39

Gradient Harmonizing Mechanism

两阶段方法在检测精度更出色，单阶段检测方法的Pipline则更简洁，速度更快，但是精度不如两阶段检测方法，一个原因是单阶段的检测方法受限于正负样本和简单困难样本的不均衡问题，导致训练效果不佳。
hb_ma·2020-07-02 16:30

【OpenCV】【python】车道线提取（HLS颜色空间）（sobel滤波）

课程目录API使用流程参考文章完整代码遇到的问题效果展示>>>点击进入：OpenCV专栏=sx_thresh[0])&(scaled_sobel100)]=1cv2.imwrite('pipline_img
有人敲门knocky·2020-06-30 21:19

【python3-4】Jenkins pipline集成参数自动化执行python脚本

背景简述结合前面三篇文章【python3-1】读取jmeter报告内容【python3-2】读取html报告返回值，作为接口传参调用【python3-3】argparse命令行添加参数本章主要是通过Jenkins集成脚本进行自动化执行测试Jenkins集成脚本新建流水线（Pipeline）工程流水线（Pipeline）工程配置基础配置，保存7天，保留6条记录基础配置配置参数化构建过程，添加变量参数
_王子_·2020-06-30 09:11

Rancher入门到精通-2.0 rancher CICD深度剖析 流水线启动一直building

遇到jenkinscicd镜像一直拉不下来的问题；尝试登陆ranchercicd的jenkins1、配置jenkins的负载均衡2、进入容器获取jenkins密码3、登录jenkins查看pipline
giserinchina·2020-06-29 22:05

CI/CD with drone

drone引入pipline的概念，整个build过程由多个stage组成，每一个stage都是docker。
wk3368·2020-06-29 19:11

对scrapy爬虫的认识

文章目录01-scrapy框架介绍scrapy入门创建项目启动爬虫02-scrapy-pipline、item、shellpipline03构造请求和腾讯爬虫itemscrapyshell07-scrapy
王大阳_·2020-06-29 09:24

python机器学习第六章：模型评估与参数调优实战

我们将学习如下内容：1·模型性能的⽆偏估计2·处理机器学习算法中常⻅问题3·机器学习模型调优4·使⽤不同的性能指标评估预测模型基于流水线（pipline）的工作流1.使用pandas从UCI网站直接读取数据集
showdoo·2020-06-29 01:03

Datasets API read CSV files in input pipline

python-ReadingCSVfilesinTensorflow1.2.0-StackOverflowthenewDataSetAPIwhichisthenewwaytogowhendealingwithdata(seeforexamplethisanswer).defread_row(csv_row):record_defaults=[[0],[0.0],[0.0],[0.0],[""],[
hzyido·2020-06-28 23:04

Jenkins定制build history

今天介绍两种项目类型下，自定义buildhistory的方法1.pipline项目中先定义一个参数，选择字符参数，参数值即构建时的填写的此次构建的描述信息在piplinescript中的最上面，加入如下的代码开始构建
weixin_34050427·2020-06-28 10:43

jenkins编译时文件存放的位置

1、首先随便打包编译一下2、查看编译执行的目录[root@bogon~]#ls/root/.jenkins/workspace/pipline-test/CHANGE_LOGS.htmldeployment.yamlDockerfilepackage.jsonPULL_REQUEST_TEMPLATE.mdscripts
weixin_30896511·2020-06-28 02:11

HDFS写数据流程

packet：packet是第二大单位，它是client向datanode或者datanode之间经过pipline传输数据的基本单位，默认为64kb。
sxsAffable·2020-06-26 17:19

jenkins pipline脚本

#!groovypipeline{//在任何可用的代理上执行Pipelineagentany//参数化变量，目前只支持[booleanParam,choice,credentials,file,text,password,run,string]这几种参数类型，其他高级参数化类型还需等待社区支持。parameters{//git代码路径【参数值对外隐藏】string(name:'repoUrl',d
cq_莫离·2020-06-26 05:29

jenkins pipline脚本强化篇

#!groovypipeline{  //在任何可用的代理上执行Pipeline  agentany  //参数化变量，目前只支持[booleanParam,choice,credentials,file,text,password,run,string]这几种参数类型，其他高级参数化类型还需等待社区支持。  parameters{  //git代码路径【参数值对外隐藏】  string(name
cq_莫离·2020-06-26 05:29

Apache顶级项目介绍2－Kafka

Kafka最初起家于LinkedIn，当时原本作为linkedin用来管理活动流(PV,用户行为分析，搜索情况)和运营数据处理的pipline的基础。
erixhao·2020-06-26 00:41

Kubernates Pod无法启动问题分析排查

一、问题背景近期遇到一个特别奇怪的事就是关于K8sPod无法启动的问题，因为平时通过Jenkins打包成Docker后，再自动触发已经建好的Pipline就可以部署到Kubernates平台，但这次打包后发现部署应用到
lytao123·2020-06-25 02:45

Scrapy框架应用实践

文章目录安装创建项目文件说明创建一个spider(爬虫程序)生成文件xiaoshuo.pyPost方式带参数请求网页定义item再次打开spider来提取我们想要的信息setting运行与保存pipline
rainbow_lucky0106·2020-06-25 01:16

Spark ml pipline交叉验证之朴素贝叶斯

Sparkmlpipline交叉验证之朴素贝叶斯1.1模型训练1.1.1输入参数{"modelName":"朴素贝叶斯_运动状态预测","numFolds":"3","labelColumn":"Class","smoothings":[0.01,0.1,1]}1.1.2训练代码importcom.cetc.common.conf.MachineLearnModelimportcom.cetc.m
码上中年·2020-06-24 21:39

Kubeflow Pipeline - 上传一个 Pipeline

文章目录1Overview2理解Pipeline2UploadPipeline3Summary1OverviewPipeline提供了几个内置的Pipline…有点绕口，但是真正使用的时候，但是默认提供的几个
runzhliu·2020-06-24 18:28

Jenkins pipeline：pipeline 使用之语法详解

一、引言Jenkins2.0的到来，pipline进入了视野，jenkins2.0的核心特性.也是最适合持续交付的feature。
hxpjava1·2020-06-23 17:09

redis集群下使用pipline进行批处理操作（spring/springboot+jedis）

我们都知道redis集群下对于mget、mset、pipeline、事务的支持不太好。当然对于mget和mset有这么几种方法：1、串行遍历key依次执行（这种就是把批量拆开了）2、使用hash_tag包装key，在计算key的slot时候，如果key包含{}，就会使用第一个{}内部的字符串作为hashkey，这样就可以保证拥有同样{}内部字符串的key就会拥有相同slot（这种方式其实就是把一次
chuimingwen0582·2020-06-22 23:05

Flink state,checkpoint详解

ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream比较大的一个优势就是State，pipline
aa1215018028·2020-06-22 11:53

大数据开发面试题总结-超详细

客户端上传请求--->namenode检查，返回响应--->客户端真正的文件上传请求，包括文件名，文件大小--->namenode返回上传节点--->客户端准备上传，进行块的逻辑切分--->客户端构建pipline
_JohnnyChu·2020-06-21 23:59

Jenkins基于k8s进行持续集成测试实践

简单来说，我们在Jenkins上配置了job（通常以Pipline的形式配置）后，JenkinsMaster做两件事，1.选择要运行job的JenkinsSlave机器；2.在选取的Slave机器上运行
liuil930·2020-06-21 13:26

Flink 异常处理-State和Checkpoint实践

ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream比较大的一个优势就是State，pipline
beTree_fc·2020-06-21 09:22

机器学习之模型评估与参数调优

利用sklearn中的Pipline类，使得我们可以拟合出包含任意多个处理步骤的模型，并将模型用于新数据的预测。1.#Title:TODO2.#Objective:TODO3.
PyDarren·2020-06-20 22:19

Jenkins分布式构建和Pipline

Pipline简介pipline是帮助Jenkins实现CI到CD转变的重要角色，是运行在jenkins2.X版本的核心插件，简单来说Pipline就是一套运行于Jenkins上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来
you-men·2020-06-19 23:00

Scrapy与Selenium注意事项及采坑

Scrapy与Selenium注意事项笔记Selenium参数部分加载时间过长解决办法与scrapy整合使用模板Scrapy使用注意事项中间件使用Pipline使用ReferenceSelenium参数部分通常情况下涉及到
modderBUG·2020-04-11 11:40

Jenkins打iOS包+上传蒲公英+发送钉钉消息

assets；我们需要将这些资源整合到App中，可以去处理，人为的话会存在没有用最新的资源包或者忘了替换资源包的情况；所以最好是能通过CI管理这些操作1.多个仓库拉取代码多个仓库拉取代码，一般可以使用Pipline
jayhe·2020-03-06 00:12

工作问题总结(2016)

写在最前工作过程发现的一些问题和一些项目中我们要思考的问题，总结如下：Log4j多进程写同一文件的问题redisset过大的问题redispipline的问题redis超时的问题redis没有优化成pipline
大道至简_Andy·2020-02-26 05:06

Jenkins pipeline 系列

打算写一系列的博客记录对Jenkinspipeline官网的摘要和重点Jenkins2.0之后将pipline作为了默认的选项，对于Jenkins高阶使用者来说要学会运行pipeline和到编写pipeline
欧莉米·2020-02-22 01:27

【Mac大数据开发】第八篇-HDFS读写机制详解

文件以packet形式向首个datanode传输，并通过pipline自动传送给其他节点。所有节点收到后，进行确认，从发送队列和确认队列中移除packet。上传流程客户
irving_yuan·2020-02-10 09:50

Jenkins 的安装与基础配置

开发的可以实现整个软件开发周期的持续集成任务编码测试运维二、特点优势兼容所有的主流开发环境拥有极其丰富的插件，能与主流开发环境进行集成以不同的J0b类型来创建不同的任务freestyle自由风格(通过gui,手动创建job)流水线(通过pipline
守护往昔·2020-01-11 20:00

Unity Jenkins打包(3) Pipeline

创建一个Pipeline项目GettingStartedwithPipeline1.1前提prerequisites：Jenkins2.x以上+Pipelineplugin（已包含在推荐的插件中）1.2创建Pipline
云木unity·2020-01-03 14:28

【Beautiful Soup 初探】

前沿网络爬虫分为API接口爬取和web爬取，一般的流程是先将需要的字段读取出来，形成一个目标json文件，最后通过scrapy设置Item，pipline，将资源文件保存下来。
Geeks_Chen·2019-12-28 18:13

jenkins-pipline工作流

下面是pipeline项目的配置：1.png点击buildwithparameters：2.png点击开始构建：3.png构建成狗，我们来看下控制台输出日志：Startedbyuserljb[Pipeline]propertiesWARNING:ThepropertiesstepwillremoveallJobPropertyscurrentlyconfiguredinthisjob,either
老夫刘某·2019-12-23 23:31

(九) Item Pipline

当Item在Spider中被收集之后，它将会被传递到ItemPipeline，一些组件会按照一定的顺序执行对Item的处理。每个itempipeline组件(有时称之为“ItemPipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。以下是itempipeline的一些典型应用：清理H
iamlightsmile·2019-12-19 22:45

点读系列《Jenkins用户文档》

入门入门指南需要java和docker安装命令java-jarjenkins.war--httpPort=8080打开浏览器进入链接http://localhost:8080创建HelloWorld流水线pipline
东方er·2019-12-11 19:00

信息抽取——关系抽取(一)

目录简介关于关系抽取Pipline模型Model1:RelationClassificationviaConvolutionalDeepNeuralNetworkModel2:RelationExtraction
西多士NLP·2019-12-11 00:00

管道操作删除 MongoDB 重复数据

文档数量一旦达到一定数据量级，为了保证新插入的数据不重复，如果每次使用update操作感觉有点慢，倒不如一次性insert然后最后在使用pipline管道操作去重重复数据，感觉会快些，但是我没有测试过，
jiyang·2019-11-02 00:45

python3+Scrapy爬虫使用pipeline数据保存到文本和数据库，数据少或者数据重复问题

就比如pipline的速率是1TPS，而spider的速率是5TPS，那么数据库应该会有5条重复数据。解决方
WebLinuxStudy·2019-10-23 14:00

基于Kubernetes 1.16.0 建立企业Jenkins CI/CD发布平台

Jenkins采用Pipline发布，容器化部署，主从结构，Jenkinsmaster负责调度slave，而slave进行拉代码，打包，构建镜像发布等操作，待发布完成后slave自
wujunqi1996·2019-10-21 10:11

Jenkins的安装部署

可以实现整个软件开发周期的持续集成任务编码测试运维二、优势1.兼容所有的主流开发环境2.拥有极其丰富的插件，能与主流开发环境进行集成3.以不同的Job类型来创建不同的任务freestyle自由风格（通过gui，手动创建job）流水线（通过pipline
小公瑾·2019-10-13 16:00

GStreamer基础教程09 - Appsrc及Appsink

摘要在我们前面的文章中，我们的Pipline都是使用GStreamer自带的插件去产生/消费数据。
John.Leng·2019-09-30 10:00

jenkins Pipline 庖丁解牛

主要内容如下：Pipline语法讲解Pipline项目实战-MavenJAVA项目构建Pipline项目实战-NodeJS项目构建分享一个多语言构建的Pipeline小栗子1.Pipline的组成JenkinsPipeline
xjtuhit·2019-09-10 18:53

jenkins+gradle/maven+sonar+pipline

总结：gradle配置接入sonar，需要在build.gradle配置中引入sonar插件，而maven不需要。jenkinspiplinemaven配置：stage('SonarQubeanalysis'){withSonarQubeEnv('Sonar'){sh'/usr/local/maven/bin/mvnsonar:sonar-Dsonar.projectName=CTS-capita
运维勺子·2019-09-10 11:38

Spark ml pipline交叉验证之Kmeans聚类

Sparkmlpipline交叉验证之Kmeans聚类1.1模型训练1.1.1输入参数{"modelName":"KMeans聚类","numIterations":"","numClasses":"","runs":"","numFolds":"5","maxIters":[10,20,50,100],"ks":[5,6,7,8,9,10,11],"seeds":[10,20,30]}1.1.2
码上中年·2019-09-03 11:07

Jenkins与Rainbond对接部署应用

考虑到Jenkins是目前主流的持续集成工具，并且它在源码测试和Pipline方面已经做得非常成熟，所以我们提供了针对Jenkins的集成方案。
好雨科技·2019-08-16 14:43

Jenkins与Rainbond对接部署应用

考虑到Jenkins是目前主流的持续集成工具，并且它在源码测试和Pipline方面已经做得非常成熟，所以我们提供了针对Jenkins的集成方案。
好雨科技·2019-08-16 00:00

jenkins的pipeline基本语法

一、引言Jenkins2.0的到来，pipline进入了视野，jenkins2.0的核心特性.也是最适合持续交付的feature。
hagretd·2019-08-11 23:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他