Pipeline

Apache Airflow 全面解析

其核心设计理念是“WorkflowsasCode”，通过编程方式定义、调度和监控复杂的数据流水线（Pipeline），适用于ETL、机器学习模型训练、数据湖管理、报表生成等场景。
由数入道·2025-01-30 18:20

HDFS读写流程

一、写数据流程1.1Pipeline管道、ACK应答响应Pipeline，中文翻译为管道。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。客户端将数据块写入第一个数据节点，
金州饿霸·2025-01-30 14:37

正在更新丨豆瓣电影详细数据的采集与可视化分析（scrapy+mysql+matplotlib+flask）

flask）写在前面数据采集0.注意事项1.创建Scrapy项目`douban2025`2.用`PyCharm`打开项目3.创建爬虫脚本`douban.py`4.修改`items.py`的代码5.修改`pipelines.py
Want595·2025-01-29 20:53

【Golang】Go语言中的并发模式

工作池（WorkerPool）使用场景优点缺点4.扇出扇入（Fan-Out,Fan-In）使用场景优点缺点5.用于取消的上下文（ContextforCancellation）使用场景优点缺点6.管道（Pipeline
RumIV·2025-01-29 16:18

Jenkins Pipeline自动化构建过程，可灵活配置多项目、多模块服务实战

服务容器化构建的环境配置构建前需要解决什么下面我们带着问题分析构建的过程：1.如何解决jenkins执行环境与shell脚本执行环境不一致问题？2.构建之前动态修改项目的环境变量3.在通过容器打包时避免不了会产生比较多的不可用的镜像资源，这些资源要是不及时删除掉时会导致服务器磁盘暴满，导致资源浪费。此时我们在构建之前也要执行不可用的镜像清除操作；4.本地LLama大模型服务地址，如何以容器部署时作
smart_ljh·2025-01-29 02:01

A6.Springboot-LLama3.2服务自动化构建（三）——编写Pipeline构建仓库初始化脚本

下面我们接着上一篇文章《A5.Springboot-LLama3.2服务自动化构建（二）——Jenkins流水线构建配置初始化设置》继续往下分析，编写Pipeline构建脚本。
smart_ljh·2025-01-29 00:50

Jenkins pipeline共享库的最佳实践

Jenkins共享库使用教程Jenkins共享库（SharedLibraries）是一个功能强大的工具，旨在帮助团队在多个Jenkins项目中重用代码。这使得CI/CD流水线能够更加高效、简洁，并减少重复劳动。通过共享库，你可以将常用的Groovy脚本、步骤、函数等提取到一个公共的位置，使得多个项目都能引用它们。1.什么是Jenkins共享库？Jenkins共享库是一个包含可以在多个Jenkins
DevOps探索者·2025-01-28 20:15

＜sa8650＞QCX Usecase 使用详解—如何在 QCX 框架中添加新的自定义Usecase/Pipeline

＜sa8650＞QCXUsecase使用详解—如何在QCX框架中添加新的自定义Usecase/Pipeline一、前言二、为Usecase/Pipeline创建新文件夹三、CreateUsecaseXML
waterAdmin·2025-01-28 09:26

＜sa8650＞QCX Usecase 使用详解—如何更改 IFE/IPE 输出格式

QCXUsecase使用详解—如何更改IFE/IPE输出格式一、前言二、为UsecaseFFC添加新格式三、新格式定义四、IPEenabled五、备注一、前言本节说明更改流水线输出格式所需对Usecase/PipelineXML
waterAdmin·2025-01-28 09:55

探索AWS Event Fork Pipelines：构建弹性事件驱动架构

探索AWSEventForkPipelines：构建弹性事件驱动架构aws-serverless-event-fork-pipelinesAWSEventForkPipelineshelpsyoubuildevent-drivenserverlessapplicationsbyprovidingpipelinesforcommonevent-handlingrequirements
费津钊Bobbie·2025-01-28 08:23

transformer.js（二）：关于pipe管道的一切

pipe管道（Pipeline）作为Transformer.js的核心功能之一，负责简化各种常见的NLP任务，例如文本生成、翻译、分类等，本文将详细介绍：从它的概念、实现到实际使用场景，帮助开发者全面掌握这一功能
余生H·2025-01-27 21:00

ML.NET速览

机器学习管道ML.NET通过管道(pipeline)方式组合机器学习过程。
aixing8475·2025-01-27 00:34

Jenkins-pipeline语法说明

一.简述：JenkinsPipeline是一种持续集成和持续交付（CI/CD）工具，它允许用户通过代码定义构建、测试和部署流程。
xiao-xiang·2025-01-26 20:40

【diffusers极速入门（四）】EMA 操作是什么？

系列文章目录【diffusers极速入门（一）】pipeline实际调用的是什么？call方法!【diffusers极速入门（二）】如何得到扩散去噪的中间结果？
多恩Stone·2025-01-26 18:52

【diffusers极速入门（六）】缓存梯度和自动放缩学习率以及代码详解

系列文章目录【diffusers极速入门（一）】pipeline实际调用的是什么？call方法!【diffusers极速入门（二）】如何得到扩散去噪的中间结果？
多恩Stone·2025-01-26 18:52

奥比中光Geminipro相机使用

importcv2importnumpyasnpfrommatplotlibimportpyplotasplt#奥比中光OrbbecPythonSDKfromObTypesimport*fromPropertyimport*importPipelineimportStreamProfilefromErrorimportObExcep
一傲·2025-01-25 22:11

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf

**第二点，**DAG拖拽编程,一方面用户可以通过画板来构建自己的Pipeline，另一方面用户也可以使用原生Jar方式
2501_90243308·2025-01-25 16:58

第04章 05 VTK中两个处理管道相关类的说明

在VTK（VisualizationToolkit）中，vtkPipeline和vtkExecutive是两个关键的类，用于管理和执行数据处理管道。
捕鲸叉·2025-01-24 00:51

jenkins-pipeline 动态生成参数

在pipeline的环境中，可能没法通过第三方参数插件来实现参数获取。不过jenkins提供了一个ActiveChoicesParameter插件，可通过一些
xiao-xiang·2025-01-23 17:26

MongoDB的聚合&MongoDB的索引

一、mongoDB的聚合操作知识点：pipeline聚合mapRedurce聚合pipeline与mapRedurce比较pipeline速度快，但只能运行在单机上，适合数据量小的实时聚合操作。
小强同志·2025-01-23 08:58

elasticsearch pipeline 总结

pipeline可以理解为elasticsearch对接收到的数据的入库前再处理过程，这个过程可以非常复杂，包括修改数据归属index。
weixin_40455124·2025-01-23 03:43

ElasticSearch解析logback日志并处理异常栈轨迹

文章目录背景分析IngestPipeline解析日志-示例查看IngestPipeline创建Pipeline添加Grok处理器添加时间戳、IP地址和用户代理处理器测试Pipeline多行消息管理filestreaminputloginput
甘蓝聊Java·2025-01-23 03:12

es-Ingest pipelines

Ingestpipelinesnode为ingest角色，对indexingrequest做预处理，主要用于数据转换为合规、期望值的场景官方地址：https://www.elastic.co/guide
童小绿·2025-01-23 03:11

Elasticsearch 摄取节点(Ingest Node)使用Pipeline预处理文档

1.IngestnodeIngestnode是elasticsearch的节点类型之一，通过在Ingestnode配置pipeline管道，可以在文档存入索引之前对文档进行预处理。
°Fuhb·2025-01-23 03:38

DOTS Unity.Physics物理引擎碰撞事件处理

Unity.Physics物理引擎的主要流程与PipelineUnity.Physics物理引擎做仿真迭代计算的时候主要通过以下步骤来执行:step1:从entity里面的ECS组件中获取我们当前的物体的状态数据
Unity_RAIN·2025-01-22 21:24

python pipeline库_Easy Pipeline，一种轻量级的Python Pipeline库

嗯，很久没有写博客了，最近的工作都是偏开发性质的，以至于没有时间对自己感兴趣的领域进行探索，感觉个人的成长停滞了一些。如何在枯燥的工作中，提取出有助于自己成长的养分，对于每个人来说都是不小的考验。这次，带来的是之前编写的一下挺简单的库，用来简化流水线作业的小框架。起因是这样的，组内有一个需求，需要挖掘视频中的检测难样本，这样可以极大地减少标注的量，从而降低成本。难样本挖掘的策略，简单来说就是如果视
周不宅·2025-01-21 05:18

Python中的Pipeline快速教学、

在Python中，Pipeline通常指的是机器学习工作流中的流水线，尤其是在使用scikit-learn库时。Pipeline允许你将多个数据处理步骤和模型训练步骤串联起来，形成一个有序的工作流程。
Coding Is Fun·2025-01-21 03:03

jenkins持续集成入门18 - (Pipeline Script from SCM)流水线项目 用dockerfile-maven-plugin生成docker镜像并push到harbor私有仓库

前提或注意事项：adocker远程连接已开启idea集成docker实现远程连接，可视化操作_小哇-CSDN博客bHarbor先建立好一个项目，名称为haiwangcjenkins中建立的项目名要和idea中maven的项目名称保持一致ddockerfile-maven-plugin的权限Jenkins使用docker-maven-plugin进行编译时发现没有权限-if年少有为-博客园正式开始创
小哇666·2025-01-20 16:48

Jenkins-Pipeline简述

一.什么是Jenkinspipeline：pipeline在jenkins中是一套插件，主要功能在于，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程。
xiao-xiang·2025-01-19 05:21

爬虫scrapy框架进阶-CrawlSpider, Rule

中加入CrawlSpider️创建项目️提取器和规则RULEscrapy爬虫实战️分析网站️代码部分1.settings部分2.starts部分3.items部分4.重要的lyw_spider部分5.pipelines
吃猫的鱼python·2025-01-18 02:53

2024年大数据最全【ES专题】ElasticSearch集群架构剖析_es集群

IngestNode：数据前置处理转换节点，支持pipeline管道设置，可以使用ingest对数据进行过滤、转换等操作MachineLearningNode：负责跑机器学习的Job，用来做异常检测TribeNode
kenzsoft·2025-01-16 17:04

XXL-TOOL v1.3.2 发布 | Java工具类库

包含“集合、字符串、缓存、并发、Excel、Emoji、Response、Pipeline……”等数十个模块。文档地址中
·2025-01-16 16:31

Some jenkins settings

Jenkins连接到特定gitlabproject的特定branch我采用的方法是在pipeline的script中使用git命令来指定branch。
SnC_·2024-09-16 07:10

WebMagic：强大的Java爬虫框架解析与实战

文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具
Aaron_945·2024-09-16 05:21

java mongodb group分组使用

刚开始接触老是各种错误,参照以下内容有很多帮助https://docs.mongodb.com/manual/reference/sql-aggregation-comparison/另外出现这种错误时Apipelinestagespecificationobjectmustcontainexactlyonefield
yank1225·2024-09-14 20:12

2022-01-03 day62 pipaline流水线作业

今日作业：1.pipeline实现流程：拉取代码-->编译-->部署测试-->发送测试通知-->确认是否部署-->部署服务-->发送部署结果通知pipeline{agentanyparameters{gitParameterbranch
zhaocheng690·2024-09-14 18:07

Redis 管道(Pipeline)是什么？有什么用？

目录1.redis客户端-服务端模型的不足之处2.redis管道是什么？有什么好处？3.管道的使用场景4.管道使用的注意事项1.redis客户端-服务端模型的不足之处众所周知，redis是一个客户端-服务端的模型设计，客户端向服务端发送存储数据的请求共分为四步(发送命令——>命令排队——>命令执行——>返回结果)，简单来说就是一问一答的交互方式，在等待返回结果的期间，通常是以阻塞的模式等待服务端响
程序猿ZhangSir·2024-09-12 02:07

redis的事务与管道有什么不同？

Redis的事务（MULTI/EXEC）和管道（PIPELINE）都是为了执行多条命令，但它们的工作原理和目标不同。以下是两者的详细对比。
半桶水专家·2024-09-12 02:04

使用命令来指示ChatGLM-6B模型执行各种简单任务

，从而为各种简单任务设计有效的提示本文主要演示prompt的使用，请忽略输出的正确与否开始frommodelscope.utils.constantimportTasksfrommodelscope.pipelinesimportpipeli
西笑生·2024-09-11 22:06

Python | 使用Joblib模块加快任务处理速度

Python中的Joblib模块特别用于使用Pipelines并行执行任务，而不是一个接一个地顺序执行任务。Joblib模块允许用户通过利用设备中存在的所
python收藏家·2024-09-11 21:28

3.4 Principles of Reliable Data Transfer (Part 2)

3.4.2PipelinedReliableDataTransferProtocols如我们在Part1中指出的，rdt3.0虽然是一个正确的可靠数据传输协议，然而它的性能无法满足需求。
找不到工作·2024-09-11 08:49

在 CI/CD Pipeline 中实施持续测试的最佳实践！

随着软件开发周期的不断加快，持续集成（CI）和持续交付/部署（CD）已经成为现代软件开发的重要组成部分。在这一过程中，持续测试的实施对于确保代码质量、提高发布效率至关重要。本文将详细介绍在CI/CD流水线中实施持续测试的最佳实践，并提供具体的方案和实战演练。持续测试的意义持续测试是指在整个软件开发生命周期中，持续地对软件进行自动化测试。其主要目标是尽早发现缺陷，减少修复成本，提高软件质量。与传统的
小码哥说测试·2024-09-10 23:55

Apache Beam简介及相关概念

文章目录一.简介二.基本概念1.Pipelines2.PCollection3.Transforms4.ParDo5.PipelineI/O6.Aggregation7.User-definedfunctions
奋斗的源·2024-09-09 23:30

jenkins配置流水线

pipeline{agentanystages{stage('stopapp'){steps{script{defremote=[:]//配置服务地址，用户名和密码remote.name='prd'remote.host
iteye_10392·2024-09-08 20:28

jenkins安装 sshCommand

在Jenkins中安装SSH插件（例如“SSHPipelineSteps”或“SSHIntegrationPlugin”）可以让你通过JenkinsPipeline或自由风格项目执行远程SSH命令或脚本
iteye_10392·2024-09-08 20:58

Docker in Docker 实践 on mac

在尝试tekton构建cipipeline是，需要在k8pod里buildimage，于是研究了如何dockerindocker。
solinger·2024-09-07 11:38

window系统运行pytorch找不到指定的模块，报错“fbgemm.dll“ or one of its dependencies.”

，importtorch报错如下：Traceback(mostrecentcalllast):File"d:\work_space\01_code\BMCourse\exercises\L2_NLP_pipeline_pytorch
weixin_44598491·2024-09-06 17:09

【人工智能】Transformers之Pipeline（十三）：填充蒙版（fill-mask）

技术原理2.2.1BERT模型的基本概念2.2.2BERT模型的工作原理2.2.3BERT模型的结构2.2.4BERT模型的应用2.2.5BERT模型与Transformer的区别和联系2.3应用场景2.4pipeline
LDG_AGI·2024-09-06 02:02

Ingest Pipeline & Painless Script

Introducingbigdata......","tags":"hadoop,elasticsearch,spark","content":"Youknow,forbigdata"}#测试splittagsPOST_ingest/pipeline
折纸虚桐·2024-09-05 22:03

ElasticSearch-Ingest Pipeline & Painless Script

IngestNode&Pipeline&ProcessorIngestNodePipeline&Processor内置的Processors创建pipeline使用pipeline更新数据借助update_by_query
姜希成·2024-09-05 21:22
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他