Slurm调度系统

Dell R710/R730XD 服务器安装 CentOS 8.1

sys_r710.png1.机器配置DellPowerEdgeR710DellPowerEdgeR730xd2.需求需要搭建Slurm集群，至于选择CentOS8的原因是稳定，强大，主要是新的Ubuntu20.04
正踪大米饭儿·2023-09-06 22:52

用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验

2021年初，蜀海信息技术中心大数据技术研发团队开始测试用DolphinScheduler作为数据中台和各业务产品项目的任务调度系统工具。
·2023-09-06 12:52

国内某头部理财服务提供商基于白鲸调度系统建立统一调度和监控运维

导读：国内某头部理财服务提供商成立于2019年，是股份制银行中首批获准筹建、首家获准开业、首家成立的银行理财子公司。自2004年推出国内首支人民币理财产品以来，通过投资模式的不断创新和投资管理能力的持续提升，引领国内银行业理财市场。该企业每天处理的任务量达1W，内部系统众多，当务之急是需要一个统一的调度和监控平台，支持不同理财业务场景下的需求。2023年之前，该企业使用开源版本的大数据调度平台Ap
·2023-09-06 11:17

Hadoop的概述与安装

Hadoop的概述与安装一、Hadoop内部的三个核心组件1、HDFS：分布式文件存储系统2、YARN：分布式资源调度系统3、MapReduce：分布式离线计算框架4、HadoopCommon（了解即可
Augenstern K·2023-09-05 06:49

python跑批模拟、深度遍历、echarts时序图

记一次跑批优化目录工作背景;报表层表依赖关系梳理;调度系统跑批模拟器;理论上的最短耗时;echarts输出时序图;1.工作背景因今年的项目需将原有报表工具上的一些报表迁移至新的报表平台，因此涉及到这些报表的取数脚本梳理
马克布克打字机·2023-09-02 18:52

IBM LSF 任务调度系统客户案例——赛普拉斯半导体

赛普拉斯半导体利用IBM平台计算以更低的成本将先进技术更快推向市场在工作站和网络文件服务器上存储数据影响了性能、数据可访问性和可靠性，阻碍了缩短半导体产品总周期时间的努力。如今，GPFS™存储解决方案消除了数据访问的瓶颈，赛普拉斯的性能提高了十倍，并提高了可用性。业务挑战为了抢在竞争对手之前将新产品推向市场并降低设计成本，赛普拉斯必须不断缩短总周期时间（TCT），增加潜在收入、提高利润率。转型通过
小信瑞·2023-09-01 09:44

Nginx动态发现多种方案研究实战

1背景很多公司都有做动态调度系统，有些是基于mesos+docker，有些采用了google的K8s，或者是自研的系统，这些系统有一个明显的特征就是服务实例的ip会频繁更换。
hugoren·2023-09-01 00:56

kerberos环境下parcel方式部署flink1.15.3 基于CDH6.3.2 Flink on Yarn

1.1FlinkonYarn的优势相对于Standalone模式，在Yarn模式下有以下几点好处：1.资源按需使用，提高集群的资源利用率；2.任务有优先级，根据优先级运行作业；3.基于Yarn调度系统，
Mumunu-·2023-08-30 00:09

Linux各类性能分析工具用法详解

文章目录静态性能分析工具文件系统观测工具虚拟文件系统(VFS)分析工具磁盘管理工具进程资源占用监测系统库调用分析工具网络配置防火墙配置多路径配置进程调度系统命令操作查看硬件信息磁盘管理网络端口硬件信息监测工具内核调用监测系统调用监测系统函数调用监测系统性能监测系统资源监测网络资源监测
码农飞飞·2023-08-29 22:16

xxl-job快速入门指南

前言大家好，我是jackxu，今天和大家分享一下xxl-job，xxl是许雪里大神名字的首字母缩写，他是大众点评的程序员，也是利用业余时间创作的一个开源的任务调度系统。
jack xu1·2023-08-29 15:35

应急指挥调度系统之指挥中心是由什么构成的

应急指挥调度系统是应急管理的重要组成部分，而指挥中心则是应急指挥系统的控制中枢，可以说是应急指挥调度系统体系中的大脑，应急管理中的所有应急指令都会从指挥中心发出，作为应急指挥系统的控制中枢，应急指挥调度系统一般需要具备哪些功能
PTTLINK·2023-08-29 13:28

综合指挥调度系统行业分类汇总

综合指挥调度系统是将语音、视频、GIS进行高度融合，构建“平战结合”的指挥调度模式，既满足平时的应急培训、日常通信、会议会商等要求，也能够应对战时的应急指挥、应急救援、应急决策等需求，达到统一指挥、联合行动的目的
PTTLINK·2023-08-29 13:58

融合通信入门，使用PTTLINK打通第一路语音通话,如此简单

一、平台介绍PTTLINK多媒体调度系统系统是基于VoIP融合通信技术架构的综合调度通信系统。
PTTLINK·2023-08-29 13:28

虚拟电厂——新型电力调度系统

最近，美元兑人民币汇率再次上升，这背后一大原因是俄乌兰战争引发的油气供给紧张，解决能源危机的呼声再次掷地有声。相对于煤石油天然气，电力是目前最理想的替代能源。初秋伊始，在全国各地电网都经历高温大负荷的“烤”验后，电力供需的调节能力在这波热浪中经历了无情洗涮，一个可靠且灵活的供电节奏对于人们生活来说前所未有的重要。结合本职调控业务，以此为契机，学习到当下火热的“虚拟电厂”。一、虚拟电厂是什么？我认为
星辰点点光·2023-08-28 14:30

数据库第十七课-------ETL任务调度系统的安装和使用

等编程语言，是一位爱分享的博主，有兴趣的小可爱可以来互讨个人主页::小小页面gitee页面:秦大大一个爱分享的小博主欢迎小可爱们前来借鉴ETL**作者前言**ETL的介绍安装使用总结ETL的介绍ETL：任务调度系统
老秦包你会·2023-08-28 08:09

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

Taier作为袋鼠云的开源项目之一，是一个分布式可视化的DAG任务调度系统。
袋鼠云数栈·2023-08-23 17:10

电商项目part03 电商支撑服务梳理

分布式任务调度系统1、contab指令快速实现简单的定时任务在Linux机器上直接使用crontab-e指令，就可以编辑一个简单的调度任务，适用于请求量不是很大的情况*****echo"timer">/
渔阳节度使·2023-08-21 18:29

Koordinator 异构资源/任务调度实践

作者：李涛（吕风）前言Koordinator是阿里云基于过去我们建设的统一调度系统中积累的技术和实践经验，对外开源了新一代的调度系统。
·2023-08-21 14:13

实现一个任务调度系统，这篇文章就够了

阅读一篇「定时任务框架选型」的文章时，一位网友的留言电到了我：我看过那么多所谓的教程，大部分都是教“如何使用工具”的，没有多少是教“如何制作工具”的，能教“如何仿制工具”的都已经是凤毛麟角，中国软件行业，缺的是真正可以“制作工具”的程序员，而绝对不缺那些“使用工具”的程序员！…”这个业界最不需要的就是“会使用XX工具的工程师”，而是“有创造力的软件工程师”！业界所有的饭碗，本质就是“有创造力的软件
勇哥java实战分享·2023-08-21 13:51

使用 Ploomber、Arima、Python 和 Slurm 进行时间序列预测

推荐：使用NSDT场景编辑器助你快速搭建可二次编辑的3D应用场景简短的笔记本说明笔记本由8个任务组成，如下图所示。它包括建模的大多数基本步骤-获取数据清理、拟合、超参数调优、验证和可视化。作为捷径，我拿起笔记本并使用Soorgeon工具自动将笔记本模块化到Ploomber管道中。这会将所有依赖项提取到一个requirements.txt文件中，将标头分解为独立任务，并从这些模块化任务中创建管道。使
ygtu2018·2023-08-20 06:27

基于Docker的容器调度系统

DockerSwarm（三）架构篇Swarm调度介绍Swarm提供了几种不同的方法来控制服务任务可以在哪些节点上运行。可以指定服务是需要运行特定数量的副本还是应该在每个工作节点上全局运行。您可以配置服务的CPU或内存要求，该服务仅在满足这些要求的节点上运行。swarm在用命令swarmmanager启动swarmmanager时，可用--strategy指定调度策略。swarm提供了三种调度策略计
peerless_1024·2023-08-20 02:41

Apache DolphinScheduler 诞生记

希望DolphinScheduler就像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统。1概述DAG全称DirectedAcyclicGraph，简称DAG。
代立冬·2023-08-19 03:29

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。
DolphinScheduler社区·2023-08-17 18:31

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。
·2023-08-17 18:35

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。
·2023-08-17 18:58

定时任务调度系统调研

定时任务调度系统我们的定时运维任务有集中管理和查看的诉求，记录一下。
天下无敌笨笨熊·2023-08-17 13:31

Azkaban使用笔记

工作流调度系统：由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等。原始数据进来的处理步骤如下所示：1、通过Hadoop先将原始
小丸子爱吃虾·2023-08-17 04:17

Koordinator 异构资源/任务调度实践

作者：李涛（吕风）前言Koordinator是阿里云基于过去我们建设的统一调度系统中积累的技术和实践经验，对外开源了新一代的调度系统。
阿里云云原生·2023-08-15 12:57

Slurm--资源管理系统

Slurm–资源管理系统开源软件SLURM全称SimpleLinuxUtilityforResourceManagement开源分布式资源管理软件可用于大型计算节点集群的高度可伸缩的集群管理器和作业调度系统提供高效的资源与作业管理状态监控资源管理作业调度是用户使用计算资源的接口作业提交
发呆的比目鱼·2023-08-14 11:43

ETL调度系统及常见工具对比：azkaban、oozie、数栖云 | 数澜科技

最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？其实，类似于像Kettle这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能App的配合，和只能接打电话的
数澜科技Dtwave·2023-08-12 16:21

slurm/sbatch/srun 多步骤串行运行多个依赖性任务

在slurm系统下，有时候需要按步骤运行A、B、C三个任务，但是直接写在脚本里会同时提交，所以需要建立依赖关系。
joyce_peng·2023-08-12 15:23

uniapp------uniCloud云函数与云对象的简述

每个云函数是一个js包，在云函数被调用时，由serverless调度系统分配硬件资
荔枝花-7·2023-08-11 06:00

基于webSpoon的数据采集器

1.项目介绍dataCollection项目在kettle基础开发的可视化任务调度系统，提供简单易用的操作界面，降低用户使用crontab调度的学习成本，缩短任务配置时间，避免配置过程中出错。
IYOU私塾·2023-08-10 18:36

vue引用高德地图api（输入提示插件）无法获取数据问题

在用vue做调度系统项目的时候引用高德地图api进行地点输入时需要提示可能的地点。
元仙僧·2023-08-09 19:25

springboot集成分布式任务调度系统xxl-job(调度器和执行器)

一、部署xxl-job服务端下载xxl-job源码下载地址：https://gitee.com/xuxueli0323/xxl-job二、导入项目、创建xxl_job数据库、修改配置文件为自己的数据库三、启动项目、访问首页访问地址：http://localhost:8080/xxl-job-admin/账号：admin密码：123456执行器管理我们部署的是调度器管理平台，执行器就是我们实际开发的
qq_21305943·2023-08-08 22:23

GB28181转SIP网关的优势

GB28181协议是国家针对各品牌视频监控无法互通，无法统一管理的问题，提出的国家标准协议，符合GB28181协议的视频监控协议可以实现互通，统一管理等功能，方便在视频监控项目中，应急指挥，指挥调度系统等项目中进行融合互通
章鱼评测·2023-08-08 02:35

CND加速的原理是什么？

CDN加速通过将网站的内容缓存在网络边缘（离用户接入网络最近的地方），然后在用户访问网站内容的时候，通过调度系统将用户的请求路由或者引导到离用户接入网络最近或者访问效果最佳的缓存服务器上，有该缓存服务器为用户提供内容服务
8b7f95808ba8·2023-08-07 08:28

从0到1搭建大数据平台之调度系统

因而调度系统是大数据平台不可或缺的，正如闹钟对于日常生活的重要性一样。首先上一个通用型的大数据平台框架：由此而见，无论是离线任务或者实时任务，都是需要工作流的调度系统。一、原始任务
大数据指北·2023-08-07 02:29

大数据开发：Oozie调度框架简介

ApacheOozie是一个用来管理Hadoop任务的工作流调度系统，基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有JavaMapReduc
成都加米谷大数据·2023-08-06 19:26

图说系列：dolphinscheduler的工作流程

ApacheDolphinScheduler，是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程
子涵先生·2023-08-06 16:31

【xxl-job】分布式任务调度系统xxl-job执行器自动启动

更多介绍，请访问官网：分布式任务调度平台XXL-JOB在【xxl-job】分布式任务调度系统xxl-job搭建中，我们讨论了如何手动启动运行xxl-job执行器。
KnightYangHJ·2023-08-05 21:42

linux定时任务

一、简介Linux下的任务调度分为两类，系统任务调度和用户任务调度系统任务调度：系统需要定期执行的任务，比如重启、日志清理等，其配置文件是：/etc/crontab用户任务调度：某个用户需要定期执行的任务
Chilkings·2023-08-04 22:28

Slurm22.11.2 入门教程01-Centos7.6 安装 Slurm

说明：一.集群环境搭建分为：【NTP】、【MUNGE】、【Slurm】网络拓扑计算机名称IP地址角色master192.168.114.242管理节点（master）compute1192.168.114.243
新之谦儿·2023-08-04 08:41

PyTorch 分布式训练和启动脚本torch.distributed.launch torchrun slurm

1、DataParallel如果当前有4个GPU，batch_size=16，那么模型将被复制到每一个GPU上，在前向传播时，每一个gpu将分到4个batch，每个gpu独立计算依据分到的batch计算出结果的梯度，然后将梯度返回到第一个GPU上，第一个GPU再进行梯度融合、模型更新。在下一次前向传播的时候，将更新后的模型再复制给每一个GPU。1、DP在每个训练批次（batch）中，因为模型的权重
www_z_dd·2023-08-03 19:17

kettle 笛卡尔_Kettle 学习笔记

一直用SSIS做ETL,越来越感觉这玩意不是亲生的.因此萌生换ETL工具的想法,不过Kettle社区版没什么调度系统,貌似错误处理也不是很方便,且先了解吧.本文简略的记录了整个软件的使用流程.开始Kettle
渊亭无迹静涛君·2023-08-01 11:32

大数据部分总结

HadoopHADOOP是apache旗下的一套开源软件平台提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）ARN（运算资源调度系统
DHRJFH·2023-07-31 09:14

大数据培训—DolphinSchedular（一）

ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
尚硅谷铁粉·2023-07-30 16:28

联想基于Apache DolphinScheduler构建统一调度中心的应用实践

ApacheDolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
学而知之@·2023-07-30 16:57

【架构实践】任务调度系统架构设计：基于缓存的改进

文章目录1.引言2.技术原理及概念2.2.技术原理介绍3.实现步骤与流程4.示例与应用5.优化与改进随着互联网和信息技术的不断发展，任务调度系统已经成为了企业和个人使用的重要工具。
禅与计算机程序设计艺术·2023-07-30 09:40

「新生手册」：PyTorch分布式训练

zhuanlan.zhihu.com/p/360405558目录0X01分布式并行训练概述0X02Pytorch分布式数据并行0X03手把手渐进式实战A.单机单卡B.单机多卡DPC.多机多卡DDPD.Launch/Slurm
Amusi（CVer）·2023-07-28 12:26
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他