LSF调度系统

华为OD机试题：工厂流水线调度

题目描述：一个工厂有m条流水线，来并行完成n个独立的作业，该工厂设置了一个调度系统，在安排作业时，总是优先执行处理时间最短的作业。
CoCo_2022·2023-04-08 07:07

OD-流水线（python）

题目描述一个工厂有m条流水线来并行完成n个独立的作业该工厂设置了一个调度系统在安排作业时，总是优先执行处理时间最短的作业现给定流水线个数m需要完成的作业数n每个作业的处理时间分别为t1,t2...tn请你编程计算处理完所有作业的耗时为多少当
回到浪浪山~·2023-04-08 07:06

什么是分布式任务调度？怎样实现任务调度

结算服务中包括了定期生成报表的任务调度程序，由于采用分布式架构，一个服务往往会部署多个冗余实例来运行我们的业务，在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度，如下图：不管是任务调度程序集成在应用程序中，还是单独构建的任务调度系统
是一只萨摩耶·2023-04-07 19:39

java项目--银行调度系统

首先定义号码管理类要有取号的方法，将号码加入到集合中去要有得到号码的方法。(每次取出集合中的第一个)都是多线程操作，所以要synchronizedpublicclassNumberManager{privateintlastNumber=0;privateListqueueNumber=newArrayList();publicsynchronizedintgenerateNewManager()
xiaozhucdj·2023-04-07 16:56

如何部署一个健壮的 apache-airflow 调度系统

之前介绍过的apache-airflow系列文章任务调度神器airflow之初体验airflow安装，部署，填坑airflow配置CeleryExecutor介绍了如何安装、配置、及使用，接下来介绍如何在跨多个节点来安装部署apache-airflow：本文主要介绍以下几点：airflow的守护进程airflow单节点部署airflow多节点（集群）部署airflow集群部署的具体步骤集群部署将为
清如許·2023-04-05 18:41

Airflow架构与扩容

整体上，Airflow是一种主从架构的作业调度系统，其官方给出的架构图如下：像MetadataDB,Webserver这些组件不必过多解释，作为一个web应用，这些是常规组件，我们重点关注以下核心组件：
　Laurence·2023-04-05 18:07

工控系统设计（二）系统架构

系统包含几个调度系统：（1）采集/反控调度系统（2）内部触发调度系统（3）上传数据调度系统（4）他方
还是叫明·2023-04-05 16:48

任务/资源管理_Yarn

3.2命令4问题0参考列表CSDN:yarn工作原理https://blog.csdn.net/skylibiao/article/details/857132461概念Yarn是一款分布式资源管理和任务调度系统
若叶时代·2023-04-05 10:34

阿里巴巴大数据-大数据技术专家-平台架构

承担大数据智能研发平台整体架构工作•负责基础平台架构，大数据组件技术应用，探索，集成，改造和技术攻关•参与建设和输出国内顶尖的云上数据中台一站式商业解决方案，承载百亿级商业化目标的落地实施•工作范围涉及包括但不限于：任务和资源调度系统
扶至钦·2023-04-05 09:40

IBM Platform LSF家族安装和配置简介

登录节点也安装LSF，配置为LSF静态Client或者MXJ值为0，也即不运行作业的客户端。集群的WEB节点与办公访问局域网一个网段。
小信瑞·2023-04-05 05:07

.NET Core下的开源分布式任务调度系统ScheduleMaster-v2.0低调发布

从1月份首次公开介绍这个项目到现在也快4个月了，期间做了一些修修补补整体没什么大的改动。2.0算是发布之后第一个大的版本更新，带来了许多新功能新特性，也修复了一些已知的bug，在此感谢在博客、Issue和QQ群中提出各种意见的朋友，以及指导过我的前辈大佬们。在我看来，这个项目没有使用任何高深的技术和架构，甚至有些代码写的自己都不满意不敢拿出来给大家观赏，和社区中其他一些开源项目的大佬们比起来自惭形
dotNET跨平台·2023-04-05 04:17

《大数据之路：阿里巴巴大数据实践》第一篇 数据技术篇-读书笔记

3.3数据同步问题3.3.1分库分表处理3.3.2高效同步和批量同步3.3.3增量与全量同步的合并3.3.4数据同步性能3.3.5数据漂移4.离线数据开发4.1统一计算平台4.2统一开发平台4.3任务调度系统
程序员学习圈·2023-04-04 19:59

DolphinScheduler大数据调度系统

一、背景在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具：易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师;解决“复杂任务依赖”
wapecheng·2023-04-04 18:04

进程调度策略

周转时间是一个性能指标，调度系统中可以优化性能，但是付出的代价往往是阻止一些工作的运行。
Felix.Lee·2023-04-04 16:26

SLURM批处理调度系统介绍

SLURM(SimpleLinuxUtilityforResouceManagement)非常成熟的开源社区集群批处理调度系统。
weixin_42849849·2023-04-04 16:25

Slurm集群调度策略详解（2）-回填调度

1.slurm集群调度系统简介作业调度系统其实就是指按一定策略把并行程序的各子任务或者是面向多用户的一组作业按一定的选择策略使之与各计算节点的空闲资源相对应，让其在对应的资源上运行，所以作业调度系统是联系上层应用和下层资源的中枢
h_m_l·2023-04-04 15:31

Slurm架构和源码分析

1.Slurm简介SLURM（SimpleLinuxUtilityforResourceManagement）是一个可用于大型计算节点集群的高度可伸缩的集群管理器和作业调度系统。由60万行C代码组成。
h_m_l·2023-04-04 15:00

浅谈Slurm作业调度系统

1.相关基本概念资源（Resource）作业运行过程中使用的可量化实体都是资源；包括硬件资源（节点、内存、CPU、GPU等）和软件资源（License）；集群（Cluster）包含计算、存储、网络等各种资源实体且彼此联系的资源集合；在物理上，一般由计算处理、互联通信、I/O存储、操作系统、编译器、运行环境、开发工具等多个软硬件子系统组成；节点是集群的基本组成单位，从角色上一般可以划分为管理节点、登
男孩李·2023-04-04 15:21

slurm(一) —— 简介

Slurm(SimpleLinuxUtilityforResourceManagement)是一个开源、容错、高可伸缩的集群管理和大型小型Linux集群作业调度系统。
hxxjxw·2023-04-04 15:18

TOGAF鉴定级L2试题答案及解析（三）

每个工厂均有各自的制造需求规划(MRPII)系统、生产调度系统以及定制开发的应用，从而驱动各工厂生产设备的自动化。MDES正在施行精益生产原则，以尽量减少浪费并提高所有生产操作程序的效率。
dragonpeng2008·2023-04-04 11:31

.NET Core下的开源分布式任务调度平台ScheduleMaster—快速上手

概述ScheduleMaster是一个开源的分布式任务调度系统，它基于Asp.NetCore平台构建，支持跨平台多节点部署运行。
balalalalalala·2023-04-03 19:56

【愚公系列】2022年06月 .NET架构班 081-分布式中间件 ScheduleMaster的API自定义任务

文章目录一、API自定义任务1.APIServer对接流程1.1API返回格式1.2创建程序集任务1.3创建HTTP任务1.4创建延时任务一、API自定义任务为了方便业务系统更好的接入调度系统，创建任务不仅可以在控制台中实现
愚公搬代码·2023-04-03 19:56

views 多个文件夹 netcore_ASP.NET Core开源任务调度平台 快速上手

(给DotNet加星标，提升.Net技能)转自：hohocnblogs.com/hohoa/p/12197518.html概述ScheduleMaster是一个开源的分布式任务调度系统，它基于ASP.NETCore
weixin_39960147·2023-04-03 14:39

.NET Core下的开源分布式任务调度系统ScheduleMaster-v2.0低调发布

从1月份首次公开介绍这个项目到现在也快4个月了，期间做了一些修修补补整体没什么大的改动。2.0算是发布之后第一个大的版本更新，带来了许多新功能新特性，也修复了一些已知的bug，在此感谢在博客、Issue和QQ群中提出各种意见的朋友，以及指导过我的前辈大佬们。在我看来，这个项目没有使用任何高深的技术和架构，甚至有些代码写的自己都不满意不敢拿出来给大家观赏，和社区中其他一些开源项目的大佬们比起来自惭形
balalalalalala·2023-04-03 14:34

即时配送的订单分配策略：从建模和优化（学习笔记）

目录O2O即时配送智能调度系统外卖订单分配问题描述题分析和建模：高效求解问题的第一步问题建模中的机器学习订单——骑手的匹配优化应对强随机性仿真系统结语O2O即时配送智能调度系统目前各外卖平台正在优质供给
万三豹·2023-04-02 04:05

Asp.Net Core下的开源任务调度平台ScheduleMaster

从何说起2017年初的时候，由于当时项目需要做了一个乞丐版定时调度系统，那时候只在单机上实现了核心的调度功能。做这个玩意之前也调研了社区中开源的解决方案，找了几个实地部署试跑了一下，其实都很不错。
dotNET跨平台·2023-04-01 20:48

Spring Boot Quartz 使用介绍

即使任务已经在调度系统中了。你还是可以随时去改变任务的实行时间(@scheduled实现该功能就比较麻烦了)。服务重启之后Quartz的任务会自动拉起来，自动在调度系
tuacy·2023-04-01 09:19

自智网络中运营商新一代OSS体系2大基础平台6大系统

新的OSS体系中以网络数据中台、网络AI平台作为主要基础技术支撑平台，支撑OSS各类能力中心，主要包括6大系统：设计编排系统、资源管理系统、、故障管理系统、性能管理系统、网络规划优化系统和运维调度系统。
robot_test_boy·2023-04-01 07:09

redis单key如何提高并发

rediskey的分裂假设库存有100，为了提高并发，分成5个keyimage.png后台有个调度系统，来平衡数据。好像还有问题。如果还剩一个库存，如何搞？
swoft_·2023-04-01 03:53

分布式任务调度ScheduleMaster

Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统1.什么是ScheduleMasterScheduleMaster是分布式任务调度系统。
www_xuhss_com·2023-03-31 12:44

.net 任务调度 mysql_Asp.Net Core下的开源任务调度平台ScheduleMaster

从何说起2017年初的时候，由于当时项目需要做了一个乞丐版定时调度系统，那时候只在单机上实现了核心的调度功能。做这个玩意之前也调研了社区中开源的解决方案，找了几个实地部署试跑了一下，其实都很不错。
weixin_39681644·2023-03-31 12:20

mysql的多master调度_ScheduleMasterCore

ScheduleMaster是一个开源的分布式任务调度系统，它基于.NETCore3.1平台构建，支持跨平台多节点部署运行。
100offer·2023-03-31 12:15

从源码角度分析ScheduleMaster的节点管理流程

ScheduleMaster是一个开源的分布式任务调度系统，它基于.NETCore3.1平台构建，支持跨平台多节点部署运行。
balalalalalala·2023-03-31 12:43

Asp.Net Core下的开源任务调度平台ScheduleMaster—快速上手

概述ScheduleMaster是一个开源的分布式任务调度系统，它基于Asp.NetCore平台构建，支持跨平台多节点部署运行。
dotNET跨平台·2023-03-31 12:08

Azkaban概述详解

azkaban是一个开源的任务调度系统，用于负责任务的调度运行（如数据仓库调度），用以替代linux中的crontab。一、Azkaban是什么？1.1Azkaban是什么?
wtzhm·2023-03-31 11:37

Azkaban知识点入门

一azkaban的简介1.1调度系统背景1.一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、hive脚本、spark程序等。
南潇如梦·2023-03-31 11:30

Azkaban 简介

面对这些问题，工作流调度系统应运而生。Azkaban就是其中之一。1.2功能Azk
weixin_30362083·2023-03-31 10:47

Azkaban 概述 架构 以及常见工作流调度系统

目录Azkaban概述Azkaban架构Azkaban概述`Azkaban是一个定时调度任务流的工具Azkaban架构Azkaban由三个关键组件构成：AzkabanWebServer：是整个Azkaban工作流系统的主要管理者，它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务AzkabanExecutorServer：负责具体的工作流的提交、执行，它们通过m
塞上江南o·2023-03-31 10:35

Azkaban架构解析

1概览Azkaban开源的任务调度系统。由三部分组成，Web客户端服务、Executor执行器、MySQL存储，结构如图1.1所示。
天然玩家·2023-03-31 10:31

Airflow安装详解（附airflow.cfg配置详解）

标题:Airflow安装详解日期:2021-11-1621:27:21标签:[airflow]分类:调度系统在讲airflow安装之前，我们先来了解下airflow的架构，这有助于我们去理解安装的步骤到底是干嘛的
chenzuoli·2023-03-31 06:10

Linux namespace概述

操作系统通过分时调度系统，每个进程都能被【公平地】调度执行，即每个进程都能获取到CPU，使得每个进程都认为自己在进程活动期间拥有所有的CPU时间，这是操作系统对CPU的虚拟化。
凤舞飘伶·2023-03-30 20:32

HIVE—数据仓库

是基于Hadoop的一个数据仓库工具：1.hive本身不提供数据存储功能，使用HDFS做数据存储；2.hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序；3.hive也不提供资源调度系统
Hekliu·2023-03-30 16:26

华为OD机试真题Python实现【流水线】真题+解题思路+代码（2022&2023）

流水线题目一个工厂有m条流水线来并行完成n个独立的作业该工厂设置了一个调度系统在安排作业时，总是优先执行处理时间最短的作业现给定流水线个数m需要完成的作业数n每个作业的处理时间分别为t1,t2...tn
码莎拉蒂 .·2023-03-30 15:02

datax（二）datax on azkaban架构设计之datax as a service

一、背景上篇文章说道，datax目前版本只支持单机模式，单机性能容易出现瓶颈，因此在线上使用datax做数据同步的时候，配合调度系统进行使用是个普遍的选择，这里我们选用的是azkaban作为调度系统进行设计
凯哥多帅哦·2023-03-30 08:00

Elastic-Job介绍

一.Elastic-job的介绍Elastic-job：当当网基于quartz二次开发的弹性分布式任务调度系统，功能丰富强大，采用zookeeper实现分布式协调，实现任务高可用以及分片。
健康平安的活着·2023-03-30 03:52

美团外卖骑手背后的AI技术

而实际配送过程是由配送员（骑手）最终完成的，因此，想要真正提升配送效率，不但要在智能调度系统（订单指派、路径规划、ETA）上下功夫，还要不断提升配送员的“附加”能力，让他们越送越“熟”，越送越“顺”，越送越
哈喽沃德er·2023-03-29 15:06

分布式可视化作业调度平台 DolphinScheduler：MasterServer

1、导读ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使得调度系统在数据处理流程中开箱即用。
yeweiouyang·2023-03-29 10:28

基础平台架构

auth7、链路监控服务中心-Zipkin/SkyWalking8、日志聚合系统-ELK9、消息队列中间件-RabbitMQ、Kafka10、异构服务集群-Sidecar11、即时通讯12、分布式任务调度系统
gzxdale·2023-03-28 18:30

common Vocabulary3

Scheduler调度程序;计划;调度系统;时间表;调度机Mail邮件servlet小服务程序Sender发送者;发送器;发送方;发信人;发送端Send发送;传达;for对于;...Data数据;资料;
unicorn31·2023-03-26 23:09

一文搞懂java中的定时任务框架-分布式(xxl-job)

阅读收获✔️1.了解常用的分布式应用定时任务框架✔️2.掌握xxl-job定时任务框架搭建及使用常用的分布式任务调度系统xxl-job:是大众点评员工徐雪里于2015年发布的分布式任务调度平台，是一个轻量级分布式任务调度框架
司腾·2023-03-23 19:52
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他