LSF调度系统

LSF安装部署

前言目前，市面上主流的HPC调度器分为LSF、SGE、Slurm、SGE四大类型，不同行业根据自身场景和不同调度器对应用支持力度的不同，往往会有不同的偏好，在芯片设计公司中最常用的是LSFLSF（LoadSharingFacility
在峡江的转弯处·2023-10-29 01:06

LSF_故障冗余

故障冗余及自动管理故障切换LSF拥有健壮的架构设计，重要组件由另一个组件监视，并可以从故障中自动恢复。
IForFree·2023-10-29 01:05

lsf_10.1 安装教程

作为测试，在VMware上安装centos7，然后在centos7上安装lsf10.2社区版(其实是10.1版本)，社区版和正式版的安装基本一致，不过不需要license。
李艳青 1987·2023-10-29 01:35

LSF的常用使用命令总结

LSF基本介绍LSF（LoadSharingFacility）是IBM旗下的一款分布式集群管理系统软件，负责计算资源的管理和批处理作业的调度。
Alfred.HOO·2023-10-29 01:32

lsf集群的搭建和一些架构部署

这是我设计的一个简单的lsf结构图。具体情况应该视硬件条件决定。用户登录是通过内网ETX或者VNC登入。lsf集群社区版最多支持2个cpu，64核最大数量为10台。
编程新手刘·2023-10-29 01:00

python apscheduler_APScheduler - Advanced Python Scheduler

内置三种调度调度系统：Cron风格间隔性执行仅在某个时间执行一次作业存储的backends支持：MemorySQLAlchemy(anyRDBMSsupportedbySQLAlchemyworks)MongoDBR
weixin_39757739·2023-10-28 08:54

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？...

在调度系统选型初期，我们团队技术栈以JVM语言为主，由于Airflow的结构体
DolphinScheduler社区·2023-10-28 07:18

从 Airflow 到 Apache DolphinScheduler，有赞大数据开发平台的调度系统演进

点击上方蓝字关注我们作者|宋哲琦✎编者按在不久前的ApacheDolphinSchedulerMeetup2021上，有赞大数据开发平台负责人宋哲琦带来了平台调度系统从Airflow迁移到ApacheDolphinScheduler
DolphinScheduler社区·2023-10-28 07:47

数据平台调度升级改造 | 从Azkaban 平滑过度到Apache DolphinScheduler 的操作实践

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。
DolphinScheduler社区·2023-10-28 07:47

突破单点瓶颈、挑战海量离线任务，Apache Dolphinscheduler在生鲜电商领域的落地实践

随着大数据的进一步发展，不管是离线任务量还是实时任务量都变得越来越多，对调度系统的要求也越来越高，不仅要求系统
DolphinScheduler社区·2023-10-28 07:47

大数据调度最佳实践 | 从Airflow迁移到Apache DolphinScheduler

迁移背景有部分用户原来是使用Airflow作为调度系统的，但是由于Airflow只能通过代码来定义工作流，并且没有对资源、项目的粒度划分，导致在部分需要较强权限控制的场景下不能很好的贴合客户需求，所以部分用户需要将调度系统从
DolphinScheduler社区·2023-10-28 07:45

腾讯会议大规模任务调度系统架构设计

疫情期间，很多企业受到了较大冲击，正常的复工生产无法进行。腾讯会议作为一款非常便捷的远程协作工具，成为了国内众多企业日常会议沟通交流的主要平台，这款产品从2019年12月26号正式推出，如何在这么短的时间内有效支撑起国内数以亿计用户的访问量呢？如何保障系统的稳定运行？下面为大家介绍，腾讯会议8天时间内完成100万核资源扩容背后的技术。一、两个典型案例首先介绍腾讯会议大规模扩容，下图所示为腾讯会议的
某科学的南条·2023-10-28 02:55

RFID课程设计-图书管理系统用户端设计

RFID课程设计-图书管理系统用户端设计课程设计题目课程设计任务内容题目设计基本原理NFC开发概述标签调度系统如何将NFC标签映射到MIME类型和URI如何将NFC标签分发到应用在Android清单中请求
interval_package·2023-10-27 12:55

华为OD机考算法题：流水线

题目部分题目流水线难度易题目说明一个工厂有m条流水线，来并行完成n个独立的作业，该工厂设置了一个调度系统，在安排作业时，总是优先执行处理时间最短的作业。
御剑乐逍遥·2023-10-27 09:14

如何学习 Linux 内核内存管理

因此，我想这样开始学习比较好：了解当前的LSF/MM进展关注LinuxStorage,Filesystem,andMemory-ManagementSummit（Linux存储、文件系统和内存管理峰会）
rayylee·2023-10-27 09:56

azkaban学习部署

第1节概述1.1工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:●shel脚本程序●java程序●mapreduce程序●hive脚本等各任务单单之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划
只想挣钱，5毛以上活动莫叫我·2023-10-26 19:17

更快，更稳，更智能，科聪穿梭车（RGV）快速构建方案！

穿梭车（RGV）是一种智能机器人，可以编程实现取货、运送、放置等任务，并可与上位机、调度系统或WMS系统进行通讯，结合RFID、条码等识别技术，实现自动化识别、存取等功能。
探讨探讨AGV·2023-10-26 16:45

我在叽里呱啦折腾 DolphinScheduler 的日子

前言“工欲善其事，必先利其器”在2019年进行数仓建设时，选择一款易用、方便、高效的调度系统被摆在非常突出的位置，感谢前同事马振洋同学和杨孟霏同学的付出，最终有缘选择了DolphinScheduler的前身
DolphinScheduler社区·2023-10-25 19:23

融合通信系统在大型运动会中的应用

随着经济社会的发展，大型体育运动会的规模不断扩大，融合通信设备及指挥调度系统的应用逐渐成为不可或缺的一部分。
PTTLINK·2023-10-24 20:02

python通过FTP和SFTP并行下载远程主机文件

先说一下程序背景：最近项目上需要做业务切换，以前的自动调度系统不能再继续提供服务了，计划通过Python写一个远程下载程序，再通过crontab起定时任务来取代之前的调度系统。
弓长二止弋·2023-10-24 16:57

20210526 SDH

生产调度系统调度电话，远动自动化，继电保护，调度数据网，安全自动装置，负荷控制，集控监控，故障录波智能营销系
EdwardMaxx·2023-10-24 12:06

一文搞懂XXL-JOB任务调度平台

问题三：调度逻辑和QuartzJobBean耦合在同一个项目中，这将导致一个问题，在调度任务数量逐渐增多，同时调度任务逻辑逐渐加重的情况加，此时调度系统的性能将大大受限于业务；问题四：quartz底层以
兢兢业业的子牙·2023-10-24 01:44

智慧水务调度系统-数智赋能，科技治水

平台概述智慧水务调度系统平台是以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产品体系为支撑
唐山柳林·2023-10-23 14:49

智慧水务调度系统-智慧水务大数据可视化管理系统

平台概述智慧水务调度系统平台（智慧水务大数据可视化管理系统平台）是以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、
唐山柳林·2023-10-23 14:18

农村供水调度系统在河北某地的建设案例

项目背景农村饮水安全事关广大农村居民的切身利益，是脱贫攻坚、乡村振兴的基础条件。该县为加快推进农村人饮安全运行管理工作，建立健全运管服务体系，改善当前农村人饮安全运营现状，积极实施城乡供水一体化工程，进一步提高农村供水保障水平。该县饮用水主要来源于南水北调的长江水，通过加压泵站输送至集中供水水厂，水厂经过处理达标后，由管网输送到各个村。长期以来该县供水管理与调度，仅仅依靠传统单一的人工经验操作，作
唐山柳林·2023-10-23 14:17

安装LSF

安装需求基本硬件配置建议：CPU4核或以上（LSF没有最低CPU需求，此处只是建议）内存8G或以上（当没有作业在运行时，Linuxx86-64上集群中的LSF守护程序将使用大约488MB内存。）
吴bug·2023-10-22 06:36

源码安装Openlava 4.0

安装需求基本硬件配置建议：CPU4核或以上（LSF没有最低CPU需求，此处只是建议）内存8G或以上（当没有作业在运行时，Linuxx86-64上集群中的LSF守护程序将使用大约488MB内存。）
吴bug·2023-10-22 06:34

美团外卖骑手背后的AI技术

而实际配送过程是由配送员（骑手）最终完成的，因此，想要真正提升配送效率，不但要在智能调度系统（订单指派、路径规划、ETA）上下功夫，还要不断提升配送员的“附加”能力，让他们越送越“熟”，越送越“顺”，越送越
liuhuiteng·2023-10-21 18:40

分布式任务调度系统xxl-job版本升级经验分享

一、xxl-job简介XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并()接入多家公司线上产品线，开箱即用。具体文档资料参考官方文档。二、背景笔者之前使用的是v2.0.2版本，因需要权限管理等功能，决定将版本升级到v2.1.2。该版本自研调度组件，移除quartz依赖，且将DB脚本默认编码改为utf8mb4等，是一次非常大的版本更新。三、
十年磨一行·2023-10-20 19:09

azkaban_note

一azkaban的简介1.1调度系统背景1.一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、hive脚本、spark程序等。
xiaoxiao______·2023-10-20 09:19

10.azkaban知识点

一azkaban的简介1.1调度系统背景1.一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、hive脚本、spark程序等。
当贝壳离开了海�·2023-10-20 09:46

hive数据仓库安装与使用

由yarn资源调度系统执行任务，分析数据，最后返还给hive一个执行结果2、hive的数据
rose and war·2023-10-20 01:24

Apache DolphinScheduler API调用说明

操作步骤创建token1）登录调度系统，进入安全中心->令牌管理，单击创建令牌按钮，创建令牌。
一子三木·2023-10-19 12:10

【DolphinScheduler】api调用

三、创建token1、登录调度系统，点击"安全中心"，再点击左侧的"令牌管理"，点击"令牌管理"创建令牌2、选择"失效时间"(Token有效期)，选择"用户"(以指定的用户执行接口操作)，点击"生成令牌
郝少·2023-10-19 12:35

DolphinScheduler

致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
coderKeNan·2023-10-19 12:33

react+ts手写cron表达式转换组件

前言最近在写的一个分布式调度系统，后端同学需要让我传入cron表达式，给调度接口传参。
阿泽不会飞·2023-10-19 04:49

基于云的先进计划与调度系统的框架与部署

摘要许多中小型制造企业已经实施了企业资源计划(ERP)和制造执行系统(MES)，开始了云制造的征程，但高昂的硬件和软件投资、实施和维护成本通常会阻碍中小企业采用先进的计划和调度(APS)系统。本文旨在开发一种基于云的APS(C-APS)系统框架、服务结构以及在公共云基础设施平台和服务提供商或混合云平台上部署C-APS系统的方法。为了提高建模效率和数据稳定性，提出了建立C-APS系统虚拟工厂模型的包
Handsome_Zpp·2023-10-18 22:12

浏览器的事件循环机制

要让这么多不同类型的任务在主线程中有条不紊地执行，这就需要一个系统来统筹调度这些任务，这个统筹调度系统就是我们今天要讲的消息队列和事件循环系统。
persistenceYL·2023-10-18 17:33

阿里云分布式调度系统-伏羲

最近在做一个类似的东西，看了一篇讲FuxiSort的paper，就去详细学习了下。paper链接:链接:https://pan.baidu.com/s/1H9GdDd7lgcgWkw0tkC95Jw提取码:gix8下文作者：陶阳宇，花名举水，阿里云高级技术专家，飞天分布式系统早期核心开发人员，开发和优化过伏羲系统中多个功能模块，参加了飞天5K、世界排序大赛等多个技术攻坚项目。在分布式计算、高并发系
Deegue·2023-10-18 13:23

【Spark基础】Spark核心模块组成与功能概述

如下图所示，SparkCore核心组件包括基础设施、存储系统、调度系统、计算引擎四个部分。1）Spark基础设施Spark基础设施为其他组件提供最基础的服务，是Spark中最底层、最常用的一
小强不吃菜·2023-10-18 07:20

如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0

ApacheDolphinScheduler组件介绍分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
青年夏日科技·2023-10-18 01:46

应急指挥中心进化：辉视调度系统智能化革命

通过辉视指挥调度系统的创新拓展，现代应急指挥中心具备了前所未有的灵活性和协同作战能力。在这个创新系统中，我们引入了更为智能化的分组调度功能。
辉视·2023-10-17 12:53

队列以及队列的应用

计算机中也有很多这样的场景，比如作业调度系统，如果同时来几个任务都需要用到输入输出系统，但是输入输出设备只有一套，谁先用呢，也是谁先来谁用，也需要排队。
半夏(•̤̀ᵕ•̤́๑)ᵒᵏᵎᵎᵎᵎ·2023-10-17 06:55

云畅快转系统

云畅快转系统（以下简称QuickCoder）可以将各种格式的视音频文件转换为标准的mp4文件（视频采用H.264编码，音频采用AAC编码），转码过程由QuickCoder调度系统调度多台转码节点完
陈丹宇·2023-10-16 09:57

【K8S源码之Scheduler—0概览】

转载自001.调度器学习基础概览1.资源调度基础scheudler是kubernetes中的核心组件，负责为用户声明的pod资源选择合适的node,同时保证集群资源的最大化利用，这里先介绍下资源调度系统设计里面的一些基础概念
oceanweave·2023-10-16 08:10

FreeRTOS基础知识

在抢占式调度系统中，总是运行已就绪的当前最高优先级的任务。时间片：在FreeRTOS中，抢占式调度，与时间片轮转可以同时存在；当有高优先级任务就绪时，运行高优先级任务；当最高
SUR0608·2023-10-16 02:56

QT工作总结5.24

1.工作总结熟悉视频指挥调度系统的代码结构、业务功能。
Zeal_7ede·2023-10-16 00:51

家庭收支系统V4（一） 接口

家庭收支系统V4主要由以下几个项目组成（一）接口项目（二）pc端web（三）安卓app（四）任务调度系统演示PC端H5端用户名：user密码：password部署方法：https://blog.csdn.net
tdabin·2023-10-15 20:35

【红外与可见光图像融合】离散平稳小波变换域中基于离散余弦变换和局部空间频率的红外与视觉图像融合方法（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码及文献1概述基于SWT_DCT_SF的红外与可见光图像融合方法是一种通过结合离散稳态小波变换（DSWT）、离散余弦变换（DCT）和局部空间频率（LSF
长安程序猿·2023-10-15 04:45

JAVA之阻塞队列、延迟队列-DelayQueue使用

DelayQueue阻塞队列在我们系统开发中也常常会用到，例如：缓存系统的设计，缓存中的对象，超过了空闲时间，需要从缓存中移出；任务调度系统，能够准确的把握任务的执行时间。
竹林幽深·2023-10-14 09:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他