Slurm调度系统

飞马网&饿了么技术沙龙大数据专场圆满结束

首先，饿了么BDI大数据部高级算法专家陈宁老师以“数据和算法驱动下的饿了么智能调度系统”为主题，首次为大家揭秘了日均千万
weixin_34315665·2022-11-30 23:01

智能网联车路协同智慧交通沙盘+无人驾驶汽车+多车协同调度系统

车路协同沙盘可实现道路环境、交通设施、自动车辆微缩移植到实验室，分层模拟构建包括交叉口、快速路、匝道在内的典型道路环境及智能交通设备。同时，可进行交通道路环境和交通事件模拟，支持道路设计、交通管理、交通安全、违法管理、车辆行为优化等教学、科研工作。作为智能车运行的载体，智能路网系统可定制不同交通路网环境，设计成整体固定和模块化拼装两种方式。道路可设计成城市道路、高速路、潮汐道路、公交道路、生态道路
渡众机器人·2022-11-28 07:28

4 亿用户，7W+ 作业调度难题，Bigo 基于 Apache DolphinScheduler 巧化解

面对4亿多用户，Bigo大数据团队打造的计算平台基于ApacheDolphinScheduler调度系统日均处理7W+作业。
DolphinScheduler社区·2022-11-25 15:18

最佳实践 ｜ 联通数科基于 DolphinScheduler 的二次开发

面对每日数百TB的新增数据，稳定可靠的调度系统必不可少。中国联通旗下的联通数字科技有限公司（以下简称“联通数科”），其数据智能事业部原来十分依赖商业调度系统。
DolphinScheduler社区·2022-11-25 15:48

【2017年第4期】物流大数据标准及案例研究

蒋凡百度外卖研发中心，北京100086摘要：介绍了在城市物流配送领域的数据化和智能化改造过程中，如何面对大数据标准化的挑战，并从调度系统和开放平台两方面入手，提出了提高单次配送效率和节省多次配送成本的标准化解决方案
唐名威·2022-11-25 08:49

Slurm作业管理系统常用命令和教程

Slurm（SimpleLinuxUtilityforResourceManagement）是开源的、具有容错性和高度可扩展大型和小型Linux集群资源管理和作业调度系统。
北鲲云_beikun·2022-11-24 19:08

Ubuntu 开启 munge-slurm-slurmctld

项目场景：无法开启munge-slurm-slurmctld原因分析：可能是开启用的命令错误了解决方案：
！小白菜！y·2022-11-23 23:45

Jacobi迭代求解九点差分法的OpenMP进阶-simd

MPI,OpenMP的差别slurm文件和Makefile的编写run.slurm#!
Galerkin码农选手·2022-11-22 10:36

快速入门：Slurm资源管理与作业调度系统

快速入门：Slurm资源管理与作业调度系统导读本文将介绍slurm，一个Linux服务器中的集群管理和作业调度系统。并对其基础命令和运行方式进行实战演练。
冷冻工厂·2022-11-20 09:52

智慧公交解决方案-最新全套文件

：1、数据驱动的智慧公交全息感知能力2、精细化精准化的公交健康诊断能力3、高品质的公交运营组织能力6大系统：1、公交线网健康诊断系统2、职能部门指挥决策支持系统3、公共出行健康服务系统4、企业公交运营调度系统
方案365·2022-11-19 04:45

《大型综合项目-基于大数据平台的数据仓库》学习笔记（13）：业务数据报表篇

学完本课程，你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理（元数据管理、数据质量管理）、任务调度系统、数据服务层建设
江湖人称涛哥·2022-11-10 08:54

基于 Docker 的 Slurm 作业管理系统

基于Docker的Slurm作业管理系统阿里云服务器设置参考视频：https://www.bilibili.com/video/BV177411K7bHStep1-申请阿里云服务器可以免费申请一个月的阿里云主机
MarineCode·2022-11-10 07:09

相干量子计算登上IEEE Spectrum：能更有效的求解复杂优化问题

2020年12月，美国航空公司的机组调度系统出现故障，使得某个航班的飞行员没有另一名飞行员作为替补，在此情况下不得不取消航班。而这一变化的影响将扩散波及多达15,000个航线。
QBoson·2022-11-09 10:51

源码解析-- DolphinScheduler master server流程执行过程分析

海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容：masterserver流程执行过程分析本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚
java编程艺术·2022-11-02 19:57

突破单点瓶颈、挑战海量离线任务，Apache Dolphinscheduler在生鲜电商领域的落地实践

随着大数据的进一步发展，不管是离线任务量还是实时任务量都变得越来越多，对调度系统的要求也越来越高，不仅要求系统稳定还要求操作简单，
·2022-10-21 14:24

slurm作业提交系统常用命令

写下自己的关于slurm感悟一二与各人pc不同，slurm的基本架构是，一个中专节点，之后有很多局域网ip对应不同的计算节点，在中专节点敲命令，命令中可以指定需要用到哪些计算节点1.查看有哪些分区sinfo
YongjieShi·2022-10-19 07:23

一文读懂：开源大数据调度系统Taier1.2版本新增的「工作流」到底是什么？

一、什么是工作流？在阐述什么是工作流之前，先说一下工作流和普通任务的区别，在于依赖视图。普通任务本身他只会有自己的dag图，依赖视图是无边界的，不可控的，而工作流则是把整个工作流都展示出来，是有边界的，可控的，这是工作流的优势。下面为大家介绍工作流的相关功能：01工作流—功能介绍●虚拟节点虚拟节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下
·2022-10-18 11:15

大数据精品栏目介绍

文章目录博客精品栏目介绍一、大数据入门核心技术二、数据湖基础+湖仓一体电商项目三、大数据OLAP技术体系四、客快物流大数据项目五、大数据进阶知识六、大数据调度系统七、数据治理博客精品栏目介绍一、大数据入门核心技术大数据入门核心技术栏目里集合
Lansonli·2022-10-12 07:38

快速入门：Slurm资源管理与作业调度系统

快速入门：Slurm资源管理与作业调度系统导读本文将介绍slurm，一个Linux服务器中的集群管理和作业调度系统。并对其基础命令和运行方式进行实战演练。
·2022-10-09 23:44

利用Go语言快速实现一个极简任务调度系统

在爬虫管理平台Crawlab中，任务调度是其中的核心模块，相信不少朋友会好奇如何编写一个任务调度系统。本篇文章会教读者用Go语言编写一个非常简单的任务调度系统。
·2022-10-04 19:36

插件扩充，血缘耦合系统，生产环境优化，提高Apache DolphinScheduler易用性的应用改造...

ApacheDolphineScheduler作为新一代的大数据任务调度系统，是为了让调度变得更加容易。
DolphinScheduler社区·2022-09-29 15:15

大数据开发工程师是做什么的？岗位要求高吗？

熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术要求较高。
我想去吃ya·2022-09-28 10:33

Linux 中的 20 大网络监控工具

有很多可用的工具，如nethogs、ntopng、nload、iftop、iptraf、bmon、slurm、tcptrack、cbm、netwatch、collectl、trafshow、cacti、
TAOXC(◉ɷ◉ )·2022-09-24 11:52

技术分享| 快对讲融合视频监控功能设计

而且，视频监控系统以其直观、方便、信息内容丰富而广泛应用于交通、社区、商场、家庭等许多场合，监控已成为了安全辅助的有效途径，所以在融合指挥调度系统中
anyRTC·2022-09-24 11:13

【优化调度】基于改进遗传算法的公交车调度排班优化的研究与实现（Matlab代码实现）

目录1概述2运行结果3Matlab代码4参考文献5写在最后1概述本文对当前公交企业调度系统进行了分析，建立了公交排班的数学模型。
科研研习社·2022-09-22 20:57

回顾篇

性质不同，决定电商玩法不同介绍下仓储WMS系统属于电商后台系统的服务末端，同时也相对独立，也可服务于有自有仓库管理需要的用户；电商系统中，通过WMS系统实时同步仓库货物的变化，与ERP系统，采购系统、订单调度系统同步更新库存
sizuoyi00·2022-09-22 13:34

slurmrestd服务部署文档的撰写

文档简介 由于项目组前期调研，需要通过slurmrestd服务来调用Slurm集群的能力，通过Rest接口进行作业的提交、节点信息、作业信息的查询，因此需要完成slurmrestd服务的配置和启动。 
思影影思·2022-09-07 08:17

undefined reference to H5PTopen

Centos7上执行命令rpmbuild-taslurm-21.08.8.tar.bz2遇到如下的问题sh5util.o:Infunction_extract_series_table':/storage/slurm
思影影思·2022-09-07 08:47

Koordinator 0.6：企业级容器调度系统解决方案，引入 CPU 精细编排、资源预留与全新的重调度框架

作者：李涛、曾凡松阿里云原生开源的混部系统Koordinator基于阿里超大规模混部生产实践经验而来，旨在为用户打造云原生场景下接入成本最低、混部效率最佳的解决方案，助力用户企业实现云原生后提升计算资源利用率、降低IT成本。经过社区多位成员的贡献，Koordinator0.6版本正式发布。相较于上一个版本0.5[1]，新版本进一步完善了CPU精细化编排能力，更好的兼容原生用法；支持了资源预留的能力
·2022-09-06 17:05

hadoop常见组件及其功能

一、介绍1：1.Hadoop本质上是：分布式文件系统(HDFS)+分布式计算框架(Mapreduce)+调度系统Yarn搭建起来的分布式大数据处理框架。
Michaelwubo·2022-09-06 15:08

数据仓库基本概念介绍

目录1、数据仓库所处环节操作层数据仓库数据集市个体层2、数据仓库概念面向主题的集成的随时间变化的非易失的3、一般架构STAGE层ODS层MDS层ADS层DIM层ETL调度系统元数据管理系统4、设计的两个重要问题
adu_ustc·2022-08-30 16:10

python分布式定时任务_探寻繁杂定时任务的解决方案：分布式任务调度系统

导语：本文我们从架构和技术实现上来为大家讲解腾讯云分布式任务调度系统TCT(TencentCloudTask)如何实现任务调度的精准实时、稳定高效，以及任务的切分和编排。
weixin_39922004·2022-08-29 07:25

分布式任务调度系统-定时任务的解决方案

导语：在前面我们讲过了阿里云分布式任务调度平台，今天我们从架构和技术实现上来为大家讲解腾讯云分布式任务调度系统TCT(TencentCloudTask)如何实现任务调度的精准实时、稳定高效，以及任务的切分和编排
天秤座的架构师·2022-08-29 07:54

企业级容器调度系统解决方案，引入 CPU 精细编排、资源预留与全新的重调度框架

简介：经过社区多位成员的贡献，Koordinator0.6版本正式发布。相较于上一个版本0.5，新版本进一步完善了CPU精细化编排能力，更好的兼容原生用法；支持了资源预留的能力（Reservation），补齐了调度原子语意缺失；发布了全新的重调度框架，支持用户灵活的扩展自定义插件。这些特性源自于阿里巴巴内部的生产实践，并结合上游社区规划思考，为用户带来标准、强大、灵活的调度解决方案。作者：李涛、曾
·2022-08-26 18:21

基于gis三维可视化技术的智慧城市建设

在平安城市规划建设中，应急指挥与智能监控系统根据选用监控设备在二维在线地图上显示信息的方法，可以保持集视频监控系统、GIS、GPS定位、周边预防(如采电子脉冲、振动光缆电缆等)、目标识别、智能视频、视频语音通讯、指挥调度系统等多种技术为一体的大中型综合性智能安防服务平台
ztmap2020·2022-08-24 09:00

Azkaban安装及配置

目录一：Azkaban概论1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3Azkaban与Oozie对比二：Azkaban入门2.1集群模式安装2.1.1上传tar包2.1.2配置MySQL2.1.3
JiaXingNashishua·2022-08-13 18:09

提升资源利用率与保障服务质量，鱼与熊掌不可兼得？

美团Hulk调度系统团队在集群服务质量与资源利用率运营的长期落地实践中，基于业务实际场景，自主设计研发了集群负载自动调控系统（LAR）以及配套的运营体系，在提升集群整体资源利用率的同时保障了业务服务质量
美团技术团队·2022-08-12 19:27

提升资源利用率与保障服务质量，鱼与熊掌如何兼得？

美团Hulk调度系统团队在集群服务质量与资源利用率运营的长期落地实践中，基于业务实际场景，自主设计研发了集群负载自动调控系统（LAR）以及配套的运营体系，在提升集群整体资源利用率的同时保障了业务服务质量
·2022-08-12 17:26

【中央任务调度系统—通信开发】

中央任务调度系统—通信开发一、方案设计目标二、技术指标三、主要研究内容四、技术创新点五、研究展望一、方案设计目标学习socket通信、掌握C++编程、熟悉ROS通信机制，完成中央任务调度系统与ROS系统之间数据的交互
2345VOR·2022-08-11 13:00

秒懂边缘云 | CDN基础入门：CDN解析配置

解析基本原理前言上个章节中我们学习了如何根据业务情况添加CDN域名并配置源站，但在添加完成后，域名尚未真正接入CDN服务，我们需要将域名解析到特定的CNAME记录上才能使得终端用户请求时，用户的DNS解析域名时能通过CDN智能调度系统访问到自身周边的
·2022-08-05 14:36

数据系统架构-8.任务调度系统

任务调度系统序在有了各种数据统计任务之后，就产生了任务调度需求，我们需要把任务管理起来统一调度，保证任务之间上下游的依赖关系，监控任务运行状态，异常情况下及时告警，尽可能自动化处理异常，调度系统高可用，
·2022-07-29 11:45

数据系统架构-8.任务调度系统

任务调度系统序在有了各种数据统计任务之后，就产生了任务调度需求，我们需要把任务管理起来统一调度，保证任务之间上下游的依赖关系，监控任务运行状态，异常情况下及时告警，尽可能自动化处理异常，调度系统高可用，
·2022-07-29 11:44

看 Serverless Task 如何解决任务调度&可观测性中的问题

一个完善的调度系统往往需要平衡不同
阿里云技术·2022-07-29 10:06

最小堆提升每次排序的效率

之前写过一个分布是任务调度系统，每次执行完任务都要对任务进行排序，使用最小堆确实优化了效率及cpu项目中需要使用一个简单的定时任务调度的框架，最初直接从GitHub上搜了一个star比较多的，就是https
·2022-07-28 12:12

详解异步任务 | 看 Serverless Task 如何解决任务调度&可观测性中的问题

一个完善的调度系统往往需要平衡不同
·2022-07-26 20:39

当我们在聊「开源大数据调度系统Taier」的数据开发功能时，到底在讨论什么？

原文链接：当我们在聊「开源大数据调度系统Taier」的数据开发功能时，到底在讨论什么？
·2022-07-21 16:13

Spark总结（SparkCore,SparkSQL,SparkStreaming）

hadoop是一个分布式计算开源框架，包含分布式文件系统HDFS、MapReduce分布式计算的软件架构和Yarn资源管理调度系统。
ambitfly·2022-07-16 15:58

深度揭秘阿里云函数计算异步任务能力

一个完善的调度系统往往需要平
·2022-07-12 21:24

开源大数据调度系统Taier技术公开课——Taier数据开发介绍

一键直达直播间一、直播介绍之前的内容，我们为大家分享了Taier入门及控制台，以及Taier的Web前端架构介绍，本期我们为大家分享Taier数据开发介绍。本次直播我们将从Taier的数据开发功能介绍，到任务运行、功能可扩展点以及未来将发布的taier1.2为大家进行详细讲解，通过本次分享，希望大家能对Taier有更进一步的了解。二、直播主题Taier数据开发介绍三、直播时间时间：2022年7月1
·2022-07-11 19:32

乐外卖物流配送调度系统设计

摘要随着互联网时代的发展，以及人们对生活品质的追求，订外卖已经成为了一种普遍的消费行为，外卖因其快捷便利性广受青睐，也因配送不及时，不准确倍受指摘。为了改善当前外卖配送过程中存在的配送速度不能保证，物流成本高，订单信息反馈不及时，配送调度方案不科学等问题，本次研究致力于对外卖物流配送系统进行设计。发展一套以蚁群系统为依据，重新规划配送，以作配送路径上的规划，为了解决当今外卖配送系统中存在的一系列问
jonathan_zhang2007·2022-07-10 07:28
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他