Slurm调度系统

任务调度：时间轮算法经典案例解析及应用实现

是任务调度系统中最重要的命题，当然在业务系统中一个完善的任务调度系统是很复杂的，需要具备能调度、可视化管理、
阿里巴巴淘系技术团队官网博客·2022-07-03 17:27

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？

在调度系统选型初期，我们团队技术栈以JVM语言为主，由于Airflow的结构体系无法进行充分
·2022-06-30 16:05

送外卖也要“黑科技”？阿里移动感知技术应用揭秘

简介：送餐路上外卖骑手们所处的位置不仅牵动着大家的心，在本地生活的场景下，也是订单配送和调度系统的重要一环。其中骑手是否已到店取餐看似简单却难以准确观测。
·2022-06-27 17:10

基于温湿度雨量水质监测的 智能水利视频监测调度系统

基于温湿度雨量水质监测智能的水利视频监测调度系统一系统应用本系统主要用于监视河流湖泊水利运行情况。
i数采物联-上海/河南·2022-06-25 07:39

HPC搭建手册(一)

Slurm作业管理系统安装配置（一）拓扑与节点角色e56PeI.png节点角色地址node1管理节点192.168.101.1node2计算节点192.168.101.2node3计算节点192.168.101.3node4
Odinmx·2022-06-23 22:55

基于开源大数据调度系统Taier的Web前端架构选型及技术实践

原文链接：基于开源大数据调度系统Taier的Web前端架构选型及技术实践课件获取：关注公众号“数栈研习社”，后台私信“Taier”获得直播课件视频回放：点击这里Taier开源项目地址：github丨gitee
·2022-06-20 18:30

数据平台调度升级改造 | 从Azkaban 平滑过度到 Apache DolphinScheduler 的操作实践

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。
·2022-06-20 12:18

.NET Core 分布式任务调度ScheduleMaster详解

APIServer对接流程2.创建程序集任务3.创建HTTP任务4.创建延时任务4.框架简单分析1.全局设计2.Master和Work分析1.什么是ScheduleMasterScheduleMaster是分布式任务调度系统
·2022-05-31 12:51

分布式任务调度ScheduleMaster

1.什么是ScheduleMasterScheduleMaster是分布式任务调度系统。
有梦想的鱼i·2022-05-28 21:00

基于云服务MRS构建DolphinScheduler2调度系统的案例详解

目录为什么写这篇文章？环境准备安装MRS客户端安装MySQL服务1.创建ECS用户2.解压安装包3.配置文件初始化4.启动数据库5.登陆，修改密码，预置dolphinscheduler的用户安装dolphinscheduler服务1.建立本机id免密2.修改配置参数3.将mysql驱动包放入lib下4.创建元数据库数据表5.服务安装、启停6.登录系统提交MRS任务1.登录进入dolphinsche
·2022-05-28 17:52

基于云服务MRS构建DolphinScheduler2调度系统

本文分享自华为云社区《基于云服务MRS构建DolphinScheduler2调度系统》，作者：啊喔YeYe。为什么写这篇文章？
华为云开发者社区·2022-05-28 11:00

面向大数据处理应用的广域存算协同调度系统

摘要：以我国研发的高性能计算虚拟数据空间系统为基础，针对大数据处理应用如何统筹利用广域存储和计算资源的问题，设计并实现了一套面向大数据处理应用的广域存算协同调度系统。
罗伯特之技术屋·2022-05-27 07:57

深入理解 goroutine 底层原理与 GMP 调度模型

进程线程协程调度系统调度系统调度用户调度栈拥有独立栈拥有独立栈拥有独
zone7_·2022-05-26 14:30

数仓血缘关系数据的存储与读写

为方便数据治理、元数据管理及数据质量监控，将调度系统生成的数仓血缘保存起来。而本文由来自NebulaGraph社区的用户shixingr带来他的实践分享。
NebulaGraph·2022-05-26 11:00

玩转集群配置中心，一文带你了解 Taier 控制台

基础教程（二）：Taier1.1新功能详解&控制台介绍_哔哩哔哩_bilibili开源项目交流群：30537511（钉钉）开源项目地址：GitHub-DTStack/Taier:大数据平台-分布式任务调度系统上期
·2022-05-24 11:39

求解热电联产经济调度问题的改进遗传与粒子群算法

在热电联产经济调度系统中﹐需在满足电力和热力需求及运行约束的
电力系统与算法之美·2022-05-10 00:03

倒计时0日！Apache DolphineScheduler4月 Meetup 大佬手把手教你大数据开发，离线调度

ApacheDolphinScheduler作为新一代的大数据任务调度系统，致力于让调度变得更加容易。身
·2022-04-30 10:52

九大新功能、全新 UI 解锁调度系统新能力

2022年4月22日，ApacheDolphinScheduler正式宣布3.0.0alpha版本发布！此次版本升级迎来了自发版以来的最大变化，众多全新功能和特性为用户带来新的体验和价值。3.0.0-alpha的关键字，总结起来是“更快、更现代化、更强、更易维护”。更快、更现代化：重构了UI界面，新UI不仅用户响应速度提高数十倍，开发者构建速度也提高数百倍，且页面布局、图标样式都更加现代化；更强：
·2022-04-25 15:52

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读：上周，袋鼠云数栈全新技术开源规划——DTMO（DTstackMeetupOnline）的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到▫Taier发展历程▫Taier架构设计和功能详解▫Taier具体应用和未来规划点击链接，查看直播视频回放https:
·2022-04-20 14:23

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读：上周，袋鼠云数栈全新技术开源规划——DTMO（DTstackMeetupOnline）的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到�
数栈DTinsight·2022-04-20 13:00

技术抉择：阿里云13年后重构全部核心调度系统

简介：在阿里云十三年的发展历史上，重新设计调度系统算得上是一个重要的技术抉择。在阿里云十三年的发展历史上，重新设计调度系统算得上是一个重要的技术抉择。云计算是一个庞大的技术工程。
·2022-04-20 11:39

java开源调度如何给xxljob加k8s执行器

XXL-JOB-ADMIN模块新增执行器2、引入K8S-CLIENT-JAVA，使用SERVICEACCOUNT机制与K8S交互3、编写代理执行器调度代码结语前言xxljob是采用java开发的开源的任务调度系统
·2022-04-15 14:29

TASKCTL项目工程与作业类型定义

应用工程：应用工程简称工程，从业务系统角度去划分调度系统。每个应用工程管理所属的流程、定时器、变量等调度元信息。还可分配平台节点权限用于限定平台网络架构的系统范围。
·2022-04-11 11:58

极速开发扩充 Apache DolphinScheduler Task 类型 | 实用教程

背景简介目前在大数据生态中，调度系统是不可或缺的一个重要组件。ApacheDolphinScheduler作为一个顶级的Apache项目，其稳定性和易用性也可以说是名列前茅的。
·2022-03-30 16:27

【干货-K8S系列】Kubernetes调度核心解密:从Google Borg说起

容器调度系统负责选择在最合适的主机上启动容器，并且将它们关联起来。它必须能够自动的处理容器故障并且能够在更多的主机上自动启动更多的容器来应对更多的应用访问。
weixin_33775582·2022-03-25 09:33

Hdfs学习（一）

核心组件：HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）1.2特点1）优势高容错性：HDFS多副本分布式存储，当一个副本丢失了，能够自动恢复，所以HDFS
·2022-03-24 14:03

Java之路--Javase篇 银行系统模拟

（黑马程序员）银行调度系统设计需求：模拟现实银行业务调度系统逻辑：1．银行内有个业务窗口，1-4为普通窗口，5号为快速窗口，6号为VIP窗口，2．有三种对应需求的客户：VIP，普通，快速（交水电话费）；
weixin_34104341·2022-03-23 08:48

Hadoop简介和体系架构

1Hadoop由来2．1．2Hadoop发展历程2．1．3Hadoop生态系统2．2Hadoop的体系架构2．2．1分布式文件系统HDFS2．2．2分布式计算框架MapReduce2．2．3分布式资源调度系统
G不来也不去·2022-03-18 07:46

杭州思科对 Apache DolphinScheduler Alert 模块的改造

PROFILE李庆旺杭州思科大数据工程师，主要负责Spark、调度系统等大数据方向开发。我们在使用原有的调度平台处理大数据任务时，在操作上多有不便。比如一个对数据进行处理聚合分析的任务，首先由
·2022-03-16 20:35

分析xxljob登入功能集成OIDC的统一认证

目录前言XXL-JOB自身认证功能分析OIDC的认证流程XXL-JOB集成OIDC后的认证流程XXL-JOB登录模块重新设计编码环节前言xxl-job是一款java开发的、开源的分布式任务调度系统，自带了登录认证功能
·2022-03-05 13:01

我在美团的八年

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜来源丨美团工云鹏昨天我刷到美团员工云鹏一篇技术好文，作者云鹏2014年加入美团，先后参与了美团酒店供应链体系、分布式调度系统的建设。
王知无(import_bigdata)·2022-03-05 10:53

我在美团这八年！！

前几天，偶然刷到了一篇美团技术团队的文章，作者云鹏2014年加入美团，先后参与了美团酒店供应链体系、分布式调度系统的建设。从一枚职场小白逐步成长为一名技术Leader。
菜鸟学Python·2022-03-05 10:19

云原生与微服务

动态管理：通过集中式的编排调度系统来动态的管理和调度。所以，到底什么是云原
菜鸟级小白·2022-03-02 17:28

Spark学习记录

2）Standalone：是Spark自身的一个调度系统。对集群性能要求非常高时用。国内很少使用。3）Yarn：采用Hadoop的资源调度器。国内大量使用。4）Mesos：国内很少使用。Sp
SpringStrong·2022-03-01 17:00

节省 58% IT 成本，调用函数计算超过 30 亿次，石墨文档的 Serverless 实践

简介：石墨文档使用函数计算搭建文档实时编辑服务，由函数计算的智能调度系统自动分配执行环境，处理多用户同时编写文档带来的峰值负载，函数计算的动态扩缩容能力保障应用的可靠运行。
·2022-03-01 11:48

[调度]azkaban~hadoop工作流引擎

第三方的调度系统。自行开发Hadoop应用调度系统。对于前两种，使用Crontab和Quartz是基本可以满足业务需求，但有其弊
葡萄喃喃呓语·2022-02-21 18:43

美团集群调度系统的云原生实践

本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践，阐述了美团在落地以Kubernetes为代表的云原生技术时，比较关心的问题、挑战以及对应的推进策略。
·2022-02-21 17:42

分布式定时任务调度系统技术选型

来自：CSDN，作者：guyue35链接：https://blog.csdn.net/guyue35/article/details/848834081.什么是分布式定时任务2.常见开源方案elastic-jobxxl-jobquartzSaturnopencronantares3.比较1、什么是分布式定时任务把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务
夜空_2cd3·2022-02-21 09:31

7月25日 星期一

工作日志所收任务对上周白皮书中出现的问题进行修改参与“水污染防治计划实施调度系统”周会，并根据会议内容，修改PRD文档准备汇报近期情况完成情况完成修改3份白皮书文档重新认识“水污染防治计划实施调度系统”
钱佳辰_Hangzhou·2022-02-21 03:01

Dubbo-go 优雅上下线设计与实践

简介：在分布式场景下，微服务进程都是以容器的形式存在，在容器调度系统例如k8s的支持下运行，容器组Pod是K8S的最小资源单位。
·2022-02-18 11:02

大数据生态圈技术整理

组件类型(本文还未写完)文件系统HDFS调度系统OozieAzkabanAirflow管理系统ZookeeperYARNAmbariClouderaManagerHue数据存储HDFSHBaseCarbonDataAccumulo
非常强壮的蚂蚁·2022-02-18 02:41

00. 调研计划总览

集群管理：Slurm[2019.12.14done]并行计算框架：MPImpi可以用slurm调度，也可以用Torque调度，yarn也可以，等等参考书：都志辉《高性能计算并行编程技术---MPI并行程序设计
GradientDescent·2022-02-17 00:06

v8

的基础环境堆空间树状存储结构存储对象存储闭包函数引用的原生类型栈空间先进后出存储原生类型全局执行上下文初始化的this全局作用域全局对象宿主环境宿主类型浏览器NodeJs其它宿主内置内置函数内置对象Chrome.windowNode.global事件循环系统消息列表任务调度系统
·2022-02-15 11:48

基于SSM框架的公交车调度管理系统

项目前端采用Bootstrap框架，使用Ajax进行数据请求，json进行数据回传响应，后端使用ssm封装实现开发，代码易读后端框架:SSM(Spring+SpringMVC+Mybatis)功能介绍公交调度系统采用
彭祥.·2022-02-14 16:59

分布式定时任务调度系统技术选型

来自：CSDN，作者：guyue35链接：https://blog.csdn.net/guyue35/article/details/848834081.什么是分布式定时任务2.常见开源方案elastic-jobxxl-jobquartzSaturnopencronantares3.比较1、什么是分布式定时任务把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务
码农小光·2022-02-14 05:58

8月28日 星期天

工作日志所收任务提交“水污染行动调度系统_统计分析”原型并寻找其中问题完成情况问题不少，原型有很多地方需要修改存在问题对于统计分析中，各数据的信息来源需要核实确认，避免出现想法可行，实际功能无支撑的情况对于页面之间的逻辑关系
钱佳辰_Hangzhou·2022-02-12 12:51

slurm 常用命令

sinfosqueue-usbatchscontrolshowjob16379990
OmicsAcademy·2022-02-09 06:41

Ubuntu16.04安装Slurm

确保Munge的守护程序munged在Slurm的守护进程之前启动。
Elvis_zhou·2022-02-05 23:52

JEESZ 分布式架构平台介绍

1.项目核心代码结构截图提醒：开发人员在开发的时候可以将自己的业务REST服务化或者Dubbo服务化2.项目依赖介绍2.1.后台管理系统、Rest服务系统、Scheculer定时调度系统依赖如下图：2.2
IT达人Q·2022-02-05 21:24

分布式任务调度系统XXL-Job快速入门体验

背景为了能够更加灵活的控制定时任务，最近在项目中开始推行定时任务调度系统，跟不少大厂朋友交流之后，发现XXL-Job市场还是挺广的，功能强大，定为首选。
·2022-01-28 16:48
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他