调度系统

10.azkaban知识点

一azkaban的简介1.1调度系统背景1.一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、hive脚本、spark程序等。
当贝壳离开了海�·2023-10-20 09:46

hive数据仓库安装与使用

由yarn资源调度系统执行任务，分析数据，最后返还给hive一个执行结果2、hive的数据
rose and war·2023-10-20 01:24

Apache DolphinScheduler API调用说明

操作步骤创建token1）登录调度系统，进入安全中心->令牌管理，单击创建令牌按钮，创建令牌。
一子三木·2023-10-19 12:10

【DolphinScheduler】api调用

三、创建token1、登录调度系统，点击"安全中心"，再点击左侧的"令牌管理"，点击"令牌管理"创建令牌2、选择"失效时间"(Token有效期)，选择"用户"(以指定的用户执行接口操作)，点击"生成令牌
郝少·2023-10-19 12:35

DolphinScheduler

致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
coderKeNan·2023-10-19 12:33

react+ts手写cron表达式转换组件

前言最近在写的一个分布式调度系统，后端同学需要让我传入cron表达式，给调度接口传参。
阿泽不会飞·2023-10-19 04:49

基于云的先进计划与调度系统的框架与部署

摘要许多中小型制造企业已经实施了企业资源计划(ERP)和制造执行系统(MES)，开始了云制造的征程，但高昂的硬件和软件投资、实施和维护成本通常会阻碍中小企业采用先进的计划和调度(APS)系统。本文旨在开发一种基于云的APS(C-APS)系统框架、服务结构以及在公共云基础设施平台和服务提供商或混合云平台上部署C-APS系统的方法。为了提高建模效率和数据稳定性，提出了建立C-APS系统虚拟工厂模型的包
Handsome_Zpp·2023-10-18 22:12

浏览器的事件循环机制

要让这么多不同类型的任务在主线程中有条不紊地执行，这就需要一个系统来统筹调度这些任务，这个统筹调度系统就是我们今天要讲的消息队列和事件循环系统。
persistenceYL·2023-10-18 17:33

阿里云分布式调度系统-伏羲

最近在做一个类似的东西，看了一篇讲FuxiSort的paper，就去详细学习了下。paper链接:链接:https://pan.baidu.com/s/1H9GdDd7lgcgWkw0tkC95Jw提取码:gix8下文作者：陶阳宇，花名举水，阿里云高级技术专家，飞天分布式系统早期核心开发人员，开发和优化过伏羲系统中多个功能模块，参加了飞天5K、世界排序大赛等多个技术攻坚项目。在分布式计算、高并发系
Deegue·2023-10-18 13:23

【Spark基础】Spark核心模块组成与功能概述

如下图所示，SparkCore核心组件包括基础设施、存储系统、调度系统、计算引擎四个部分。1）Spark基础设施Spark基础设施为其他组件提供最基础的服务，是Spark中最底层、最常用的一
小强不吃菜·2023-10-18 07:20

如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0

ApacheDolphinScheduler组件介绍分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
青年夏日科技·2023-10-18 01:46

应急指挥中心进化：辉视调度系统智能化革命

通过辉视指挥调度系统的创新拓展，现代应急指挥中心具备了前所未有的灵活性和协同作战能力。在这个创新系统中，我们引入了更为智能化的分组调度功能。
辉视·2023-10-17 12:53

队列以及队列的应用

计算机中也有很多这样的场景，比如作业调度系统，如果同时来几个任务都需要用到输入输出系统，但是输入输出设备只有一套，谁先用呢，也是谁先来谁用，也需要排队。
半夏(•̤̀ᵕ•̤́๑)ᵒᵏᵎᵎᵎᵎ·2023-10-17 06:55

云畅快转系统

云畅快转系统（以下简称QuickCoder）可以将各种格式的视音频文件转换为标准的mp4文件（视频采用H.264编码，音频采用AAC编码），转码过程由QuickCoder调度系统调度多台转码节点完
陈丹宇·2023-10-16 09:57

【K8S源码之Scheduler—0概览】

转载自001.调度器学习基础概览1.资源调度基础scheudler是kubernetes中的核心组件，负责为用户声明的pod资源选择合适的node,同时保证集群资源的最大化利用，这里先介绍下资源调度系统设计里面的一些基础概念
oceanweave·2023-10-16 08:10

FreeRTOS基础知识

在抢占式调度系统中，总是运行已就绪的当前最高优先级的任务。时间片：在FreeRTOS中，抢占式调度，与时间片轮转可以同时存在；当有高优先级任务就绪时，运行高优先级任务；当最高
SUR0608·2023-10-16 02:56

QT工作总结5.24

1.工作总结熟悉视频指挥调度系统的代码结构、业务功能。
Zeal_7ede·2023-10-16 00:51

家庭收支系统V4（一） 接口

家庭收支系统V4主要由以下几个项目组成（一）接口项目（二）pc端web（三）安卓app（四）任务调度系统演示PC端H5端用户名：user密码：password部署方法：https://blog.csdn.net
tdabin·2023-10-15 20:35

JAVA之阻塞队列、延迟队列-DelayQueue使用

DelayQueue阻塞队列在我们系统开发中也常常会用到，例如：缓存系统的设计，缓存中的对象，超过了空闲时间，需要从缓存中移出；任务调度系统，能够准确的把握任务的执行时间。
竹林幽深·2023-10-14 09:19

如何建立高效的应急指挥调度系统？专家详解三步走策略

辉视应急指挥调度系统在应急处理中扮演着非常重要的角色，可以提高快速反应能力和应急救援能力。除了应急管理部门，许多其他部门也有应急指挥的需求。那么，如何建立高效的辉视应急指挥调度系统呢？
辉视·2023-10-12 16:33

【超算作业调度系统--LSF】

集群服务器--LSF作业调度系统使用0Introdutction1命令1.1bsub--作业提交命令1.1.1$bqueues--查看现有队列信息；1.1.2$lsload--查看各节点运行情况1.1.3
中古传奇·2023-10-10 08:24

宗老师尖端技术-AI系统高可用方案

作业维度：作为调度系统，必须保证每一个提交进去的作业被正确执行，作业运行过程中很有可能因为各种原因发生错误，首先需要做的就是本地Retry，当本地Retry到一定次数后需要考虑Host环境因素由调度系统调度到其它机器进行
小可爱J 人工智能学者 全栈工程师·2023-10-10 08:50

Spark 核心概念

MasterSpark特有资源调度系统的Leader。
_云起·2023-10-09 14:48

嗖的一下！只要一条命令，K8s监控数据一键写入时序数据库

Kubernetes是当今流行的容器调度系统，已经成为很多软件系统的底座，而kubernetes的监控也有很多方案可选，阿里云InfluxDB®提供时序数据的长期稳定存储，同时集成了grafana可视化组件
阿里云数据库·2023-10-09 10:23

大数据 - （六-3）- ⼯作流调度系统Azkaban

⼯作流调度系统⼀个完整的数据分析系统通常都是由⼤量任务单元组成：shell脚本程序java程序mapreduce程序hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执⾏计划
啦啦啦喽啰·2023-10-07 00:43

linux调度全景指南

|导语本文主要是讲Linux的调度系统,由于全部内容太多，分三部分来讲，调度可以说是操作系统的灵魂，为了让CPU资源利用最大化，Linux设计了一套非常精细的调度系统，对大多数场景都进行了很多优化，系统扩展性强
极客重生·2023-10-06 13:40

Java多线程学习之真正理解并发与并行

并发就是单个进程中开启多个线程，这几个线程看似在同时进行，实际上是采用抢占式调度系统来分配时间片的形式依次进行执行的，也就是每个时刻实际上依然是单个线程在执行，不过下一个时间片就是下一个线程（谁抢到是谁
魂之挽歌w·2023-10-06 08:46

XXL-JOB源码梳理——一文理清XXL-JOB实现方案

分布式定时任务调度系统流程分析一个分布式定时任务，需要具备有以下几点功能：核心功能：定时调度、任务管理、可观测日志高可用：集群、分片、失败处理高性能：分布式锁扩展功能：可视化运维、多语言、任务编排在分布式环境下
背火柴的小男孩·2023-10-05 23:52

可视化任务开发之任务调度总结

今天就梳理下之前工作中使用的一些中间件的任务调度机制，以加深对调度系统的理解。总结的比较浅显，欢迎拍砖。单机任务调度单机模式下，典型的任务调度算法DAG，还是相当简单的。构建任务执行有向无环图。
淡淡的小番茄·2023-10-05 21:27

基于自动化设备和现代化仓储精益管理思想开发的仓库管理系统

通过对接工厂的EBS(erp中一种)、MES（生产执行系统）、deer-wcs（设备调度系统）等系统接口，实现仓储上下游的数据打通，也是实现完全自动化的基础。
TNT报社·2023-10-05 10:28

分布式定时任务系统

任务调度系统与消息队列的本质区别：时间驱动vs事件驱动任务调度系统的基本功能：一般的任务调度系统，整体上看，有2部分：调度中心+执行器如何实现？
sutoo·2023-10-05 03:37

哈希环如何用在直播调度系统

背景直播CDN系统通常用L1或者L2的缓存集群，缓解中心服务器压力。缓存集群需要满足2个条件写：同一份数据写在一台缓存CDN服务器上，至少是同一节点上；读：对于这份数据的读取，能尽快索引到缓存CDN服务器上；传统方案N台服务器，编号0到N-1请求作为key值，计算哈希值h=Hash(key)%N，定向到指定服务器存在问题哈希重定向出现故障节点，大量请求需要迁移到其他节点集群扩容时，为了负载均衡，也
dong_beijing·2023-10-03 18:25

xxl-Job分布式任务调度

一、分布式任务调度产品了解:1）TBSchedule：淘宝推出的一款非常优秀的高性能分布式调度框架，目前被应用于阿里、京东、支付宝、国美等很多互联网企业的流程调度系统中。
qing_2456·2023-10-02 21:14

（附代码）徒手实现一致性哈希 (Consistent Hashing) 算法，深入原理

目录一、背景介绍二、ConsistentHashing算法原理三、算法表现四、算法优化-虚拟节点五、算法测试六、附Java完整代码本文为实现分布式任务调度系统中用到的一些关键技术点分享——ConsistentHashing
TechingOn·2023-10-02 00:06

Golang的协程调度

调度的基础，模型关系的映射GPM模型：G，Goroutinue被调度器管理的轻量级线程，goroutine使用go关键字创建调度系统的最基本单位goroutine，存储了goroutine的执行stack
Erick_Lv·2023-09-30 09:37

Zeus资源调度系统介绍

摘要：本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。本文主线：问题、解决方案、依赖基础知识、工程实践、目标、经验分享。
weixin_40954107·2023-09-30 09:37

【golang】调度系统之整体介绍

调度系列调度系列之goroutine调度系列之m调度系列之p调度系列之sysmon前面几篇对调度体系的G、M、P、sysmon分别进行了介绍。拆分的介绍有助于聚焦单一的角色，比较快地建立认识，同时也能更深入细节，但是不足以建立全局的认知。本篇在前面几篇的基础上，进行汇总的介绍。介绍的方式为选取runtime的几个阶段，介绍调度体系在对应阶段的状态，以及阶段之间的演进。阶段1在此阶段，runtime
shanxiaoshuai·2023-09-30 09:35

俱赞科技-混合云管理和自动化运维管理的SaaS平台

开源多云管理平台将为用户提供多功能：ITSM、基于RBAC权限系统、WebTerminnal登陆日志审计、录像回放、强大的作业调度系统、CMDB、监控报警系统、DNS管理、配置中心等模块说明
俱赞科技·2023-09-27 15:19

玩转集群配置中心，一文带你了解Taier控制台

基础教程（二）：Taier1.1新功能详解&控制台介绍_哔哩哔哩_bilibili开源项目交流群：30537511（钉钉）开源项目地址：GitHub-DTStack/Taier:大数据平台-分布式任务调度系统上期
袋鼠云数栈·2023-09-26 12:20

hive-e封装HQL模板

这种方式也是在需要进行任务调度时采用的最直接方式，此时可以结合shell定义可变参数(如日期)，再结合调度系统就可以实现脚本自动化。#!
枯河垂钓·2023-09-26 06:34

安达发|APS排单软件中甘特图的应用

为了提高生产效率，降低生产成本，许多企业开始引入先进的生产计划与调度系统（APS），实现生产过程的自动化、智能化管理。
安达发·2023-09-25 15:38

AGV项目方案

一项目概述此次AGV调度系统主要针对某工厂自动物流系统项目，通过控制现有的AGV模块完成工厂自动物流任务。
qdwyj001·2023-09-24 00:23

Android开发系列——实战篇14：NFC开发（理论篇）

目录一、NFC简介1.NFC概览2.NFC工作模式3.NFC通信模式二、NFC标签调度系统1.NFCTag（标签类型）2NDEF协议（重点）3.TNF数据类型三、NDEF文本数据规范下的处理四、小结一、
Marvellous Zhao·2023-09-23 15:59

IBM LSF 任务调度系统的主要术语和概念

LSF术语和概念了解IBMLSF基本术语和概念。作业状态IBM®SpectrumLSF作业具有多个状态。PEND正在队列中等待调度和分派。RUN已分派到主机并正在运行。DONE正常完成，退出值为零。EXIT已完成，具有非零退出值。PSUSP作业处于暂挂状态时已暂挂。USUSP由用户暂挂。SSUSP由LSF系统暂挂。POST_DONE后处理已完成，没有错误。POST_ERR后处理已完成，但有错误。U
小信瑞·2023-09-22 14:51

浏览器中的页面循环系统（一）消息队列和事件循环：页面是怎么活起来的

要让这么多不同类型的任务在主线程中有条不絮地执行，这就需要一个系统来统筹调度这些任务，这个统筹调度系统就是我们今天要讲的消息队列和事件循环系统。
优价实习·2023-09-21 17:40

Linux操作系统

一、Linux系统概述1.1Linux操作系统的组成Linux操作系统是由Linux系统内核和系统级应用程序两部分组成的1、内核提供系统核心的功能：如调度CPU、调度内存、调度系统文件、调度网路通讯、调度
porters sun·2023-09-21 00:37

golang的调度总结

golang语言特性就是以并发著称，golang的并发好跟它的调度系统不无关系。本文主要总结一下个人对golang调度的理解。
陈家大耳·2023-09-20 05:31

大数据开发工程师是做什么的？

熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术要求较高。
我想去吃ya·2023-09-20 01:05

xxl-job原理（版本2.3.1）

调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块。2、执行器负责接收调度请求并执行任务逻辑。
qq_42072311·2023-09-19 08:29

xxl-job基本原理以及底层流程讲解

调度系统于任务解耦，提高了系统可用性和稳定性，同时调度系统性能不受限于任务模块执行器：主要负责任务的具体执行，以及分配线程执行任务。
时间ヾ永恒·2023-09-19 08:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他