调度系统

从0到1搭建大数据平台之计算存储系统

前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。
数据社·2023-03-18 20:47

java 多线程面试题及答案

并行执行的线程之间不存在切换；并发操作系统会根据任务调度系统给线程分配线程的CPU执行时间，线程的执行会进行切换。2：线程和进程的区别？
花伦同学ko·2023-03-17 16:43

微服务设计学习（三）服务治理之服务注册与发现

当然无论是否使用基于容器的调度系统，服务治理的原理和范畴都不会发生改变，只是
Richard_易·2023-03-15 18:35

阿里P8技术官总结698页：分布式服务架构 原理+设计+实战

本文以高可用服务架构为主题，侧重于讲解高可用架构设计的核心要点:可伸缩和可扩展，从应用层、数据库、缓存、消息队列、大数据查询系统、分布式定时任务调度系统、微服务等层面详细讲解如何设计可伸缩、可扩展的框架
java码农之路1·2023-03-15 03:06

字节后端开发工程师-基础架构 二面面经

5、调度系统中的sched_entity知道吗？6、vruntime和进程的优先级有什么关系？7、操作系统中的虚拟地址转换物理地址的全过程？8、了解内存虚拟化的影子页表，EPT技术吗？
怎么又有bug单·2023-03-15 02:27

Kube-scheduler 调度模型与美团本地化改造

背景今天主要分享下我在美团Hulk团队调度系统组期间学习到的k8sscheduler调度模型及美团对于调度器相关改造Hulk团队介绍Hulk是美团负责容器云平台的团队,我所在的组是调度系统组下面的k8s
小虚大魔王·2023-03-15 00:27

任务调度框架之Elastic-Job

Quartz的不足：1）作业只能通过DB抢占随机负载，无法协调2）任务不能分片——单个任务数据太多了跑不完，消耗线程，负载不均3）作业日志可视化监控、统计2、发展历史在当当的ddframe框架中，需要一个任务调度系统
vincent浩哥·2023-03-14 08:54

DolphinScheduler×长安汽车 | 千万级数据接入能力智能网联汽车云平台引进核心调度系统...

为保证智能汽车数据类业务的开展，长安汽车从初试到深度使用（1.1.0开始投产），选择DolphinScheduler作为数据平台的核心调度系统，实现数据任务的灵活编排、调度，赋能智能汽车产品研发、
DolphinScheduler社区·2023-03-10 15:42

迁移工具 Air2phin 宣布开源，2 步迁移 Airflow 至 Dolphinscheduler

‍‍点击蓝字关注我们开源消息近日，调度系统迁移工具Air2phin宣布开源。
DolphinScheduler社区·2023-03-10 15:11

日均处理 10000+ 工作流实例，Apache DolphinScheduler 在 360 数科的实践

点击上方蓝字关注我们从2020年起，360数科全面将调度系统从Azkaban迁移到ApacheDolphinScheduler。
DolphinScheduler社区·2023-03-10 15:40

保姆级超详细教程：DolphinScheduler单机(本地)部署及软件运行测试

部署流程1.下载二进制tar.gz包2.创建部署用户并赋予目录操作权限3.ssh免密配置4.数据库初始化5.修改运行参数6.一键部署7.登录系统如果你还不够熟悉DolphinScheduler，可以参考：《调度系统
程序员的隐秘角落·2023-02-18 22:30

celery动态添加任务

celery是一个基于Python的分布式调度系统，文档在这,最近有个需求,想要动态的添加任务而不用重启celery服务,找了一圈没找到什么好办法(也有可能是文档没看仔细)，所以只能自己实现囉为celery
python与数据分析·2023-02-18 21:00

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读：上周，袋鼠云数栈全新技术开源规划——DTMO（DTstackMeetupOnline）的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到▫Taier发展历程▫Taier架构设计和功能详解▫Taier具体应用和未来规划点击链接，查看直播视频回放https:
数栈DTinsight·2023-02-18 06:07

vivo 自研Jenkins资源调度系统设计与实践

作者：vivo互联网服务器团队-WuQinghua本文从目前业界实现Jenkins的高可用的实现方案，分析各方案的优缺点，引入vivo目前使用的Jenkins高可用方案，以及目前Jenkins资源的调度方案的设计实践和目前的落地运行效果。一、前言现在的企业很多都在用Jenkins做持续集成，各个业务端都依靠Jenkins，vivoDevops也是使用Jenkins来进行持续构建，部署Jenkins
·2023-02-16 22:39

Gandiva：Introspective Cluster Scheduling for Deep Learning.

OSDI2018深度学习自省调度系统研读笔记。
豆浆酥·2023-02-05 13:29

Schedule 调度系统设计（单机版）

鉴于对Spring实现的@Scheduled的调度和SchedulerFactoryBean的研究发现，基于Spring的调度封装虽满足了大多需求，但其为了简化使用方式，过度封装使得Job并不容易控制和运维，导致开发对Job的控制和运维成本上升；下面是本人基于Quartz和Spring及Annotation开发的单机版调度配置DEMO，满足单机调度的大部分需求和管理、运维操作并解放对配置文件的繁琐
一只叫十块钱的猫·2023-02-04 12:26

java实现任务调度_关于java:如何实现自己的任务调度系统开源软件诞生18

任务调度与ERP难舍难分–第18篇用日志记录“开源软件”的诞生【点亮星标】—-祈盼着一个激励博主开源地址：码云：https://gitee.com/redragon/redragon-erpGitHub：https://github.com/redragon1985/redragon-erp什么是任务调度？任务调度这个词貌似很高大上，其实不难理解。咱们晓得一个利用它执行工作的形式默认是实时且同步的
宗申店Q组533·2023-02-03 14:35

java开源任务调度管理_如何实现自己的任务调度系统？--开源软件诞生18

任务调度与ERP难舍难分--第18篇用日志记录“开源软件”的诞生什么是任务调度？任务调度这个词貌似很高大上，其实不难理解。我们知道一个应用它执行任务的方式默认是实时且同步的，而所谓的任务调度就是让任务非实时的或异步的进行。换一个词也可以把它理解成计划任务或定时任务。它解决了什么问题要分析任务调度所解决的问题，先要看这个任务的特点以及需要如何执行。首先这类任务一般是系统根据一定的预设逻辑去代替人工完
也有囊嘛·2023-02-03 14:35

元数据

（5）调度系统的相关调度配置、调度周期等。（6）哪些表何时被人访问、何时被稽查、何时
能得·2023-02-02 21:37

HADOOP介绍

HADOOPHADOOP是apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）YARN（运算资源调度系统
BoltBear·2023-02-02 14:00

【环境配置】Slurm作业调度运行python文件

Slurm资源管理系统介绍  SLURM（SimpleLinuxUtilityforResourceManagement）是一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统，被世界范围内的超级计算机和计算集群广泛采用
一穷二白到年薪百万·2023-02-01 10:29

【无标题】hpc slurm pbs 环境配置

可以搭建并行环境，超算环境，调度系统slurmpbs安装配置。需要私聊，打扰了，谢谢q:1597220976w:bzyy
hpc服务·2023-02-01 10:49

Azkaban 入门

1Azkaban概述1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell，java，mr、hive等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划
djm猿·2023-01-31 20:49

分布式可视化作业调度平台 DolphinScheduler MasterServer 设计核心要点揭秘

点击蓝字关注我们作者|欧阳业伟01导读ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使得调度系统在数据处理流程中开箱即用
DolphinScheduler社区·2023-01-31 14:11

Apache DolphinScheduler(海豚调度) - 1.3 系列核心表结构剖析

ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
代立冬·2023-01-31 06:42

生产调度系统算法模型简要设计

生产调度系统算法模型简要设计我们公司是典型的离散型生产系统，产品品种繁多，工艺流程长，且交互复杂。这一类型的生产系统具有很强的典型性，如何对这类生产系统进行建模并求解，我花费了很长的时间学习。
weixin_34259559·2023-01-30 23:26

iOS进阶之多线程--GCD

GCD简介GCD全称GrandCentralDispatch，可译为“牛逼的中枢调度系统”，是苹果公司为多核的并行运算提供的解决方案。
一个默默无闻的程序猿·2023-01-29 15:11

使用PBS作业调度系统提交python脚本以及python调用R的方法

首先说下如何指定各种脚本的工作路径（shell,python,R）qsub可以通過-d指定作業脚本運行目錄R,python脚本：上一级调用时在命令行参数里指明运行路径下面举例说明如何提交pythonCodePath/job.py（job.py里面还调用了）通过qsub提交路径为shellCodePath/job.sh的工作脚本，指明工作路径（也就是python脚本的工作路径）为workDirPyt
Lairai·2023-01-26 13:56

Datax-web入门配置与启动

datax-web:DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统
JMzz·2023-01-26 06:23

在亚马逊云科技上部署无服务器 Apache DolphinScheduler 任务调度系统

点击上方【凌云驭势重塑未来】一起共赴年度科技盛宴！背景介绍在数仓ETL、离线及实时计算的场景下，数据任务的依赖调度关系越来越复杂。在Amazon平台上提供了托管的ApacheAirflow(MWAA)与Stepfunction、GlueWorkflow等具有一定调度编排任务的工具，但在可视化一体管理操作上的支持都有一定的限制缺失。ApacheDolphinScheduler旨在解决复杂的大数据任务
亚马逊云开发者·2023-01-21 20:17

秒懂边缘云 | CDN基础入门：CDN解析配置

解析基本原理前言上个章节中我们学习了如何根据业务情况添加CDN域名并配置源站，但在添加完成后，域名尚未真正接入CDN服务，我们需要将域名解析到特定的CNAME记录上才能使得终端用户请求时，用户的DNS解析域名时能通过CDN智能调度系统访问到自身周边的
边缘云小编·2023-01-20 13:52

【学习并改进】黑马程序员-张孝祥-银行业务调度系统

importjava.util.*;//导入工具包importjava.util.concurrent.*;//导入并发包/***产生多个窗口的叫号系统和模拟不同类型的客户操作。*异步随机生成各种类型的客户，通过设定标准时间间隔倍数实现。*有3种业务类型：普通用户，快速用户，VIP用户，*各类型客户在对应窗口按顺序依次办理业务。*@author张孝祥-黑马程序员*@editor魏安-黑马程序员*/
Wei_An·2023-01-15 10:50

智慧高速公路 车路协同总体框架和要求_智慧高速公路的实景车路协同解决方案...

一、基于AI人工智能的高速公路实景车路协同指挥调度系统高速公路实景车路协同指挥调度系统集成应用先进的AI人工智能识别技术、AR增强现实技术、信息处理技术等，形成开放兼容的车路协同辅助数据服务平台；结合多样
weixin_39700625·2023-01-14 00:13

大数据 hadoop

apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统
DHRJFH·2023-01-12 21:33

语音指令控制系统

在当前的语音电话或语音调度系统中，用户需要通过人工拨号或人工查找通信录的方式启动呼叫，操作繁杂，作业效率较低，甚至严重影响指挥的实时性。
yuntin99·2023-01-08 09:27

Linux 系统进程详解

合理地分配和调度系统的进程，配置管理系统所开启的服务，是保证系统稳定高效运行的关键。
小狗吠吠吠·2023-01-04 07:00

CDN缓存

1.3.1：什么是CDN：内容分发网络（ContentDeliveryNetwork），通过将服务内容分发至全网加速节点，利用全球调度系统使用户能够就近获取，有效降低访问延迟，提升服务可用性，CDN第一降低机房的使用带宽
Rio520·2023-01-04 07:30

阿里云——CDN应用场景

CDN通过全球2800+节点及智能调度系统，让用户可以就近访问海量静态资源，毫秒级响应。
aliyunduoduo·2023-01-04 07:25

Serverless化让服务部署和回滚更快乐

1Serverless之前：自研调度系统InfoQ：能和我们聊聊你的工作经历吗？你们
六月·飞雪·2022-12-30 12:33

智慧人防综合指挥调度系统介绍

1.系统概述根据人防信息化建设的统一要求，利用现有网络技术、计算机技术和多媒体技术，建成一个统一的综合指挥调度系统，将音频业务、视频业务、数据业务等集成一体，实现人防已建/在建音视频、数据之间的互联互通
融合通信服务商·2022-12-27 14:31

数据可视化大屏应急管理综合指挥调度系统完整案例详解（PHP-API、Echarts、百度地图）

文章目录项目说明一、项目说明单位信息数据库字段：资源数据库字段项目需求二、项目开发1.项目分析2.引入库3.项目开发（1）地图容器构建（2）筛选和返回按钮事件（3）企业筛选功能（4）百度地图封装（5）判断是加载标注还是路线规划（5）核心企业标注（6）周边资源标注和弹窗（7）路线规划：时间和距离总结项目说明基于定制拼接大屏开发，其中显示大屏是长度8m，高度是2.57m，大约可以分成3部分：中间部分是
漏刻有时·2022-12-25 19:01

324页13万字高校数字化校园大数据中心及大数据平台建设方案

一、 数据中心总体规划云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、网络资源，大数据分析系统，高性能作业调度系统，本项目在充分整合XXX高校数据中心资源的基础上，配置必要软硬件设备
数字化方案·2022-12-25 14:46

面向大数据处理应用的广域存算协同调度系统

点击上方蓝字关注我们面向大数据处理应用的广域存算协同调度系统张晨浩1,2,肖利民1,2,秦广军3,宋尧1,2,蒋世轩1,2,王继业41软件开发环境国家重点实验室，北京1001912北京航空航天大学计算机学院
唐名威·2022-12-24 22:26

基于组合优化的出租车订单调度模型

出租车预订应用程序的关键组件是调度系统，该系统旨在提供司机和乘客之间的最佳匹配。传统的调度系统按顺序向乘客调度出租车，目的是使每个订单的驾驶员接受率最大化。
我是女孩·2022-12-24 22:55

应用感知的算力优化调度方法

摘要【目的】在“东数西算”工程的大背景下,为了更好地实现对分布在不同地域超级计算机资源的调度管理,针对计算资源忙闲不均等问题,提出通过研究典型应用作业的运行特征,开发多中心任务的调度系统,以解决国家高性能计算环境统一调度的关键技术问题
罗伯特之技术屋·2022-12-24 22:55

柔性作业车间调度问题-启发求解方法

调度方案需要确定工序的加工顺序和机器的选择，从而使得整个调度系统的各指标达到最优。
南音小榭·2022-12-23 11:04

【秋招机试真题】华为机试0825-3-任务调度系统计算任务完成所需时间

题目描述：在一个任务调度系统中，需要调度执行一系列的任务，任务之间存在依赖关系，如任务A依赖任务B，则任务A必须在任务B完成后才能开始启动执行现在给出n个任务的依赖关系与执行时间，n#include#includeusingnamespacestd
从小我就不会起名字qzz·2022-12-19 03:30

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读：上周，袋鼠云数栈全新技术开源规划——DTMO（DTstackMeetupOnline）的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到▫Taier发展历程▫Taier架构设计和功能详解▫Taier具体应用和未来规划点击链接，查看直播视频回放https:
数栈DTinsight·2022-12-17 19:02

调度系统使用注意事项

1计算新增的任务这种任务前后有依赖关系,必须串行顺序执行;1必须打开依赖历史的设置;2补数据时必须串行顺序执行;
盛源_01·2022-12-15 11:33

spark开发问题汇总

记录和分析spark开发中遇到的问题1查看日志日志来源获取方式特点调度系统直接查看调度产生日志快速定位简单问题，日志最简洁，不能深度分析SparkUI在SparkUI上通过应用ID查看图形化的展示，便于分析问题和执行过程
盛源_01·2022-12-15 11:32
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他