LSF调度系统

分布式任务调度系统设计文档

一、需求设计======1.1需求概述--------**背景：**传统的crontab任务调度存在以下缺点1.机器故障，任务停止调度，设置crontab配置都找不回来（单机故障）2.任务数量多，单机的硬件资源耗尽，需要人工的迁移到其他机器上（扩展性不好）3.需要人工去机器上配置crontab规则，任务执行状态不方便查看（可通过配置中心来批量管理多台机器）以上都是传统的crontab任务调度存在的
codergeek·2020-07-27 23:43

【传智播客】传智播客2020年C++课程大纲

开发实战02.C高级编程03.C++核心编程04.Linux高并发服务器开发05.跨平台企业项目实战06.分布式云存储开发07.Go语言微服务项目08.Shell脚本编程09.Lars-负载均衡远程服务调度系统
沧海一笑-dj·2020-07-27 21:54

SequoiaDB Spark Yarn部署及案例演示

1、背景由于MRv1在扩展性、可靠性、资源利用率和多框架等方面存在明显的不足，在HadoopMRv2中引入了资源管理和调度系统YARN。
choulou0356·2020-07-27 20:27

python里协程使用同步锁Lock

可以说是单线程的调度系统，并且由于执行时有延时或者I/O中断等因素，每个协程如果同步时，还是得使用一些同步对象来实现。
caimouse·2020-07-27 19:11

如何获取泛型类的参数化类型？

我在基于XXL-JOB进行二次开发的XXL-JOB-ONION分布式定时任务调度系统项目中，添加了一个ONION_BEAN的运行模式，约定定时任务必须通过实现OnionShardingJobHandler
wujiuye·2020-07-27 19:11

给 K8s API “做减法”：阿里巴巴云原生应用管理的挑战和实践

早在2011年，阿里巴巴内部便开始了应用容器化，当时最开始是基于LXC技术构建容器，然后逐渐切换到Docker，自研了大规模编排调度系统。
alisystemsoftware·2020-07-27 18:07

从0到1搭建大数据平台之调度系统(建议收藏)

任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。一、原始任务调度记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。
无精疯·2020-07-27 18:14

hadoop的工作原理？hadoop是什么？hadoop的内部三大模块是怎么运行的？

hadoop是一个开源框架，主要包括三大块内容：hdfs(分布式文件存储系统)，yarn（资源管理和任务调度系统），mapreduce(分布式计算框架)；hadoop的工作原理是什么？
老子天下最美·2020-07-27 17:11

SequoiaDB Spark Yarn部署及案例演示

1、背景由于MRv1在扩展性、可靠性、资源利用率和多框架等方面存在明显的不足，在HadoopMRv2中引入了资源管理和调度系统YARN。
SequoiaDBOfficial·2020-07-27 17:25

精读《Scheduling in React》

1.引言这次介绍的文章是scheduling-in-react，简单来说就是React的调度系统，为了得到更顺滑的用户体验。毕竟前端做到最后，都是体验优化，前端带给用户的价值核心就在于此。
黄子毅·2020-07-27 16:04

Google集群管理系统Omega详细解读

0.前言本文根据Omega论文整理总结得到一个灵活可扩展的大规模集群调度系统，其出现主要用于解决可扩展性问题以及一些任务对于响应时间的高要求。
Shao Kaiyang·2020-07-27 16:55

9月13日 星期二

工作日志所收任务思考“水污染防治调度系统”中其他的异常操作，并尽量给予解决方案完成情况考虑了3种异常操作，但未明确说明各解决方案在考虑异常操作过程中，研究了一番“业务支撑系统”，对用户、用户组、角色、功能权限有了较为明确的认识用户
钱佳辰_Hangzhou·2020-07-16 07:08

分布式调度杂谈

对于规模以上的应用来说，调度系统已经是必不可少的组成部分，尤其是在基于数据分析的后台应用大量增长的今天，健壮的调度任务管理已经是非常重要的一环，因此多花时间来分析研究调度系统的设计对于日常开发与运维具有比较重要的意义
鸡蛋炒瘦肉·2020-07-16 06:35

10月14日 星期五

工作日志所收任务根据最终需求，确定“统计分析”所有功能、页面DDL：10-14适当了解“地表水系统”功能DDL：10-14绘制“水污染调度系统”用户-角色-功能图DDL：10-14书写“水污染调度系统_
钱佳辰_Hangzhou·2020-07-16 02:50

淘宝开源分布式调度系统TBSchedule详解

Console下载:trunk/console/ScheduleConsole.war技术支持：忌少[email protected]推荐项目:QLExpress简介高效的脚本引擎pom引用：com.taobao.pamirs.scheduletbschedule3.2.63.0-QuickStart使用的问题解答重要更新tbschedule此文档内部包括：1、设计目标说明2、主要概念解释3、涉及
Helen_Cat·2020-07-16 01:28

Spring+ActiveMQ+Flex- 智慧公交

智能公交调度系统-系统结合了GPSGISGPRS等，将车辆的状态信息实时传到调度中心，调度中心可以自动调度和监控车辆。
iteye_6551·2020-07-16 00:27

如何解决Java线程同步中的阻塞问题

Java线程同步的优先级代表该线程的重要程度，当有多个线程同时处于可执行状态并等待获得CPU时间时，线程调度系统根据各个线程的优先级来决定给谁分配CPU时间，优先级高的线程有更大的机会获得CPU时间，优先级低的线程也不是没有机会
蛰脚踝的天蝎·2020-07-15 14:00

进击的 Kubernetes 调度系统（二）：支持批任务的 Coscheduling/Gang scheduling

《进击的Kubernetes调度系统》系列文章将把我们的经验、技术思考和实现细节全面地展现给Kubernetes用户和开发者，期望帮助大家更好地了解Ku
阿里巴巴云原生·2020-07-15 14:00

进击的 Kubernetes 调度系统（二）：支持批任务的 Coscheduling/Gang sc

《进击的Kubernetes调度系统》系列文章将把我们的经验、技术思考和实现细节全面地展现给Kubernetes用户和开发者，期望帮助大家更好地了解Ku
阿里系统软件技术·2020-07-15 13:24

离线数据开发之任务调度系统

大数据调度系统的由来1）大数据下，调度系统时整个大数据体系的指挥中心，负责合理的调配资源。2）在调度系统中各类任务互相依赖，形成一个有向无环图。
xu704928452·2020-07-15 10:22

优先级阻塞队列是个啥?

先思考一个应用场景，比如你需要实现一个云计算任务调度系统，希望可以保证VIP客户的任务被优先处理，你可以利用哪些数据结构或者标准的集合类型呢？更进一步讲，类似场景大多是基于什么数据结构呢？
西眉先生·2020-07-15 07:50

进击的Kubernetes调度系统（二）：支持批任务的Coscheduling/Gang scheduling

作者：王庆璨张凯进击的Kubernetes调度系统（一）：SchedulingFramework进击的Kubernetes调度系统（二）：支持批任务的Coscheduling/Gangscheduling
阿里云云栖号·2020-07-15 07:26

Hadoop之YARN的安装与测试

在之前几篇文章中介绍了Hadoop生态圈中的HDFS基础，HDFS集群搭建，JAVA的基本API等操作，此文介绍一下，分布式调度系统的重要组成部分Yarn的安装与使用。
landy8530·2020-07-15 00:23

MapReduce 论文的部分总结

3.实现设备：网络硬件+上千台(容易出故障的)电脑+调度系统Master持有一些数据结构，存储每个Map和Reduce状态的任务和Worker机器的标识。
Auliegay·2020-07-15 00:59

python 计算概率密度、累计分布、逆函数

计算概率分布的相关参数时，一般使用scipy包，常用的函数包括以下几个：pdf：连续随机分布的概率密度函数pmf：离散随机分布的概率密度函数cdf：累计分布函数ppf:百分位函数（累计分布函数的逆函数）lsf
心态与做事习惯决定人生高度·2020-07-14 21:08

解析阿里云分布式调度系统伏羲

本文涉及阿里云分布式调度团队在分布式调度系统的设计、实现、优化等方面的实践以及由此总结的分布式系统设计的一般性原则，具体包括分布式调度的任务调度、资源调度、容错机制、规模挑战、安全与性
十人言末·2020-07-14 20:36

大数据/数仓面试灵魂30问（转）

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程度（建模工具、ETL工具、BI报表工具、调度系统）5.传统数仓和大数据数仓的异同？有哪些大的变化？6.印象最深刻的项目？为什么？
颹蕭蕭·2020-07-14 12:08

Hadoop系列-MapReduce源码案例分析和编码规范（十）

代码下载地址：1，JAVA工程代码2，Maven工程代码转载内容如下：首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统
贺敏Minbo·2020-07-14 11:47

Hadoop生态圈之Oozie（一）

ApacheOozieOozie是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。
chipeize·2020-07-14 08:18

【赠书】可伸缩服务架构：框架与中间件！

内容提要：《可伸缩服务架构：框架与中间件》以高可用服务架构为主题，侧重于讲解高可用架构设计的核心要点：可伸缩和可扩展，从应用层、数据库、缓存、消息队列、大数据查询系统、分布式定时任务调度系统、微服务等层面详细讲解如何设计可伸缩
Java后端技术·2020-07-14 08:12

数栈-离线数据开发学习笔记

个人博客原文链接离线任务开发离线任务开发模块主要是设计数据计算流程，并实现为多个相互依赖的任务，供调度系统自动执行的主要操作页面。
LousenJay·2020-07-14 06:03

一周一论文（翻译）——[ICDCS 15] DRS: 在快速流下实时计算分析的动态资源调度系统

Abstract在数据流管理系统（DSMS）中，用户注册连续查询，并在数据到达和到期时接收结果更新。我们专注于具有实时约束的应用程序，其中用户必须在更新发生后的给定时间段内接收每个结果更新。为了处理快速数据，DSMS通常位于云基础架构之上。由于实时流速到达等流属性可能无法预测地波动，因此必须动态配置和调度云资源以确保实时响应。对于现有系统或未来发展而言，必须具备根据当前工作负载动态调度资源的能力，
MasterT-J·2020-07-14 00:28

进击的Kubernetes调度系统（一）：Scheduling Framework

作者：王庆璨张凯前言Kubernetes已经成为目前事实标准上的容器集群管理平台。它为容器化应用提供了自动化部署、运维、资源调度等全生命周期管理功能。经过3年多的快速发展，Kubernetes在稳定性、扩展性和规模化方面都有了长足进步。尤其是Kubernetes控制平面的核心组件日臻成熟。而作为决定容器能否在集群中运行的调度器Kube-scheduler，更是由于长久以来表现稳定，且已能满足大部分
阿里云云栖号·2020-07-13 22:22

分布式定时任务调度系统技术解决方案(xxl-job、Elastic-job、Saturn)

如何快速的进行工资结算(数据运算型)保险短信开门红/电商双十一1000w+短信发送(短时汇聚型)工作中业务场景非常多，所涉及到的场景也各不相同，这使得我们定时任务系统应该集管理、调度、任务分配、监控预警为一体的综合调度系统
kingbal·2020-07-13 22:29

分布式定时任务组件

GitHub地址功能概述（包括优化的部分）基于zookeeper+springtask的分布任务调度系统。确保每个任务在集群中不同节点上不重复的执行。单个任务节点故障时自动转移到其他任务节点继续执行。
weixin_34151004·2020-07-13 18:38

Spring4+Springmvc+quartz实现多线程动态定时调度

scheduler定时调度系统是大多行业项目都需要的，传统的spring-job模式，个人感觉已经out了，因为存在很多的问题，特别是定时调度的追加、修改、删除等，需要修改xml，xml的配置生效无非是热部署灰度发布方案或者直接停止
weixin_33712987·2020-07-13 17:49

实时音视频流媒体传输的思考和实践

主要会为大家介绍实时音视频的超低延迟架构并简要阐述实时视频调度系统，同时结合拥塞控制策略和信道纠错策略，进一步探索解决网络延
LiveVideoStack_·2020-07-13 16:36

黑马程序员—银行业务调度系统

模拟实现银行业务调度系统逻辑，具体需求如下：1，银行内有6个业务窗口，1-4号窗口为普通窗口，5号窗口为快速窗口，6号窗口为VIP窗口。
浪子有情_·2020-07-13 15:53

java面试题之二 银行业务调度系统

老板做人不错，做事条理清晰，自己有技术银行业务调度系统一、面向对象的分析和设计1、客户取号1)、过程：客户——>取号机——>号码管理器生成号码2)、号码管理器的设计a)号码管理器的任务号码管理器要有一个变量记住产生的号码
华夏一梦·2020-07-13 15:32

黑马程序员-银行业务调度系统

----------------------一、需求：模拟实现银行业务调度系统逻辑，具体需求如下：1、银行内有6个业务窗口，1-4号窗口为普通窗口，5号窗口为快速窗口，6号窗口为VIP窗口。
maizangbeishang·2020-07-13 08:37

shedlock + redis 实现分布式定时任务锁

虽然Quartz可以基于数据库实现作业的高可用，但缺少分布式并行调度的功能TBSchedule：阿里早期开源的分布式任务调度系统。代码略陈旧，使用timer而非线
风行傲天·2020-07-13 04:53

2007.11-12 广东药学院附属第一医院牙科分诊调度系统

2007.11-12广东药学院附属第一医院牙科分诊调度系统开发人员：许羽逢梁文彬李金生温略淦感谢指导老师：周怡蔡永铭杨进陈伟功能框架该系统分成前台和后台两部分2.1系统功能图：后台管理显示病人管理医生管理值班管理数据维护统计分析录入前台其中前台实现就诊病人信息的录入和排队结果的显示
elifefly·2020-07-13 04:58

oozie 工作流调度引擎总结(一)

首先是作为调度系统两大核心：依赖和触发。依赖可以是条件依赖，比如，资源依赖，依赖于某些数据文件的存在，也可以是任务依赖，比如依赖于另一个job的完成。
cuirong1986·2020-07-13 03:39

Firmament - 大规模集群任务调度

随着分布式计算集群规模的不断扩张，任务调度系统的稳定性成为了整个集群稳定的关键因素。
cpongo4'"\?;@·2020-07-13 03:08

进击的 Kubernetes 调度系统（一）：Kubernetes scheduling framework

《进击的Kubernetes调度系统》系列文章将把我们的经验、技术思考和实现细节全面地展现给Kubernetes用户和开发者，期望帮助大家更好地了解Kubernetes调度系统的强大能力和未来发展方向。
阿里技术官方号·2020-07-13 02:17

去哪儿网玩乐事业部-数据模式演进

下面是大事记2014年（系统搭建）：开发报表平台、接入HADOOP、搭建调度系统2015年（数据集市）：搭建数据集市、开发数据同步工具2016年（数据应用）：系统定价、多维分析2017年（数据重构）：重构底层
aijia7039·2020-07-13 02:16

ZooKeeper完全解析(四) 使用ZooKeeper实现分布式作业调度系统之实现原理

在上一篇中，我们讲解了如何使用Java来操作ZooKeeper，链接为ZooKeeper完全解析(三)使用Java操作ZooKeeper，这一篇中，我们将会讲解使用ZooKeeper来实现一个分布式的作业调度系统的原理
HappyHeng·2020-07-13 00:02

ZooKeeper完全解析(五) 使用ZooKeeper实现分布式作业调度系统之Java实现

在上一篇中，我们讲了使用ZooKeeper来实现分布式作业调度系统的原理，链接为：ZooKeeper完全解析(四)使用ZooKeeper实现分布式作业调度系统之实现原理，这一篇中，我们将会讲使用Java
HappyHeng·2020-07-13 00:30

大数据相关开源项目汇总

调度与管理服务Azkaban是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。
安然_随心·2020-07-12 18:57

公交智能调度系统车载终端应用设计与实现

由于这一系列问题的存在，智能公交调度系统就以次而产生了。本文介绍了作者设
wxf0204·2020-07-12 16:39
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他