LSF调度系统

Easy Scheduler 1.0.3 发布，分布式工作流任务调度系统

EasySchedulerRelease1.0.3EasyScheduler1.0.3是1.x系列中的第四个版本。新特性：[EasyScheduler-254]流程定义删除和批量删除[EasyScheduler-347]任务依赖增加“今日”[EasyScheduler-273]sql任务添加title[EasyScheduler-247]API在线文档[EasyScheduler-319]单机容错
d66380022·2019-05-28 18:37

分布式管理系统使用笔记

分布式管理系统使用笔记有幸在工作中体验了几个计算集群的使用，几乎每个计算集群都有专门的集群调度系统，而当需要在短时间对多个系统做测试是第一道障碍就是熟悉各个调度系统的操作指令，以下列举近期使用到的几个分布式作业调度系统的常用操作指令和几个超算中心使用体验广州超算天河二号普通刀片节点配备两颗
dongye_3377·2019-05-24 19:30

宜信开源微服务任务调度平台（SIA-TASK）

常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此的背景下，很多原先的任务调度平台已经不能满足业务系统的需求。
宜信技术·2019-05-24 11:00

宜信开源微服务任务调度平台（SIA-TASK）

常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此的背景下，很多原先的任务调度平台已经不能满足业务系统的需求。
宜信技术学院·2019-05-24 00:00

IP应用加速技术详解：如何提升动静混合站点的访问速率？

IP应用加速架构如下图所示，首先，全球用户就近接入边缘节点，通过阿里云的智能调度系统接入二级节点，中间采用传输协议优化和路由优化，选取最快、最优的路径。最后，二级节点到源站则选
阿里云云栖社区·2019-05-23 00:00

数据仓库自动化，可视化建设

系统管理：这个模块主要管理各个系统的信息包括源系统信息、数据仓库系统、作业调度系统、报表系统。通过源系统信息可以自动导
mark_wu2000·2019-05-21 19:00

HADOOP 背景介绍

HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理1.HADOOP的核心组件有HDFS（分布式文件系统）MAPREDUCE（分布式运算编程框架）YARN（运算资源调度系统
wzl·2019-05-20 15:53

第三章 Goroutine调度策略（16）

这句话揭示了调度系统需要解决的三大核心问题：调度时机：什么时候会发生调度？调度策略：使用什么策略来挑选下一个进入运行的goroutine？切
爱写程序的阿波张·2019-05-15 08:00

Azkaban的介绍、安装与使用

目录1、概述1.1、为什么需要工作流调度器1.2、工作流调度实现方式1.3、常见工作流调度系统1.4、各种调度工具对比1.5、azkaban与oozie对比1.6、azkaban介绍2、azkaban安装部署
剑行极锋·2019-05-12 00:00

hera(赫拉)任务调度系统--为数据平台打造的任务调度系统

hera(赫拉)任务调度系统–为数据平台打造的任务调度系统hera项目背景 在大数据平台，随着业务发展，每天承载着成千上万的ETL任务调度，这些任务集中在hive,shell脚本调度。
凌霄~·2019-05-08 14:07

Borg/Mesos/Yarn三大主流资源管理与调度系统对比

0.前言Mesos（Twitter）、YARN（apache）和Borg(google)三个资源管理与调度系统可以说是目前资源管理和调度系统的先导者，现有的大多数资源管理和调度系统都从这三个系统中吸纳设计思想
Shao Kaiyang·2019-05-07 18:53

分布式调度系统（2）——生命周期

一、实体分布式调度中重要的实体包括：任务、任务实例和执行节点。任务：泛指任务的定义。任务实例：泛指按照任务定义触发的任务运行时。同一个任务的多次触发则对应多个任务实例。执行节点：任务实例运行的环境。二、生命周期各实体在系统运行过程中，实体状态发生改变，在不同状态下系统的各个模块将采取不同的操作以响应实体状态的变化。1.生命周期定义（1）任务的生命周期任务生命周期中的关键事件包括：新创建、启动、配置
liuhailong·2019-05-05 18:45

腾讯云大规模任务调度系统的架构蜕变—王旻—全球架构师峰会2017

如果想从事调度系统相关工作，除了要阅读一些经典调度系统论文外还需要了解目前工业界的具体实践。通常云服务公司会针对特定的业务场景对调度系统进行完善和优化。
Shao Kaiyang·2019-05-04 01:12

集群资源管理与任务调度系统综述

0.集群资源管理与任务调度系统出现的背景（1）出现背景信息技术快速发展，各行各业都慢慢于互联网进行深度融合，即所谓的“互联网+”。
Shao Kaiyang·2019-05-03 23:49

大数据(2) 懂的Hadoop架构原理

包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。
大神，快来碗里·2019-05-03 20:06

Hadoop生态组件Yarn之长期运行服务支持篇！

当然，目前市场已经存在具备一定竞争关系的产品，比如Mesos，但这两大调度系统的设计目标
大数据vvv·2019-05-02 21:36

大数据任务调度框架oozie项目分享

闲聊一句，我记得当初启动任务调度框架oozie项目的时候，csdn上还没有几篇关于oozie的文档，查阅资料还只能去官网，，作业调度系统的技术选型考虑到基于java语言的Azkaban/oozie以及基于
会飞的牛奶·2019-05-01 15:35

操作系统线程及线程调度

要深入理解goroutine的调度器，就需要对操作系统线程有个大致的了解，因为go的调度系统是建立在操作系统线程之上的，所以接下来我们对其做一个简单的介绍。
ABo_Zhang·2019-04-30 13:12

开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布

EasySchedulerRelease1.0.2===EasyScheduler1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持，具体如下：新特性：===-[[EasyScheduler-79](https://github.com/analysys/EasySchedule
程序优化·2019-04-27 09:00

开源分布式任务工作流调度系统Easy Scheduler Release 1.0.2

EasySchedulerRelease1.0.2EasyScheduler1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持，具体如下：新特性：[EasyScheduler-79]调度通过token方式对外开放接口，可以通过api进行操作[EasyScheduler-138]可
d66380022·2019-04-26 20:55

助力老婆做外贸（亚马逊）：开发一个邮件系统（3）

另外不知道winner-winservice系统能否胜任需求，不行的话，就看看quartz调度系统看能不能满足我的需求。界面大致就这些，应该没跑了，界面上的功能能列出来，难点就是数据库怎么设计。
Near_wen·2019-04-25 19:00

关于当前开源分布式任务框架的比较

当当开发的弹性分布式任务调度系统，功能丰富强大，采用zookeeper实现分布式
上道至简·2019-04-23 21:48

EasyScheduler调度系统的架构原理及实现思路

系统架构设计在对调度系统架构说明之前，我们先来认识一下调度系统常用的名词1.名词解释DAG：全称DirectedAcyclicGraph，简称DAG。
d66380022·2019-04-23 10:29

Airflow调度系统

Airflow能做什么Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令(需要已安装好python2.x和pip)：pipinstallairflowpipinstall"airflow[
学霸很烦恼·2019-04-19 14:29

持续改进中——Easy Scheduler 1.0.1版本来了

年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来了第一个正式开源迭代发布版本–1.0.1，免编译版本下载地址–1.0.1相信做过数据处理的伙伴们对开源的调度系统如
代立冬·2019-04-17 10:37

分布式工作流任务调度系统Easy Scheduler正式开源

分布式工作流任务调度系统EasyScheduler正式开源1、背景在多位技术小伙伴的努力下，经过近2年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来了第一个正式开源发布版本
d66380022·2019-04-08 23:55

Hadoop之MapReduce01【自带wordcount案例】

一、什么是mapreduce组件说明HDFS分布式存储系统MapReduce分布式计算系统YARNhadoop的资源调度系统Common三大[HDFS,Mapreduce,Yarn]组件的底层支撑组件，
波波烤鸭·2019-04-02 23:52

饿了么-调度系统

深入大数据平台心脏：饿了么调度系统全解转载声明本文大量内容系转载自以下文章，有删改深入大数据平台心脏：饿了么调度系统全解作者：曾国钦出处：51CTO0x01背景随着饿了么在大数据应用的不断深入，需要解决任务数量增长快
迷路剑客·2019-04-02 00:00

golua虚拟机的使用

但是我想做一个分布式流程调度系统的想法一直没有断，其实在公司内和另外一个同学做过一个flow系统，也在线上使用了，直到现在还在使用。前一段时间就想把这个系统再优化梳理
Feng_Sir·2019-04-01 14:39

Hadoop01【介绍】

HADOOP是apache旗下的一套开源软件平台,HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有:HDFS（分布式文件系统）YARN（运算资源调度系统
波波烤鸭·2019-03-31 20:47

如何构建延迟任务调度系统（二）：技术调研

延时队列实现的几种方式java.util.Timer+java.util.TimerTaskjava.util.concurrent.ScheduledExecutorServiceQuartzjava.util.concurrent.DelayQueue数据库轮询redis过期键通知rocketMQ中的延时队列1.Timer+TimerTask使用Timer实现任务调度的核心类是Timer和Ti
半点小鱼·2019-03-29 16:47

如何构建延迟任务调度系统（一）：需求目标

1.需求描述之前笔者接触过一些营销业务场景，比如说：用户注册未登录过APP第二天早上10点发一条营销短信促活红包过期前两天短信通知，下午16:00发送等等定时任务处理业务。采用的技术方案是定时任务扫数据汇总表，分页读取一定数量然后处理然而随着业务的发展，业务多元化，遇到了以下场景：拼团砍价活动过期前半小时提醒订单提交半小时内没有完成支付，订单自动取消，库存退还用户几天内没有操作过系统，发放激活短信
半点小鱼·2019-03-29 16:54

Curator应用场景(三)-Master选举LeaderLatch,LeaderSelector使用及原理分析

文章目录LeaderLatch基本原理关键API与方法用法源码分析LeaderSelector基本原理关键API与方法用法源码分析记得当年去某大型互联网公司面试的时候，面试官问过我一个问题：你们公司的分布式调度系统是怎么设计的
hosaos·2019-03-27 09:32

Python 基于Python及zookeeper实现简单分布式任务调度系统设计思路及核心代码实现

基于Python及zookeeper实现简单分布式任务调度系统设计思路及核心代码实现by:授客QQ：1033553122测试环境功能需求实现思路代码实践(关键技术点实现)代码模块组织结构配置文件解析MyTCPServer.pyMyTCPClient.pyappClient.pyloadAgent.py
授客·2019-03-23 09:00

Apache Hadoop Yarn主要组件详解

的产生背景由Doungcutting根据Google的三篇论文(GFS,MapReduce,BigTable)研发的Hadoop1.x版本中mapreduce，不仅负责分布式计算任务，而且内置了一个资源调度系统
猫君之上·2019-03-20 11:38

大数据处理架构Hadoop

Hadoop项目结构Hive数据仓库：把SQL语句转换成MapReduce作业Pig流数据处理：一个基于Hadoop的大规模数据分析平台提供类似SQL的查询语言pigLatinOozie作业流调度系统：
唛咦·2019-03-18 23:34

阿里毕玄现身说法：程序员成长路线

2011年开始打造了阿里自研的容器及对资源利用率提升巨大的统一调度系统。做过淘宝平台架构部架构师、集团核心系统研发部资深技术专家、阿里中间件负责人。和很多阿里技术人一样，花名满天下反而忘了真名。
MacTalk·2019-03-05 00:00

大型云原生项目在数字化企业落地过程解密

如何搭建一套能够满足子系统高效调度，系统资源充分利用，同时具有动态调整资源，具备高系统扩展性的应用调度系统，成为摆在各企业面前的一道难题。
用友云平台·2019-02-28 15:09

【xxl-job分布式任务调度系统】特性整理

二、使用细节1、调度中心集群调度中心支持集群部署，提升调度系统容灾和可用性。
WangCw的夏天·2019-02-27 14:36

spark任务提交的四个阶段和stage的流程

spark任务提交的四个阶段1、构建DAG用户提交的job将首先被转换成一系列RDD并通过RDD之间的依赖关系构建DAG,然后将DAG提交到调度系统；2、DAGScheduler将DAG切分stage（
H.U.C.小黑·2019-02-26 19:10

遗传算法 与 作业车间调度问题(C++实现)

算法使用C++实现，如果需要Java或Python代码，请看这篇文章：作业车间调度与遗传算法Python/Java实现及应用：BitMES，基于Electron的作业车间调度系统问题描述作业车间调度问题
sundial dreams·2019-02-25 15:48

为减少用户电话排队，阿里研发了智能客服调度系统

今天，我们邀请阿里高级技术专家力君，为大家分享自动、智能的客服调度系统——XSigma。
阿里云云栖社区·2019-02-21 00:00

面试题：你在项目中遇到哪些问题？

因为目前项目采用的是分布式，分布式环境下一般采用集群方案，所以这就会带来分布式的一些问题，比如：1、分布式锁2、分布式session3、分布式全局id4、分布式配置中心5、分布式日志收集系统6、分布式任务调度系统
weixin_33909059·2019-02-19 21:00

直播与CDN分发

CDN需要更多更强大的调度系统、数据监控系统、nginx、lvs等系统技术（我也就知道这些了）。高端的CDN厂商还有自建专线、自建IDC、甚至用到了ISP的骨干策略MPLS-TE。
desaco·2019-02-19 17:05

在python里协程使用同步锁Lock的实例

可以说是单线程的调度系统，并且由于执行时有延时或者I/O中断等因素，每个协程如果同步时，还是得使用一些同步对象来实现。
caimouse·2019-02-19 10:15

Hadoop生态圈重要组件整理

这里为大家整理了如下：HDFS：分布式文件系统Yarn：资源调度系统MapReduce：分布式运算程序开发框架HIVE：SQL数据仓库工具HBASE：基于Hadoop的分布式海量数据库Zooke
Vincent_Leee丶·2019-02-12 18:13

2018年度总结

测试管理平台接入性能测试工具完成任务统一调度系统多
点点寒彬·2019-01-31 23:27

Azkaban介绍

工作流调度器azkaban概述为什么需要工作流调度系统●一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等●各任务单元之间存在时间先后及前后依赖关系
一个人一匹马·2019-01-28 11:47

朱晔的互联网架构实践心得S2E3：品味Kubernetes的设计理念

Kubernetes（k8s）是一款开源的优秀的容器编排调度系统，其本身也是一款分布式应用程序。
lovecindywang·2019-01-24 21:00

朱晔的互联网架构实践心得S2E3：品味Kubernetes的设计理念

Kubernetes（k8s）是一款开源的优秀的容器编排调度系统，其本身也是一款分布式应用程序。
lovecindywang·2019-01-24 21:00
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他