LSF调度系统

美团集群调度系统HULK技术演进

本文根据美团基础架构部/弹性策略团队负责人涂扬在2019QCon（全球软件开发大会）上的演讲内容整理而成。本文涉及Kubernetes集群管理技术，美团相关的技术实践可参考此前发布的《美团点评Kubernetes集群管理实践》。一、背景HULK是美团的容器集群管理平台。在HULK之前，美团的在线服务大部分部署都是在VM上，在此期间，我们遇到了很大的挑战，主要包括以下两点：环境配置信息不一致：部分业
美团技术团队·2019-09-17 17:01

hadoop

hadoopHADOOP是apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）YARN（运算资源调度系统
wornxiao·2019-09-08 22:19

Quartz.Net使用教程

Quartz.Net是纯净的，它是一个.Net程序集，是非常流行的Java作业调度系统Quartz的C#实现。Quartz.Net一款功能齐全的任务调度系统，从小型应用到大型企业级系统都能适用。
拓荒者·2019-09-08 18:00

日均处理万亿数据！Flink在快手的应用实践与技术演进之路

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本次的分享包括以下三个部分：介绍Flink在快手的应用场景以及目前规模；介绍Flink在落地过程的技术演进过程；讨论Flink在快手的未来计
ApacheFlink·2019-09-05 17:00

日均处理万亿数据！Flink在快手的应用实践与技术演进之路

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本次的分享包括以下三个部分：介绍Flink在快手的应用场景以及目前规模；介绍Flink在落地过程的技术演进过程；讨论Flink在快手的未来计
ApacheFlink·2019-09-05 00:00

Azkaban 简介

面对这些问题，工作流调度系统应运而生。Azkaban就是其中之一。1.2功能Azk
黑白影·2019-09-01 08:00

JS实现判断DAG图是否有环

业务场景调度系统的任务可视化界面需要完成用户可在界面上连线作为任意两个job间的依赖关系，也就是DAG图DAG也就是有向无环图，有向无环图指的是一个无回路的有向图。
Obeing·2019-08-30 00:00

旷视上海研究院机器人方向招聘

旷视机器人目前可以提供包括机器人产品+机器人网络协同大脑（连接、调度系统）的行业整体解决方案。目前公司的机器人产品主要是仓储和工厂的搬运机器人（AGV），未
路游侠·2019-08-27 20:00

日均处理万亿数据！Flink在快手的应用实践与技术演进之路

主要研究领域包括：分布式计算、调度系统、分布式存
zxfBdd·2019-08-26 18:00

Golang踩坑分析之 Gorm

案例1:GolangGorm踩坑##影响情况##服务A是定时调度系统,利用github.com/robfig/cron来实现,发现服务运行3小时左右就不打印sql日志,但是API服务响应正常.导致调度服务不执行
xiaowei520·2019-08-26 00:00

定时任务的一些见解

定时任务业务中经常会有一些需要定时任务或者任务调度系统的场景，例如：数据备份,订单超时,数据统计以及一些特殊业务需求。往往这也是最容易出问题的地方。
黄金矿工00七·2019-08-22 00:08

C++ 课程设计——电梯调度系统

这是我在本学期C++课程最后的课程设计报告，源代码将会上传到GitHub上。一、背景随着经济的不断发展，越来越多的摩天大楼拔地而起，而电梯作为高层建筑物种的运送人员货物的设备也越来越被广泛使用。电梯的运行是电梯与大楼的各个楼层之间的使用者进行交互的一个过程，对于电梯的模拟，就是对这一交互过程的一个模拟。以本校七教办公楼为例，有着12层楼，配有两部电梯，在每一层楼中还有着可以呼叫电梯的上下两个按钮。
王陸·2019-08-19 19:00

好程序员分享大数据的架构体系

好程序员分享大数据的架构体系：flume采集数据MapReduceHBse(HDFS)Yarn资源调度系统展示平台数据平台1，提交任务2，展示结果数据spark分析引擎S3可以进行各种的数据分析，可可以和
wx5d42865f47214·2019-08-13 17:33

xxl-job

调度系统执行模块:负责接收调度请求并执行任务逻辑.所有展示案例全部采用sprin
java开发日记·2019-08-12 14:39

VRP问题

最近一个物流配送车辆调度系统的项目要求带VRP的功能，以下是一些开源框架、API，和重点尝试的禁忌搜索。
lagoon_lala·2019-08-12 12:22

Cesium数据可视化-仓储调度系统可视化部分(附github源码)

Cesium数据可视化-仓储调度系统可视化部分目的仓储调度系统需要一个可视化展示物资运输实况的界面，需要配合GPS设备发送的位置信息，实时绘制物资运输情况和仓储仓库。
GIS之家·2019-08-05 22:00

Spring4+Springmvc+quartz实现多线程动态定时调度

scheduler定时调度系统是大多行业项目都需要的，传统的spring-job模式，个人感觉已经out了，因为存在很多的问题，特别是定时调度的追加、修改、删除等，需要修改xml，xml的配置生效无非是热部署灰度发布方案或者直接停止
alterem·2019-08-05 09:00

Spark_day01

多用途的集群计算系统,相当于HadoopMapReduce,Spark使用了内存来保存中间结果,能在数据还未写入磁盘的时候在内存中进行运算.Spark只是一个计算框架,不像Hadoop一样包含分布式文件系统和完备的调度系统
c062197eecd2·2019-08-04 21:14

作业车间调度与遗传算法Python/Java实现及应用：BitMES，基于Electron的作业车间调度系统

作业车间调度问题描述作业车间调度(Jobshopschedulingproblem,JSP)是车间调度中最常见的调度类型，是最难的组合优化问题之一，应用领域极其广泛，涉及航母调度，机场飞机调度，港口码头货船调度，汽车加工流水线等，因此对其研究具有重大的现实意义。科学有效的生产调度不但可以提高生产加工过程中工人、设备资源的高效利用，还可缩短生产周期，降低生产成本。作业车间调度问题描述：一个加工系统有
sundial dreams·2019-08-03 23:57

azkaban的操作指南

在总结整个操作过程之前先简单描述下工作流调度系统的优势。
春雨里de太阳·2019-08-03 15:25

Azkaban简介及安装教程

1、概述1.1、为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关
春雨里de太阳·2019-08-03 14:20

从零到破万节点！支撑618大促背后的蚂蚁金服Kubernetes集群

2019年天猫618大促，蚂蚁金服首次在大促中对调度系统和技术栈全面应用Kubernetes，突破了Kubernetes单集群万节点的规模，总节点数达到数十万个，这是世界最大规模的Kubernetes集群之一
阿里云云栖社区·2019-07-29 00:00

大数据学习笔记之azkaban（一）：azkaban

文章目录一概述1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3各种调度工具特性对比1.4Azkaban与Oozie对比二Azkaban介绍三Azkaban安装部署3.1安装前准备3.2安装azkaban3.2
Leesin Dong·2019-07-28 23:22

sonic orch调度系统之----orchagent

sonic核心守护线程orchagent以orch为单位进行资源管理，一个orch包含了一组相似的资源；orchagent调度系统以Executor为调度单位，调度实体有Consumer，ExecutableTimer
ouyangxibao·2019-07-27 00:00

从零到破万节点！支撑618大促背后的蚂蚁金服Kubernetes集群

2019年天猫618大促，蚂蚁金服首次在大促中对调度系统和技术栈全面应用Kubernetes，突破了Kubernetes单集群万节点的规模，总节点数达到数十万个，这是世界最大规模的Kubernetes集群之一
蚂蚁金服科技·2019-07-25 18:16

MapReduce与YARN调度图

首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件，主要提供基础工具包和RPC
挖煤工人学IT·2019-07-20 11:51

日均处理万亿数据！Flink在快手的应用实践与技术演进之路

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。
阿里云云栖社区·2019-07-18 10:15

日均处理万亿数据！Flink在快手的应用实践与技术演进之路

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。
阿里云云栖社区·2019-07-18 00:00

Apache Flink 在快手万亿级数据的应用实践总结

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本次的分享包括以下三个部分：介绍Flink在快手的应用场景以及目前规模；介绍Flink在落地过程的技术演进过程；讨论Flink在快手的未来计
Ververica·2019-07-17 00:00

大数据 - 统计分析平台架构介绍

使用Azkaban任务调度系统中配置Job，对平台上的数据进行ETL操作和分析。将最终产生的结果数据存储到Mysql，redis或elastics中，用作报表展示或者App特定功能的数据来源。
蒙蒙的林先生·2019-07-12 17:35

Zstack采坑记录（记一次数据库异常）

提起今天的异常，有很多的吐槽的地方，不提历史遗留的坑，单纯的从技术方面回顾一下今天踩得坑，异常描述，内部自动化系统对接了zstack，创建虚拟机失败，负责调度系统的同学查了很久都没搞定，只贴了一些异常日志
GoDevops·2019-07-08 22:09

Hadoop介绍与安装配置方法

apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有1.HDFS（分布式文件系统）2.YARN（运算资源调度系统
天降e包only·2019-07-04 09:38

EasyNVR无插件网页摄像机直播流媒体服务器对接海康8700平台视频出现RTSP视频无法接入的问题解决

整个轨道交通多条线路的平安工地项目，视频基础设备及其基础前置接入平台，均由海康威视建设，视频设备统一接入到海康8700视频平台，并统一对外进行视频输出；EasyNVR通过与海康8700平台的对接，向上级可视化调度系统进行可视化无插件的视频能力输出
xiejiashu·2019-07-03 11:07

阿里云环境下纯sql构建日期维度表

现在的工作环境是阿里云，在这个环境下用纯sql构建了一个日期维度表，主要字段包含以下结果，后续农历日期将通过udf实现，再补充进来数据生产方案先借用调度系统的补数据方案补指定日期内的数据：主要字段包含以下数据
huobumingbai1234·2019-07-01 22:04

XXL-JOB任务执行的过程源码分析

xxl-job介绍xxl-job是一个分布式任务调度系统，基于quartz实现调度器。1、quartz是基于数据库forupdate实现锁，来保证同一个任务同一时间只会执行一次。
ceoaxv5008·2019-06-29 10:03

XXL-JOB任务执行的过程源码分析

xxl-job介绍xxl-job是一个分布式任务调度系统，基于quartz实现调度器。1、quartz是基于数据库forupdate实现锁，来保证同一个任务同一时间只会执行一次。
shayang88·2019-06-29 10:03

Hive从安装到启动

（3）hive也不提供资源调度系统，也是默认由Hadoop当中yarn集群
cuiyiyinga·2019-06-19 20:06

Spark调度系统——运行后端接口LauncherBackend

要介绍LauncherBackend，首先介绍下LaucherServer。当Spark应用程序没有在用户应用程序中运行，而是运行在单独的进程中时，用户可以在用户应用程序中使用LauncherServer与Spark应用程序通信。LauncherServer将提供Socket连接的服务端，与Spark应用程序中的Socket连接的客户端通信。LaucherServer的工作原理如下图：TaskSc
拾荒路上的开拓者·2019-06-18 23:18

Spark调度系统——任务集合管理器TaskSetManager

TaskSetManager实现了Schedulable特质，并参与到调度池的调度中。TaskSetManager对TaskSet进行管理，包括任务推断、Task本地性，并对Task进行资源分配。TaskSchedulerImpl依赖于TaskSetManager，本文将对TaskSetManager的实现进行分析。1Task集合DAGScheduler将Task提交给TaskScheduler时
拾荒路上的开拓者·2019-06-17 23:24

maprecude框架学习

hadoop：分布式文件系统MapReduce：分布式计算框架Yarn：hadoop资源调度系统使用MapReduce框架编写应用时，只用专注于业务逻辑的开发wordcount业务逻辑的开发/***Mapper
mambasmile·2019-06-14 14:19

cdn相关

解析请求会发送至阿里云DNS调度系统，并为请求分配最佳节点IP。L
Greed·2019-06-12 00:00

Azkaban 系列（一）—— Azkaban 简介

…面对这些问题，工作流调度系统应运而生。Azkaban就是其中之一。1.2功能Azkaban产
hei bai ying·2019-06-07 16:41

宜信开源|分布式任务调度平台SIA-TASK的架构设计与运行流程

我们常常需要一些任务调度系统来帮助解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。
宜信技术·2019-06-04 11:52

宜信开源|分布式任务调度平台SIA-TASK的架构设计与运行流程

我们常常需要一些任务调度系统来帮助解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。
宜信技术学院·2019-06-04 00:00

如何构建延迟任务调度系统（三）：架构设计

功能设计系统功能：延迟任务调度系统提供统一的任务操作接口给业务方调用，业务方可以提交任务，取消任务，查询任务状态。
半点小鱼·2019-05-31 20:40

.Net Core中使用Quartz.Net Vue开即用的UI管理

Quartz.NET是一个功能齐全的开源作业调度系统，可用于从最小的应用程序到大型企业系统。Quartz.NET是一个用C＃编写的纯.NET库，是对JAVA开源调度框架Quartz的移植。
我心依旧。·2019-05-30 10:00

开源分布式Job系统,调度与业务分离-HttpJob.Agent组件介绍以及如何使用

项目介绍：Hangfire：是一个开源的job调度系统,支持分布式JOB！！Hangfire.HttpJob是我针对Hangfire开发的一个组件,该组件和Hangfire本身是独立的。
鱼东东·2019-05-29 10:00

开源分布式Job系统,调度与业务分离-如何创建周期性的HttpJob任务

项目介绍：Hangfire：是一个开源的job调度系统,支持分布式JOB！！Hangfire.HttpJob是我针对Hangfire开发的一个组件,该组件和Hangfire本身是独立的。
鱼东东·2019-05-29 10:00

开源分布式Job系统,调度与业务分离-如何创建一个计划HttpJob任务

项目介绍：Hangfire：是一个开源的job调度系统,支持分布式JOB！！Hangfire.HttpJob是我针对Hangfire开发的一个组件,该组件和Hangfire本身是独立的。
鱼东东·2019-05-29 10:00

Spark调度系统——概述

简单来讲，Spark调度系统用于将用户提交的“任务”调度到集群中的不同节点执行。但是Spark实现的调度系统，并非一句话所概括的这么简单。
拾荒路上的开拓者·2019-05-28 21:05
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他