LSF调度系统

调度系统设计精要

图1-调度系统设计精要本文会介绍调度系统的常见
阿里巴巴云原生·2020-02-12 19:53

调度系统设计精要

图1-调度系统设计精要本文会介绍调度系统的常见
阿里巴巴云原生·2020-02-12 11:00

调度系统设计精要

图1-调度系统设计精要本文会介绍调度系统的常见
阿里系统软件技术·2020-02-12 10:52

Airflow Operator 开发

Airflow是Airbnb公司开源的任务调度系统,通过使用Python开发DAG,非常方便的调度计算任务.介绍一下在Airflow提供的Operator不满足需求的场景下,如何自己开发Operator
haitaoyao·2020-02-12 09:37

保障Hadoop集群间shell脚本依赖关系的办法

问题描述做数据开发的同学都需要在Hadoop集群客户端上通过crontab配置shell脚本的调度（有调度系统的另说啦），这些脚本可能在一台机器上，也可能不是，相互之间有数据上的依赖关系，通常我们会根据各个脚本的运行时长
那只媛·2020-02-12 08:21

7月21日 星期五

工作日志所收任务更新“上海水污染防治计划实施调度系统—需求文档”完成并上传“白皮书”优化参与公司“研发体系产品交流培训会”完成情况未更新需求文档完成修改并已全提交白皮书旁听培训会，开开心心进去，一脸懵逼出来存在问题这里说的不是个人问题
钱佳辰_Hangzhou·2020-02-11 21:57

基因大数据开发工程师/JAVA后台开发工程师

一、工作职责：1.为精准健康行业构建快速、准确、可靠的综合数据服务2.负责公司核心后端的研发，包括：超大规模基因数据平台的设计开发高度灵活性的效能优化设计，包括智能化、弹性化的调度系统等设计开发高度可靠性的分布式集群架构设计开发二
小伙伴们都可以接受·2020-02-10 22:44

深入分析JAVA WEB技术内幕(二)

channel可比喻为汽车或者高铁，selector则是车站的调度系统，负责控制每个车的运行状态。
匆匆小·2020-02-10 01:27

热烈祝贺地下第四届北京国际管线展览会圆满成功

展会以以“新起点、新平台、推动行业发展”为主题，华天成作为专业音视频传输设备制造厂商，携地下综合管廊紧急电话和广播调度系统参展圆满结束，现场人潮汹涌，热闹非凡。
华天成科技·2020-02-09 17:19

让你彻底理解系统，系统思维和复杂系统的设计（一）

前言：这个世界有些系统是由人类构建的，比如手机APP，国家的金融系统，半导体设备，春运高铁调度系统等，有些是经过社会发展或自然演化而形成的，比如大脑的结构，黑猩猩的部落种群系统等，倘若没有一套分析它们的的原则
耸肩的阿特拉斯·2020-02-09 11:28

【hadoop】概念

Hadoop的核心组件是HDFS：分布式文件系统Mapreduce：分布式运算编程框架YARN：运算资源调度系统做个形象的比喻：美食是就是大数据，厨房就是hadoop，灶台
嘻洋洋·2020-02-08 05:34

LSF Basis

LSF作业调度系统用户使用常见问题调度系统对用户使用资源的限制由于目前超算中心的建设规模远远无法满足中心用户的计算需求，而同时又是向校内师生提供免费的计算服务，无法避免的出现了使用浪费的现象。
HikeForWELL·2020-02-08 00:21

王欣：在“区块链世界”中重生

他表示：“区块链理想国，对我，对快播，这都是一次脱胎换骨的重生，云歌致力于开发人工智能调度系统，结合区块链技术，让每个独立的个体都能找到自我价值的实现。”王欣的潜力是非常惊人的。从快播高速发展到
一字见君·2020-02-07 22:54

一文搞懂springboot定时任务

Introduction在springboot中自带了一个轻量级的调度系统。
木白的菜园·2020-01-31 21:00

自动驾驶平台Apollo 5.5阅读手记：Cyber RT中的任务调度

CyberRT的一大特点在于其调度系统。因为自动驾驶与人身安全强相关，因此很强调实时性。传统的机器人系统并不为此设计，所以很难满足实时性要求。
ariesjzj·2020-01-27 11:11

网站加速之CDN、SCDN、DCDN区别在哪？如何选择？

2、SCDNSCDN（SecureContentDeliveryNetwork），即拥有安全防护能力的CDN服务，提供稳定加速的同时，智能预判攻击行为，通过智能的调度系统将DDoS攻击
mdxy-dxy·2020-01-23 21:25

290家公司都在用的任务调度系统，还在Github上开源了

今天，和大家介绍一个轻量级分布式任务调度平台，开发迅速、学习简单、轻量级、易扩展，290家公司都在用，它就是XXL-JOB，包括比较知名的大众点评，京东，优信二手车，北京尚德，360金融(360)，联想集团(联想)，易信(网易)等等....目前，xxl-job已经在Github上已经标星12.1K，Fork有5.2K（Github地址：https://github.com/xuxueli/xxl-
·2020-01-17 00:00

Asp.Net Core下的开源任务调度平台ScheduleMaster—快速上手

概述ScheduleMaster是一个开源的分布式任务调度系统，它基于Asp.NetCore平台构建，支持跨平台多节点部署运行。
balahoho·2020-01-15 17:00

图解 kubernetes scheduler 架构设计系列-初步了解

资源调度基础scheudler是kubernetes中的核心组件，负责为用户声明的pod资源选择合适的node,同时保证集群资源的最大化利用，这里先介绍下资源调度系统设计里面的一些基础概念基础任务资源调度基础的任务资源调度通常包括三部分
8小时·2020-01-09 17:00

Borg/Mesos/Yarn三大主流资源管理与调度系统对比

转载来自于：Borg/Mesos/Yarn三大主流资源管理与调度系统对比0.前言Mesos（Twitter）、YARN（apache）和Borg(google)三个资源管理与调度系统可以说是目前资源管理和调度系统的先导者
静月*·2020-01-09 17:50

Asp.Net Core下的开源任务调度平台ScheduleMaster

从何说起2017年初的时候，由于当时项目需要做了一个乞丐版定时调度系统，那时候只在单机上实现了核心的调度功能。做这个玩意之前也调研了社区中开源的解决方案，找了几个实地部署试跑了一下，其实都很不错。
balahoho·2020-01-09 16:00

吴裕雄--天生自然HADOOP操作实验学习笔记：分布式资源调度系统yarn的安装

实验目的复习配置hadoop初始化环境复习配置hdfs的配置文件学会配置hadoop的配置文件了解yarn的原理实验原理1.yarn是什么前面安装好了hdfs文件系统，我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储，接下来的问题就是根据实际的业务需求进行计算。目前大数据的计算业务主要有离线计算、实时计算、交互式查询、机器学习、图计算。例如storm是处理实时计算的，hadoop的m
吴裕雄·2020-01-08 00:00

数据平台工具系统之调度系统

数据平台工具系统概述谈到大数据平台，在当今大数据备受关注的时代，大家首先想到会是HDFS、YARN、Hbase、Spark、Hive之类著名开源组件，当然目前基于开源解决方案的大数据平台建设一般也是围绕着它们作为底层支持的，我司也是采用这种开源方案，那么是否我们将这些组件配置好参数搭建run起来，就可以称之为我们已经有了大数据平台了呢？这个回答当然是否定的。目前从业界来看，如果是基于PasS层做数
孙牧原·2020-01-07 19:34

深度解析 | 基于DAG的分布式任务调度平台：Maat

Maat是一个基于开源项目Airflow的流程调度系统，它支持用户自定义地组装流程节点，流程可以在用户指定的时间触发（支持crontab格式），或由用户手动触发。
阿里云云栖号·2020-01-07 05:29

结尾

车辆硬件的提档升级，让乘车环境更加舒适；GPS智能调度系统的投入使用让公交运力更加科学分配；今年强力推出的“襄阳出行”app让乘客的选择多样化。
陋室鳴·2020-01-07 02:51

8月22日 星期一

工作日志所收任务“科普页面”原型修改尝试设计“水污染行动调度系统_统计分析”功能设计完成情况完成“科普页面”迷糊该设计哪些功能存在问题在设计功能时候，脑子里想着界面交互，然后思路就被限制死了正常顺序个人心得把自己当做用户
钱佳辰_Hangzhou·2020-01-07 01:30

运小韩: AIOps时代，你准备好了吗？

作者简介运小韩百度高级研发工程师负责百度运维部分布式任务调度系统、智能运维开发框架及可用性相关工作，在分布式系统、AIOps、可用性方向有广泛经验。
AIOPstack·2020-01-05 21:12

(16)异步消息任务机制(Reactor部分)-【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2020-01-05 05:42

(8)连接管理及限制(Reactor部分)【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2020-01-05 02:58

Spring Cloud Stream 使用延迟消息实现定时任务（RabbitMQ）

应用场景我们在使用一些开源调度系统（比如：elastic-job等）的时候，对于任务的执行时间通常都是有规律性的，可能是每隔半小时执行一次，或者每天凌晨一点执行一次。
程序猿DD·2020-01-04 23:02

(14)数据传输协议protocol buffer(Reactor部分)-【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2020-01-04 06:44

PDA在公交车辆管理中的作用

随着物联网的发展，智能交通孕育而生，公交车辆调度系统作为智能交通系统的重要组成部分，采用先进的信息通讯技术，实时采集和分析道路交通的动、静态信息，并根据分析结果准确安排车辆的出行时间和行驶路线，充分利用有限的交通资源
东大集成·2020-01-03 23:07

python | 定时异步调度系统的实现

说起异步调度系统，大家肯定第一时间想到celery，但是celery是一个重量级的模块，当我们只想异步调度，没有其他需求的时候，完全可以自己实现一个异步调度系统。那么如何实现自己的异步调度系统呢？
君子月满楼·2020-01-03 19:07

网易视频云：分布式视频处理集群中的作业调度

异步作业调度系统（代号：Razer）为网易视频云提供底层任务调度和资源管理服务，对非实时作业如视频转码、视频合成、文件转换等进行分发，并按照用户限额原则、资源最大利用原则对底层集群资源进行支配和规划。
碎心石7·2020-01-03 19:47

8、Yarn资源调度系统架构与原理分析

@[TOC]1、Yarn介绍   ApacheHadoopYARN是apacheSoftwareFoundationHadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式，不单单是MapReduce模式。Hadoop2.0的YARN架构提供了更多的处理框架，比如spark框架，不再强迫使用MapReduce框架。   从ha
victor19901114·2020-01-03 10:22

day06.Hadoop快速入门&云服务三种模式IaaS，PaaS和SaaS【大数据教程】

旗下的一套开源软件平台2).HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3).HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统
Java帮帮·2020-01-03 03:05

(18)Lars-dns简介(Dns部分)-【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2020-01-02 17:40

Fuxi2.0—飞天大数据平台调度系统全面升级，首次亮相2019双十一

伏羲（Fuxi）是十年前创立飞天平台时的三大服务之一（分布式存储Pangu，分布式计算ODPS，分布式调度Fuxi），当时的设计初衷是为了解决大规模分布式资源的调度问题（本质上是多目标的最优匹配问题）。随着阿里经济体和阿里云业务需求（尤其是双十一）的不断丰富，伏羲的内涵也不断扩大，从单一的资源调度器（对标开源系统的YARN）扩展成大数据的核心调度服务，覆盖数据调度（DataPlacement）、资
zhaowei121·2020-01-02 15:00

(33)负载均衡上报Host主机信息API(LoadBalanceAgent部分)-【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2020-01-02 02:32

P1.6微间距LED显示屏助力滨州数字化城市建设

能够很好地与滨城区执法局监控系统、指挥调度系统、网络信
贝壳189·2020-01-01 16:15

分布式任务调度系统 xxl-job

xxl-job开源项目下载:https://github.com/xuxueli/xxl-job/tree/master官网文档地址：http://www.xuxueli.com/xxl-job/#/官网文档写的很详细，这里就记录一下我本人安装和配置xxl-job所发生的错误错误记录一：调度结果是失败。错误提示无法找到执行器。做法：tomcat没有跑两个项目需要跑admin和example错误记录
yljava·2020-01-01 13:51

(1)Lars项目概述(Reactor部分)【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2020-01-01 13:09

3年超长待机gps定位器厂家有哪些？

首先看看3年超长待机gps定位器它的典型应用范围A、汽车租赁公司、户外机械设备的特种防盗系统B、金融保险行业的定位追踪系统C、各种行业车辆的指挥、调度系统D、大型和中型工程车辆装置中使用E、物流货物追踪使用再来了解下它的产品外
从南忘北·2019-12-31 21:48

猿学－延迟任务调度系统—技术选型与设计

时间轮实现时间轮是一种环形的数据结构，分成多个格。每个格代表一段时间，时间越短，精度越高。每个格上用一个链表保存在该格的过期任务。指针随着时间一格一格转动，并执行相应格子中的到期任务。名词解释：时间格：环形结构中用于存放延迟任务的区块指针：指向当前操作的时间格，代表当前时间格数：时间轮中时间格的个数间隔：每个时间格之间的间隔，代表时间轮能达到的精度总间隔：当前时间轮总间隔，等于格数*间隔，代表时间
猿学·2019-12-31 20:26

关于阿里云CDN的一些了解（上篇）

将源内容发布到边缘节点，配合精准的调度系统；将用户的请求分配至最适合他的节点，使用户可以以最快的速度取得他所需的内容，有效解决Internet网络拥塞状况，提高用户访
云计算小百科·2019-12-31 06:45

(15)QPS性能测试(Reactor部分)-【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2019-12-31 02:45

(21)Route结构的定义(Dns部分)-【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2019-12-30 01:34

(7)客户端模型(Reactor部分)【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】Lars源代码https://github.com/aceld/Lars【Lars系统概述】第1章-概述第2章-项目目录构建【Lars系统之Reactor模型服务器框架模块】第1章-项目结构与V0.1雏形第2章-内存管理与Buffer封装第3章-事件触发EventLoop第4章-链接与消息封装第5章-Client客户端模型第6章-连接管理及限制第7章-消息业务路由分发机制第8章
刘丹冰Aceld·2019-12-29 17:54

灵活强大的字符串替换工具类（时间变量替换）

1.为什么要写时间变量项目中经常会用到写时间变量的情况，特别是调度系统中，运维的同学应该深有体会。如定时调度的sql，周期生成的文件等等，其中时间都只能是变量，执行时替换为数据日期。
CJLi·2019-12-29 04:59

Hadoop学习之路(8)Yarn资源调度系统详解

文章目录1、Yarn介绍2、Yarn架构2.1、ResourceManager2.2、ApplicationMaster2.3、NodeManager2.4、Container2.5、ResourceRequest及Container2.6、JobHistoryServer2.7、TimelineServer3、yarn应用运行原理3.1、yarn应用提交过程3.2、mapreduceonyarn
数据科学实践者·2019-12-28 18:00
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他