LSF调度系统

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读：上周，袋鼠云数栈全新技术开源规划——DTMO（DTstackMeetupOnline）的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到�
数栈DTinsight·2022-04-20 13:00

技术抉择：阿里云13年后重构全部核心调度系统

简介：在阿里云十三年的发展历史上，重新设计调度系统算得上是一个重要的技术抉择。在阿里云十三年的发展历史上，重新设计调度系统算得上是一个重要的技术抉择。云计算是一个庞大的技术工程。
·2022-04-20 11:39

java开源调度如何给xxljob加k8s执行器

XXL-JOB-ADMIN模块新增执行器2、引入K8S-CLIENT-JAVA，使用SERVICEACCOUNT机制与K8S交互3、编写代理执行器调度代码结语前言xxljob是采用java开发的开源的任务调度系统
·2022-04-15 14:29

TASKCTL项目工程与作业类型定义

应用工程：应用工程简称工程，从业务系统角度去划分调度系统。每个应用工程管理所属的流程、定时器、变量等调度元信息。还可分配平台节点权限用于限定平台网络架构的系统范围。
·2022-04-11 11:58

极速开发扩充 Apache DolphinScheduler Task 类型 | 实用教程

背景简介目前在大数据生态中，调度系统是不可或缺的一个重要组件。ApacheDolphinScheduler作为一个顶级的Apache项目，其稳定性和易用性也可以说是名列前茅的。
·2022-03-30 16:27

【干货-K8S系列】Kubernetes调度核心解密:从Google Borg说起

容器调度系统负责选择在最合适的主机上启动容器，并且将它们关联起来。它必须能够自动的处理容器故障并且能够在更多的主机上自动启动更多的容器来应对更多的应用访问。
weixin_33775582·2022-03-25 09:33

Hdfs学习（一）

核心组件：HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）1.2特点1）优势高容错性：HDFS多副本分布式存储，当一个副本丢失了，能够自动恢复，所以HDFS
·2022-03-24 14:03

Java之路--Javase篇 银行系统模拟

（黑马程序员）银行调度系统设计需求：模拟现实银行业务调度系统逻辑：1．银行内有个业务窗口，1-4为普通窗口，5号为快速窗口，6号为VIP窗口，2．有三种对应需求的客户：VIP，普通，快速（交水电话费）；
weixin_34104341·2022-03-23 08:48

生信理论及操作

bsub-qinteractive-Isbashforiin*.lsf;dobsubtest_re_com.faseqkitseqb73.fa-w0>b73_out.faRNA-seq【系列】转录组入门
豆沙了·2022-03-22 19:37

Hadoop简介和体系架构

1Hadoop由来2．1．2Hadoop发展历程2．1．3Hadoop生态系统2．2Hadoop的体系架构2．2．1分布式文件系统HDFS2．2．2分布式计算框架MapReduce2．2．3分布式资源调度系统
G不来也不去·2022-03-18 07:46

杭州思科对 Apache DolphinScheduler Alert 模块的改造

PROFILE李庆旺杭州思科大数据工程师，主要负责Spark、调度系统等大数据方向开发。我们在使用原有的调度平台处理大数据任务时，在操作上多有不便。比如一个对数据进行处理聚合分析的任务，首先由
·2022-03-16 20:35

分析xxljob登入功能集成OIDC的统一认证

目录前言XXL-JOB自身认证功能分析OIDC的认证流程XXL-JOB集成OIDC后的认证流程XXL-JOB登录模块重新设计编码环节前言xxl-job是一款java开发的、开源的分布式任务调度系统，自带了登录认证功能
·2022-03-05 13:01

我在美团的八年

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜来源丨美团工云鹏昨天我刷到美团员工云鹏一篇技术好文，作者云鹏2014年加入美团，先后参与了美团酒店供应链体系、分布式调度系统的建设。
王知无(import_bigdata)·2022-03-05 10:53

我在美团这八年！！

前几天，偶然刷到了一篇美团技术团队的文章，作者云鹏2014年加入美团，先后参与了美团酒店供应链体系、分布式调度系统的建设。从一枚职场小白逐步成长为一名技术Leader。
菜鸟学Python·2022-03-05 10:19

云原生与微服务

动态管理：通过集中式的编排调度系统来动态的管理和调度。所以，到底什么是云原
菜鸟级小白·2022-03-02 17:28

Spark学习记录

2）Standalone：是Spark自身的一个调度系统。对集群性能要求非常高时用。国内很少使用。3）Yarn：采用Hadoop的资源调度器。国内大量使用。4）Mesos：国内很少使用。Sp
SpringStrong·2022-03-01 17:00

节省 58% IT 成本，调用函数计算超过 30 亿次，石墨文档的 Serverless 实践

简介：石墨文档使用函数计算搭建文档实时编辑服务，由函数计算的智能调度系统自动分配执行环境，处理多用户同时编写文档带来的峰值负载，函数计算的动态扩缩容能力保障应用的可靠运行。
·2022-03-01 11:48

[调度]azkaban~hadoop工作流引擎

第三方的调度系统。自行开发Hadoop应用调度系统。对于前两种，使用Crontab和Quartz是基本可以满足业务需求，但有其弊
葡萄喃喃呓语·2022-02-21 18:43

美团集群调度系统的云原生实践

本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践，阐述了美团在落地以Kubernetes为代表的云原生技术时，比较关心的问题、挑战以及对应的推进策略。
·2022-02-21 17:42

分布式定时任务调度系统技术选型

来自：CSDN，作者：guyue35链接：https://blog.csdn.net/guyue35/article/details/848834081.什么是分布式定时任务2.常见开源方案elastic-jobxxl-jobquartzSaturnopencronantares3.比较1、什么是分布式定时任务把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务
夜空_2cd3·2022-02-21 09:31

7月25日 星期一

工作日志所收任务对上周白皮书中出现的问题进行修改参与“水污染防治计划实施调度系统”周会，并根据会议内容，修改PRD文档准备汇报近期情况完成情况完成修改3份白皮书文档重新认识“水污染防治计划实施调度系统”
钱佳辰_Hangzhou·2022-02-21 03:01

Dubbo-go 优雅上下线设计与实践

简介：在分布式场景下，微服务进程都是以容器的形式存在，在容器调度系统例如k8s的支持下运行，容器组Pod是K8S的最小资源单位。
·2022-02-18 11:02

大数据生态圈技术整理

组件类型(本文还未写完)文件系统HDFS调度系统OozieAzkabanAirflow管理系统ZookeeperYARNAmbariClouderaManagerHue数据存储HDFSHBaseCarbonDataAccumulo
非常强壮的蚂蚁·2022-02-18 02:41

v8

的基础环境堆空间树状存储结构存储对象存储闭包函数引用的原生类型栈空间先进后出存储原生类型全局执行上下文初始化的this全局作用域全局对象宿主环境宿主类型浏览器NodeJs其它宿主内置内置函数内置对象Chrome.windowNode.global事件循环系统消息列表任务调度系统
·2022-02-15 11:48

基于SSM框架的公交车调度管理系统

项目前端采用Bootstrap框架，使用Ajax进行数据请求，json进行数据回传响应，后端使用ssm封装实现开发，代码易读后端框架:SSM(Spring+SpringMVC+Mybatis)功能介绍公交调度系统采用
彭祥.·2022-02-14 16:59

分布式定时任务调度系统技术选型

来自：CSDN，作者：guyue35链接：https://blog.csdn.net/guyue35/article/details/848834081.什么是分布式定时任务2.常见开源方案elastic-jobxxl-jobquartzSaturnopencronantares3.比较1、什么是分布式定时任务把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务
码农小光·2022-02-14 05:58

ibm-lsf 安装

1.下载lsf10.1_lsfinstall_linux_x86_64.tar.Z2.解压安装包tar-zxflsf10.1_lsfinstall_linux_x86_64.tar.Zlsf10.1_lsfinstall
Orange_____·2022-02-13 16:18

8月28日 星期天

工作日志所收任务提交“水污染行动调度系统_统计分析”原型并寻找其中问题完成情况问题不少，原型有很多地方需要修改存在问题对于统计分析中，各数据的信息来源需要核实确认，避免出现想法可行，实际功能无支撑的情况对于页面之间的逻辑关系
钱佳辰_Hangzhou·2022-02-12 12:51

JEESZ 分布式架构平台介绍

1.项目核心代码结构截图提醒：开发人员在开发的时候可以将自己的业务REST服务化或者Dubbo服务化2.项目依赖介绍2.1.后台管理系统、Rest服务系统、Scheculer定时调度系统依赖如下图：2.2
IT达人Q·2022-02-05 21:24

分布式任务调度系统XXL-Job快速入门体验

背景为了能够更加灵活的控制定时任务，最近在项目中开始推行定时任务调度系统，跟不少大厂朋友交流之后，发现XXL-Job市场还是挺广的，功能强大，定为首选。
·2022-01-28 16:48

任务调度系统系列之Airflow

这是任务调度系统调研系列文章的开篇，后续会陆续调研Oozie，Azkaban，DolphinScheduler等系统。
·2022-01-22 00:11

美团无人机配送云端Java/C++工程师招聘

不止是配送无人机本身，美团希望建设综合自主飞行无人机、自动化机场及无人机调度系统为一体的城市低空物流网络。通过飞行器、导航控制、AI算法、航线管理、通讯系统五
·2022-01-21 17:20

利用 Amazon Batch 来为容器化负载调用海量云端算力

Airflow是一种可扩展的分布式工作流调度系统，允许将工作流建模为有向无环图（DAGs），通过这种方式简化数据管道中各个处理步骤的创建、编排和监控。
·2022-01-14 15:12

使用Amazon CDK部署基于Amazon Fargate的高可用、易扩展的Airflow集群

Airflow是一种可扩展的分布式工作流调度系统，允许将工作流建模为有向无环图（DAGs），通过这种方式简化数据管道中各个处理步骤的创建、编排和监控。
·2022-01-14 12:55

Apache DolphinScheduler 获评 2021 OSC 最受欢迎项目，白鲸开源获优秀中国开源原生创企奖项！

在广大用户和开源社区的喜爱和支持下，云原生分布式大数据调度系统ApacheDolphinScheduler获评2021年度「OSCHINA人气指数Top50开源项目」和「最受欢迎项目」，其商业运营公司白鲸开源科技也凭借出众的开源运营表现
·2022-01-07 15:14

Apache Oozie学习笔记(一)

作者：あおざき来源：恒生LIGHT云社区1.Oozie概述Oozie是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。
·2022-01-06 10:39

TKE 用户故事 | 作业帮 Kubernetes 原生调度器优化实践

简介调度系统的本质是为计算服务/任务匹配合适的资源，使其能够稳定高效地运行，以及在此的基础上进一步提高资源使用密度，而影响应用运行的因素非常多，比如CPU、内存、IO、差异化的资源设备等等一系列因素都会影响应用运行的表现
·2022-01-05 17:44

OPPO大数据离线任务调度系统OFLOW

1离线调度系统在整个大数据体系中，在原始数据被采集之后，需要使用各种逻辑进行整合和计算之后才能输出实际有效的数据，才能最终用于商业目的，实现大数据的价值。
·2021-12-23 11:31

100行代码实现React核心调度功能

想必大家都知道React有一套基于Fiber架构的调度系统。
·2021-12-19 13:33

100行代码实现React核心调度功能

想必大家都知道React有一套基于Fiber架构的调度系统。
·2021-12-19 13:33

php项目接入xxl-job调度系统的示例详解

目录1.部署xxl-job调度中心2.整合xxl-job调度系统2.1创建执行器项目2.2新增执行器2.3部署执行器项目2.4新增GLUE模式任务2.5编写php代码片段1.部署xxl-job调度中心此处略
·2021-12-19 13:33

Hdfs学习（一）

核心组件：HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）1.2特点1）优势高容错性：HDFS多副本分布式存储，当一个副本丢失了，能够自动恢复，所以HDFS
·2021-12-01 17:27

第十四章 kubernetes 核心技术-调度器

容器调度系统负责选择在最合适的主机上启动容器，并且将它们关联起来。它必须能够自动的处理容器故障并且能够在更多的主机上自动启动更多的容器来应对更多的应用访问。
年少纵马且长歌·2021-11-26 13:00

统一调度系统规模化落地，全面支撑阿里巴巴双 11 全业务

简介：今年双11首次规模化亮相的统一调度，通过一套调度协议、一套系统架构，统一管理底层的计算、存储、网络资源，超大规模、高效率、自动化的资源弹性，实现了业界新的突破。在离线混部、离在线混部、新的快上快下技术，减少数万台服务器采购，带来数亿计的资源成本优化和大促效率提升。01背景统一调度项目1.0成功支持2021年双11大促，统一调度方案实现了从容器调度到快上快下全流程的全面升级和优化。项目组100
·2021-11-23 17:12

Hadoop 入门笔记—核心组件 YARN

作者：幻好来源：恒生LIGHT云社区基本概述ApacheYARN(YetAnotherResourceNegotiator)是Hadoop中的资源管理和作业调度系统，在Hadoop2.x时才被引入。
·2021-11-22 09:35

统一调度系统规模化落地，全面支撑阿里巴巴双 11 全业务

简介：今年双11首次规模化亮相的统一调度，通过一套调度协议、一套系统架构，统一管理底层的计算、存储、网络资源，超大规模、高效率、自动化的资源弹性，实现了业界新的突破。在离线混部、离在线混部、新的快上快下技术，减少数万台服务器采购，带来数亿计的资源成本优化和大促效率提升。01背景统一调度项目1.0成功支持2021年双11大促，统一调度方案实现了从容器调度到快上快下全流程的全面升级和优化。项目组100
·2021-11-19 11:04

大数据之路—— 离线数据开发

数据开发平台4.1.1统一计算平台@4.1.2统一开发平台4.2任务调度4.2.1核心设计模型4.2.2任务状态机模型@4.2.3工作状态机模型4.2.4调度引擎工作原理4.2.5执行引擎逻辑架构图@4.2.6调度系统的特点数据存储及计算
jialun0116·2021-11-11 19:16

一款你不得不了解的轻量级分布式任务调度系统

CronMan分布式任务调度系统github地址：CronMan，欢迎star欢迎朋友们站内私信交流~简介CronMan是一款轻量级的分布式任务调度系统。
overlambda·2021-11-06 16:06

工作流任务调度系统：Apache DolphinScheduler

官网|GitHub目录1概述1.1背景1.2特点2系统架构2.1名词解释2.2架构3部署3.1后端部署3.1.1基础软件安装3.1.2创建部署用户3.1.3下载并解压3.1.4针对escheduler用户ssh免密配置3.1.5数据库初始化3.1.6修改部署目录权限及运行参数3.1.7执行脚本一键部署3.1.8后端服务进程的说明3.1.9dolphinscheduler后端服务启停3.2前端部署3
达微·2021-10-22 15:35

动态配置的 Schedule 设计

你可以使用Linux的Crontab启动应用程序进行处理，或者直接使用Spring的Schedule对任务进行调度，还可以使用分布式调度系统，如果xxl-job等。相信你已经轻车熟路、习以为常。
·2021-10-12 17:03
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他