分布式任务调度

分布式定时任务-xxljob

怎么保证定时任务不被重复执行分布式定时任务解决方案使用zookeeper实现分布式锁缺点(需要创建临时节点、和事件通知不易于扩展)使用配置文件做一个开关缺点发布后，需要重启数据库唯一约束，缺点效率低使用分布式任务调度平台
xiaobo5264063·2020-07-09 01:50

XXL——JOB的方法：

XXL：XXL概述：Quartz的不足：XXL使用:XXL源码分析：----------------------------------------概述XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速
thoughtCodes·2020-07-09 01:00

深度解析 | 基于DAG的分布式任务调度平台：Maat

阿里妹导读：搜索中台建设过程中，单个系统不再能满足复杂业务的需求，更多时候需要多个子系统互相协作，异步地按照指定流程完成一项特定的功能。例如一个应用的上线流程依次需要调用配置同步模块、监控模块、资源更新模块、冒烟模块、引擎创建模块，流程的运行中又有分支判断、上下文传递、失败重试等需求。基于这种需求，Maat将各类流程化的任务集中管理，各个任务节点以分布式的方式运行在不同容器内，保证流程高效稳定地运
mlj365·2020-07-08 19:45

zookeeper实现分布式任务调度系统

2019独角兽企业重金招聘Python工程师标准>>>目前项目采用nginx+tomcat来做负载均衡，缺少一个分布式任务调度配置。任务调度在整个系统中是单点故障。
weixin_33937499·2020-07-08 16:49

Easy Task —— 强大而简单的分布式任务调度平台

EasyTask概述github：https://github.com/cehome-com/easy-task简单易用的分布式任务调度平台。
weixin_33826609·2020-07-08 15:45

[转载]Gearman(分布式任务调度框架) 简介

http://www.kuqin.com/system-analysis/20121209/333922.html看到先记下来。回头试验下在@hacker101的围脖上看到了这个框架，看了下官网，觉得很适合爬虫、多进程并行处理等任务。看看官方提供的几个例子：MassPDFquoteemailSynchronousImageResizeShard-Query:aPHPprojectwhichuses
weixin_30918633·2020-07-08 15:53

分布式任务调度系统xxl-job搭建(基于docker)

一、简介XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
weixin_30815469·2020-07-08 14:39

基于nginx+xxl-job+springboot高可用分布式任务调度系统

技术、原理讲解：《分布式任务调度平台XXL-JOB--源码解析一:项目介绍》《分布式任务调度平台XXL-JOB--源码解析二:基于docker搭建admin调度中心和executor执行器运行部署环境》
weixin_30691871·2020-07-08 14:40

分布式任务调度平台xxl-job集成springboot使用步骤

为了能便于统一管理定时任务，并灵活设置任务的执行时间、启动/停止，于是引入了xxl-job框架使用xxl-job-2.2.0.release版本，点这里看xxl-job官网文档主要是在调度中心页面（地址：http://192.168.1.61:9080/xxl-job-admin/）集中配置执行器（执行任务的微服务）及任务下面用cmis-enroll举例执行器配置1.导入maven依赖（已放到项目
程序猿在京·2020-07-08 13:43

分布式任务调度平台XXL-JOB

一：简介1.1概述XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
vbirdbest·2020-07-08 11:47

MongoDB 数据同步到 Elasitcsearch 实战分享

如何快速将保存在MongoDB中的海量数据同步到Elasticshearch中是一件非常具有挑战意义的事情，本话题分享基于分布式任务调度引擎、多线程高并发技术快速将保存在MongoDB中的海量数据同步到
GitChat的博客·2020-07-08 11:36

PowerJob 的故事开始：“玩够了，才有精力写开源啊！”

经过几番的努力和沟通，终于邀请到分布式任务调度与计算框架：PowerJob的作者Salieri，加入HG的开源讲解系列，开启了他的PowerJob讲解系列。
削微寒的程序员之路·2020-07-08 08:00

PowerJob 的故事开始：“玩够了，才有精力写开源啊！”

经过几番的努力和沟通，终于邀请到分布式任务调度与计算框架：PowerJob的作者Salieri，加入HG的开源讲解系列，开启了他的PowerJob讲解系列。
削微寒·2020-07-08 08:00

XXL-JOB 分布式任务调度平台

XXL开源社区一、简介1.1概述XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
kwin_zhang·2020-07-08 06:11

分布式任务调度

什么是定时任务？指定时间去执行任务Java实现定时任务方式1.ThreadpublicclassDemo01{staticlongcount=0;publicstaticvoidmain(String[]args){Runnablerunnable=newRunnable(){@Overridepublicvoidrun(){while(true){try{Thread.sleep(1000);c
JavaAlliance·2020-07-08 00:56

分布式定时job-xxljob的详解、使用和创建（附带哔哩哔哩（bilibili）视频）

一、简介1.1概述XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
我是谁？我从哪来？到哪去？·2020-07-07 23:45

手把手带你构建一个简单的springCloud分布式任务调度组件

分布式任务调度和单体应用的任务调度的区别在于，通过将任务集中统一管理，无需每一个微服务都维护自己的任务。下面通过一个简单的示例来看看分布式任务调度的构建流程。主要分为两大
Sun_yhw·2020-07-07 23:27

1.xxl-job分布式任务调度平台

官网地址：《分布式任务调度平台XXL-JOB》《分布式任务调度平台XXL-JOB》一、简介1.1概述XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
云巅起手撼山阿·2020-07-07 20:31

springboot整合分布式任务调度xxl-job

此demo主要演示了SpringBoot如何集成XXL-JOB实现分布式定时任务，并提供绕过xxl-job-admin对定时任务的管理的方法，包括定时任务列表，触发器列表，新增定时任务，删除定时任务，停止定时任务，启动定时任务，修改定时任务，手动触发定时任务。xxl-job-admin调度中心克隆调度中心代码$gitclonehttps://github.com/xuxueli/xxl-job.g
haoxiaoyong1014·2020-07-07 09:53

五分钟体验分布式调度框架xxl-job

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
方志朋·2020-07-07 08:07

elastic-job源码浅析(架构)

两者均不能很好地支持高并发量的分布式任务调度，即使是号称拥有集群能力的quartZ也仅仅保证了job的高可用，单一时刻只能有一台机器执行具体的调度任务。
飞盏·2020-07-06 19:43

Elasticsearch升级之River替代方案(分布式任务调度与动态解析日志)

近期在项目中遇到一个问题，解决此问题，需要改变架构方案，以下为方案具体内容目录1.痛点2.如何解决3.替代river技术方案调研4.saturn运行原理5.动态解析方案6.saturn结合spring-boot测试实例7.遇到的问题及解决8.环境部署最低要求9.补充测试executor扩容、缩容/宕机、重启恢复场景：1.痛点前置：通过river消费kafka中的日志数据，不同的topic中的数据，
web小筑·2020-07-06 18:44

分布式任务调度平台XXL-JOB

IntroductionXXL-JOBisalightweightdistributedtaskschedulingframework.It'scoredesigngoalistodevelopquicklyandlearnsimple,lightweight,andeasytoexpand.Now,it'salreadyopensource,andmanycompaniesuseitinprod
武林是大腿·2020-07-06 17:40

浅谈分布式任务调度框架

1、前言上一篇文章谈了单机的定时任务解决方案，只能在单个JVM进程中使用；而我们的现在基本上是分布式场景，需要一套在分布式环境下高性能、高可用、可扩展的分布式任务调度框架；是否将之前的单机解决方案部署到分布式就可以
hitzbb·2020-07-06 16:31

Celery学习笔记----趟一下 celery 的坑

Celery是一个用Python开发的异步的分布式任务调度模块。
西山枫叶·2020-07-06 06:59

赫拉(hera)分布式任务调度系统之架构，基本功能(一)

文章目录为数据平台打造的任务调度系统全部文章前言架构设计目标支持任务的定时调度、依赖调度、手动调度、手动恢复支持丰富的任务类型：shell,hive,python,spark-sql,java可视化的任务DAG图展示，任务的执行严格按照任务的依赖关系执行&某个任务的上、下游执行状况查看，通过任务依赖图可以清楚的判断当前任务为何还未执行，删除该任务会影响那些任务。支持上传文件到hdfs，支持使用hd
甄情·2020-07-05 13:52

2017年3月笔记

分布式任务调度平台(DistributedJobSchedulePlatform)https://github.com/ihaolin/antaresReact从入门到精通系列之(11)组合VS继承https
dengzi2030·2020-07-04 14:38

分布式定时任务调度框架实践

个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践
JKX_geek·2020-07-04 06:23

分布式任务调度框架 Elastic-Job

Elastic-Job是当当⽹开源的⼀个分布式调度解决⽅案，基于Quartz⼆次开发的。分布式调度：在分布式环境中，任务能够按照指定条件执行。例如：1项目部署在多台服务器上，其中定时任务只能有某一台主机执行，当此主机宕机其他定时任务选举其一执行。2分片执行、多台实例任务执行时，每个任务实例仅负责一部分的数据段任务。如下图假设，每天0:05执行统计一个日志表数据，分片1统计大于50岁的，分片2统计1
咱家阿星·2020-06-30 20:56

记XXL-JOB Integer cannot be cast to com.xxl.rpc.remoting.net.params.XxlRpcResponse

XXL-JOB是一个分布式任务调度平台XXL-JOB文档：https://www.xuxueli.com/xxl-job/问题：java.lang.ClassCastException:java.lang.Integercannotbecasttocom.xxl.rpc.remoting.net.params.XxlRpcResponse
zj420964597·2020-06-30 18:57

quartz的分布式任务调度

1.场景还原在实际的并发量较高的项目中，架构师通常会对服务器进行集群或者对项目架构进行分布式部署；请允许笔者模拟一个场景：某项目构架采用了nginx进行三台应用型服务器的负载均衡，并且每台服务器部署同一套代码，这里显然要对quartz相应的进行集群；假设，该项目中存在一个定时器模块；如果这里不做特殊处理的话，三台应用型服务器会在同一时刻执行相同的定时器三次，这种情况肯定是我们不希望发生的！那么，今
老张家的独苗·2020-06-30 14:11

分布式任务调度平台 XXL-JOB

在朋友那里偶然听说到了XXL-JOB，一个轻量级分布式任务调度平台，之前接触过Quartz，那么这个XXL-JOB的优势又在哪里呢？先看下这个框架的特性以及对比Quartz的优势。
七弦桐·2020-06-30 12:16

分布式任务调度平台XXL-JOB搭建教程

分布式任务调度平台XXL-JOB搭建教程关于分布式任务调度平台XXL-JOB，其实作者许雪里在其发布的中文教程中已经介绍的很清楚了，这里我就不做过多的介绍了，关于其搭建教程，本人依照其文档搭建起来基本上也没遇到啥问题
IT可乐·2020-06-30 09:47

hash命令使用图解

a518958666基于SpringCloud微服务架构广告系统设计与实现系统学习dockerdocker前后端分离实战Docker+Kubernetes(k8s)微服务容器化实战Go语言实战抽奖系统Go语言开发分布式任务调度轻松搞定高性能
mukebb·2020-06-30 08:24

springboot项目整合-分布式任务调度平台-XXL-JOB

分布式任务调度平台-XXL-JOB官网地址：https://www.xuxueli.com/index.html1.下载源代码：https://github.com/xuxueli/xxl-job其中admin
七胜文状元兼参谋将军·2020-06-30 06:03

个人学习系列 - xxl-job的简单搭建

xxl-job简介XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
周兆东·2020-06-30 02:26

分布式任务调度平台XXL-JOB--源码解析五:executor执行器源码解析之初始化工作

executor执行器初始化工作1.1初始化工作这里我们使用xxl-job自带的xxl-job-executor-sample-spring作为本次源码解析的executor执行器端,则executor执行器启动时,Spring容器会初始化XxlJobExecutor,并调用init-method=start()方法.1.2XxlJobExecutor类的start()方法分析该方法内,主要做了四
xiongxianze·2020-06-30 02:10

分布式任务调度平台XXL-JOB--源码解析二:基于docker搭建admin调度中心和executor执行器运行部署环境

一,搭建admin调度中心1.1安装docker运行环境采用yum源安装直接安装:yuminstall-ydocker启动docker:servicedockerstart停止docker:servicedockerstop1.2拉取tomcat和mysql这两个docker镜像这里使用网易公有镜像库,访问:https://c.163yun.com/hub#/m/repository/即可dock
xiongxianze·2020-06-30 02:10

从0实现分布式任务调度系统--etcd基础操作

下载:etcd-v3.3.18-linux-amd64.tar.gz；解压:tar-zxvfetcd-v3.3.18-linux-amd64.tar.gz解压后的情况如下：其中etcd是服务端程序，etcdctl是客户端程序。2.启动etcd服务(后台启动，并监听公网IP，默认只监听localhost)：nohup./etcd--listen-client-urls‘http://0.0.0.0:
尚书左仆射·2020-06-29 22:21

从0实现分布式任务调度系统--MongoDB基础操作

系统环境Centos7，下载并解压mongodb-linux-x86_64-3.0.6.tgz进入解压后的目录，使用mkdir命令新建一个data目录：启动MongoDB服务：nohupbin/mongod--dbpath=./data--bind_ip=0.0.0.0&使用bin/mongo命令连接MongoDB进行测试：下载MongoDBgo语言接口包：https://github.com/g
尚书左仆射·2020-06-29 22:50

从0实现分布式任务调度系统--实现cron表达式定时任务

在Linux下会经常使用cron表达式完成一些定时任务。下面通过git上的一个项目来达到类似的效果。获取资源：https://github.com/gorhill/cronexpr该包一共支持如下7个时间粒度设置，分别是：秒级，分，小时，日期，月份，星期，年份。各个支持的符号说明如下：“*”字符代表所有可能的值。“-”表示指定范围。“,”表示列出枚举值。“/”被用于指定增量。“L”表示last，放
尚书左仆射·2020-06-29 22:50

分布式调度平台 XXL_Job

XXL_Job:是大众点评员工徐雪里于2015年发布的分布式任务调度平台，是一个轻量级分布式任务调度架构，其核心设计目标是开发迅速、学习简单、轻量级、
Jessica-小波·2020-06-29 22:05

xxl-job 基于Quartz 的分布式任务调度平台

介绍XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
Allen716·2020-06-29 20:53

这些NB哄哄的分布式任务调度系统，你用过几个？

今天在开源中国“任务调度系统/框架”网页上找了好几款比较不错的分布式任务调度系统，地址如下：https://www.oschina.net/project/tag/327/task-schedule类别下有非常多的开源项目
weixin_44476888·2020-06-29 13:29

分布式任务调度解决方案-Elastic-Job

任务调度目前存在的问题基于LinuxCrontab的定时任务执行器为例进行介绍。其存在如下问题：无法集中管理任务不能水平扩展无可视化界面操作存在单点故障除了LinuxCrontab，在Java这块的方案还有Quartz，但Quartz缺少分布式并行调度的功能。其问题很明显：当项目是一个单体应用时，基于Quartz开发一个定时任务，可以正常地运行。当项目做了负载，扩充到三个节点时，三个节点上的任务会
yangcun_88·2020-06-29 10:20

分布式任务调度平台XXL-JOB 学习

分布式任务调度平台XXL-JOB：系统组成调度模块（调度中心）：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。
喝醉的咕咕鸟·2020-06-29 09:21

xxl-job源码结构笔记（二）

官方文档：轻量级分布式任务调度平台源码目录介绍-/doc:文档资料-/db:“调度数据库”建表脚本-/xxl-job-admin:调度中心，项目源码-/xxl-job-core:公共Jar依赖-/xxl-job-executor-samples
oayoat·2020-06-29 02:27

xxl-job学习笔记（一）

elastic-job与xxx-job对比：分布式定时任务调度系统技术选型xxx-job：美团点评许雪里：分布式任务调度平台XXL-JOB官方文档：官方文档数据库锁实现Quartz分布式：利用数据库锁实现
oayoat·2020-06-29 02:27

分布式任务调度平台XXL-JOB搭建总结

分布式任务调度平台XXL-JOB搭建总结源码下载地址文档地址源码结构初始化脚本配置调度中心1、修改调度中心配置文件部署调度中心访问调度中心管理界面创建执行器项目添加maven依赖配置执行器载入配置文件创建任务
@龙猫·2020-06-29 01:51

Azkaban、Xxl-Job与Airflow对比分析

2019独角兽企业重金招聘Python工程师标准>>>概述Xxl-Job简述XXL-JOB是一个国内轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
weixin_34255793·2020-06-28 15:28
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他