分布式任务调度

xxl-job轻量级分布式调度框架

简介xxl-job是一个分布式任务调度平台，其核心设计目标是开发迅速，学习简单，轻量级，易扩展。特性简单：支持通过web页面对任务进行crud操作，操作简单，上手迅速。
鸡蛋炒瘦肉·2020-07-16 06:05

基于xxl-job的订单、库存同步分布式任务调度框架TPP_ORDER详解

系统设计背景我公司是一个服饰品牌集团，旗下目前拥有的自己的品牌包括（Ochirly、fiveplus、Trediano、CoverGraden），国际合作品牌包括（misssixty、10cc、waxy），并且一直在跟国际品牌合作，负责代理推广中国的业务。以前电商销售占比还不是特别重的时候，公司主要的销售业绩来自于实体店。后来随着技术的持续发展，出现了各种各样的电商平台，比较大的销售渠道主要是（天
不一样的程序员·2020-07-15 10:39

Java 分布式任务调度平台：PowerJob 快速开始+配置详解

项目地址：https://github.com/KFCFans/PowerJobPowerJob的设计目标为企业级的分布式任务调度平台，即成为公司内部的调度中间件。
削微寒的程序员之路·2020-07-15 08:00

Java 分布式任务调度平台：PowerJob 快速开始+配置详解

项目地址：https://github.com/KFCFans/PowerJobPowerJob的设计目标为企业级的分布式任务调度平台，即成为公司内部的调度中间件。
削微寒·2020-07-15 08:00

xxl-job学习过程

xxl-job分布式任务调度平台XXL-JOB官方文档调度中心cronBean和GLUE执行器遇到的问题java.net.BindException:Addressalreadyinuse:bindBean
weixin_41638438·2020-07-15 06:21

分布式任务调度平台XXL-JOB的Oracle版本搭建与学习笔记

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
码代码的乔木·2020-07-14 17:59

如何选型一个合适的框架-分布式任务调度框架选型

1.背景定时任务是大家再开发中一个不可避免的业务，比如在一些电商系统中可能会定时给用户发送生日券，一些对账系统中可能会定时去对账。大概再很久以前每个服务可能就一台机器，再这台机器上直接搞个Timerschedule基本上就能满足我们的业务需求，但是随着时代的变迁，单台机器已经远远不能满足我们的需要，这个时候我们可能需要10台，20台甚至更多机器来运行我们的业务，接受我们的流量，这就是我们所说的横向
li563868273·2020-07-14 13:16

分布式定时任务组件

基于SpringTask+Zookeeper的分布式任务调度组件，非常小巧，使用简单，只需要引入jar包。不需要单独部署服务端。确保所有任务在集群中不重复，不遗漏的执行。支持动态添加和删除任务。
weixin_34151004·2020-07-13 18:38

python—Celery异步分布式

Celery是一个python开发的异步分布式任务调度模块，是一个消息传输的中间件，可以理解为一个邮箱，每当应用程序调用celery的异步任务时，会向broker传递消息，然后celery的worker
MHyourh·2020-07-13 13:39

分布式任务调度平台 → XXL-JOB 初探

开心一刻旁边的女乘客太吵，我实在忍无可忍，便对她说：“你能不能让我睡会儿？”她挥手就给了我一个耳光：“你个臭流氓！”我顿时就清醒了，理论到：“你让我睡一会怎么了吗”她害羞的低下了头，说道：“人家不是随便的人”我：“我也不是随便的人，下一站我们下车把话说清楚”任务调度相信大家对任务调度都不陌生，说的通熟一点就是定时任务；这个在我们的项目中或多或少都存在，我们可以用JDK自带的（Timer、Sched
青石路·2020-07-13 09:00

shedlock + redis 实现分布式定时任务锁

虽然Quartz可以基于数据库实现作业的高可用，但缺少分布式并行调度的功能TBSchedule：阿里早期开源的分布式任务调度系统。代码略陈旧，使用timer而非线
风行傲天·2020-07-13 04:53

ZooKeeper分布式任务调度中心

一：背景软件系统中，定时任务往往不可或缺，大家可能会采用Springquartz建立定时任务模块。当任务模块进行了分布式部署，通常会出现定时任务重复执行的情况。怎么避免这种情况呢，是否可以构建一个任务注册中心，Quartz负责注册任务，但不具体执行任务内的业务逻辑。任务注册中心解决任务重复注册的问题，同时将任务分配给若干处理器进行具体的业务处理，保证在同一个时间内，一个任务只会被一个处理器进行处理
clmaykr95629·2020-07-13 03:39

分布式任务调度平台XXL-JOB快速搭建教程

1.XXL-JOB简介XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
James_Shangguan·2020-07-12 21:00

使用LTS帮你解决分布式任务调度问题！

LTS(light-task-scheduler)主要用于解决分布式任务调度问题，支持实时任务，定时任务和Cron任务。
yupi1057·2020-07-12 19:03

新一代分布式任务调度框架：当当elastic-job开源项目的10项特性

作者简介：张亮，当当网架构师、当当技术委员会成员、消息中间件组负责人。对架构设计、分布式、优雅代码等领域兴趣浓厚。目前主导当当应用框架ddframe研发，并负责推广及撰写技术白皮书。一、为什么需要作业（定时任务）？作业即定时任务。一般来说，系统可使用消息传递代替部分使用作业的场景。两者确有相似之处。可互相替换的场景，如队列表。将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处
weixin_34132768·2020-07-12 09:06

这些优秀的国产分布式任务调度系统，你用过几个？

2019独角兽企业重金招聘Python工程师标准>>>分布式调度在互联网企业中占据着十分重要的作用，尤其是电子商务领域，由于存在数据量大、高并发的特点，对数据处理的要求较高，既要保证高效性，也要保证准确性和安全性，相对比较耗时的业务逻辑往往会从中剥离开来进行异步处理。开源中国任务调度系统/框架类别下有非常多的开源项目，其中不乏出自国内外知名企业的优秀大作。与此同时，还有新的同类项目在不断增加。接下
weixin_34040079·2020-07-12 08:19

关于Mybatis批量插入使用JDBC原生batch批处理以及mybatis的ExecutorType.BATCH的批处理和Mybatis的动态sql语句批处理

天文本到mysql数据库且生成文件,有各种不同的定时任务，有批次消息、发送明细消息等等很多的数据需要转移，也有老系统和新系统数据的转移，mysql使用的分区表；架构使用的ssm，定时任务使用的xxl-job分布式任务调度上面都是废话
fanghuaiming·2020-07-11 19:09

Elastic-job系列（一）-------- 搭建Esjob控制台

网上搜索的有几种分布式任务调度框架，目前准备研究当当的elastic-job。后面准备再看下xxl-job。学习下，然后运用到项目中。
请叫我猿叔叔·2020-07-11 17:24

Elastic-Job启动流程

Elastic-Job是基于quartz的一款分布式任务调度器，利用zookeeper做分布式协调，保存配置信息，分片信息，服务器实例的信息，接下来几篇博客将从源码探究一下Elastic-Job是如何实现的
赵银龙·2020-07-11 12:58

分布式任务调度平台xxl-job初使用

1.因为在服务中写定时任务，当服务发布多份实例时，会多次执行，可能造业务数据混乱，把定时任务执行次数分离出来，由分布式任务调度平台去控制2.本篇将介绍xxl-job官网地址：https://www.xuxueli.com
闪耀的瞬间·2020-07-10 15:30

二、分布式任务调度 —— 阿里调度

1、搭建zookeeper集群。1.1、从http://zookeeper.apache.org/releases.html#download下载最新的稳定版本3.4.61.2、根据说明启动Zookeeper，并测试是否正常启动2、搭建tbschedule控制台2.1、从http://code.taobao.org/svn/tbschedule/trunk下载schedule的所有代码和文档2.2
跑步蜗牛·2020-07-10 13:30

Redis未授权访问

公司业务需要使用celery做分布式任务调度，使用了redis数据库，偶然了解到redis因配置不当造成的未授权访问易被攻击者利用，于是做一下复现。
apossin·2020-07-10 10:37

一、分布式任务调度 —— XXL-JOB

一、简介1.1概述XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
跑步蜗牛·2020-07-09 09:25

分布式定时任务-xxljob

怎么保证定时任务不被重复执行分布式定时任务解决方案使用zookeeper实现分布式锁缺点(需要创建临时节点、和事件通知不易于扩展)使用配置文件做一个开关缺点发布后，需要重启数据库唯一约束，缺点效率低使用分布式任务调度平台
xiaobo5264063·2020-07-09 01:50

XXL——JOB的方法：

XXL：XXL概述：Quartz的不足：XXL使用:XXL源码分析：----------------------------------------概述XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速
thoughtCodes·2020-07-09 01:00

深度解析 | 基于DAG的分布式任务调度平台：Maat

阿里妹导读：搜索中台建设过程中，单个系统不再能满足复杂业务的需求，更多时候需要多个子系统互相协作，异步地按照指定流程完成一项特定的功能。例如一个应用的上线流程依次需要调用配置同步模块、监控模块、资源更新模块、冒烟模块、引擎创建模块，流程的运行中又有分支判断、上下文传递、失败重试等需求。基于这种需求，Maat将各类流程化的任务集中管理，各个任务节点以分布式的方式运行在不同容器内，保证流程高效稳定地运
mlj365·2020-07-08 19:45

zookeeper实现分布式任务调度系统

2019独角兽企业重金招聘Python工程师标准>>>目前项目采用nginx+tomcat来做负载均衡，缺少一个分布式任务调度配置。任务调度在整个系统中是单点故障。
weixin_33937499·2020-07-08 16:49

Easy Task —— 强大而简单的分布式任务调度平台

EasyTask概述github：https://github.com/cehome-com/easy-task简单易用的分布式任务调度平台。
weixin_33826609·2020-07-08 15:45

[转载]Gearman(分布式任务调度框架) 简介

http://www.kuqin.com/system-analysis/20121209/333922.html看到先记下来。回头试验下在@hacker101的围脖上看到了这个框架，看了下官网，觉得很适合爬虫、多进程并行处理等任务。看看官方提供的几个例子：MassPDFquoteemailSynchronousImageResizeShard-Query:aPHPprojectwhichuses
weixin_30918633·2020-07-08 15:53

分布式任务调度系统xxl-job搭建(基于docker)

一、简介XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
weixin_30815469·2020-07-08 14:39

基于nginx+xxl-job+springboot高可用分布式任务调度系统

技术、原理讲解：《分布式任务调度平台XXL-JOB--源码解析一:项目介绍》《分布式任务调度平台XXL-JOB--源码解析二:基于docker搭建admin调度中心和executor执行器运行部署环境》
weixin_30691871·2020-07-08 14:40

分布式任务调度平台xxl-job集成springboot使用步骤

为了能便于统一管理定时任务，并灵活设置任务的执行时间、启动/停止，于是引入了xxl-job框架使用xxl-job-2.2.0.release版本，点这里看xxl-job官网文档主要是在调度中心页面（地址：http://192.168.1.61:9080/xxl-job-admin/）集中配置执行器（执行任务的微服务）及任务下面用cmis-enroll举例执行器配置1.导入maven依赖（已放到项目
程序猿在京·2020-07-08 13:43

分布式任务调度平台XXL-JOB

一：简介1.1概述XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
vbirdbest·2020-07-08 11:47

MongoDB 数据同步到 Elasitcsearch 实战分享

如何快速将保存在MongoDB中的海量数据同步到Elasticshearch中是一件非常具有挑战意义的事情，本话题分享基于分布式任务调度引擎、多线程高并发技术快速将保存在MongoDB中的海量数据同步到
GitChat的博客·2020-07-08 11:36

PowerJob 的故事开始：“玩够了，才有精力写开源啊！”

经过几番的努力和沟通，终于邀请到分布式任务调度与计算框架：PowerJob的作者Salieri，加入HG的开源讲解系列，开启了他的PowerJob讲解系列。
削微寒的程序员之路·2020-07-08 08:00

PowerJob 的故事开始：“玩够了，才有精力写开源啊！”

经过几番的努力和沟通，终于邀请到分布式任务调度与计算框架：PowerJob的作者Salieri，加入HG的开源讲解系列，开启了他的PowerJob讲解系列。
削微寒·2020-07-08 08:00

XXL-JOB 分布式任务调度平台

XXL开源社区一、简介1.1概述XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
kwin_zhang·2020-07-08 06:11

分布式任务调度

什么是定时任务？指定时间去执行任务Java实现定时任务方式1.ThreadpublicclassDemo01{staticlongcount=0;publicstaticvoidmain(String[]args){Runnablerunnable=newRunnable(){@Overridepublicvoidrun(){while(true){try{Thread.sleep(1000);c
JavaAlliance·2020-07-08 00:56

分布式定时job-xxljob的详解、使用和创建（附带哔哩哔哩（bilibili）视频）

一、简介1.1概述XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
我是谁？我从哪来？到哪去？·2020-07-07 23:45

手把手带你构建一个简单的springCloud分布式任务调度组件

分布式任务调度和单体应用的任务调度的区别在于，通过将任务集中统一管理，无需每一个微服务都维护自己的任务。下面通过一个简单的示例来看看分布式任务调度的构建流程。主要分为两大
Sun_yhw·2020-07-07 23:27

1.xxl-job分布式任务调度平台

官网地址：《分布式任务调度平台XXL-JOB》《分布式任务调度平台XXL-JOB》一、简介1.1概述XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
云巅起手撼山阿·2020-07-07 20:31

springboot整合分布式任务调度xxl-job

此demo主要演示了SpringBoot如何集成XXL-JOB实现分布式定时任务，并提供绕过xxl-job-admin对定时任务的管理的方法，包括定时任务列表，触发器列表，新增定时任务，删除定时任务，停止定时任务，启动定时任务，修改定时任务，手动触发定时任务。xxl-job-admin调度中心克隆调度中心代码$gitclonehttps://github.com/xuxueli/xxl-job.g
haoxiaoyong1014·2020-07-07 09:53

五分钟体验分布式调度框架xxl-job

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
方志朋·2020-07-07 08:07

elastic-job源码浅析(架构)

两者均不能很好地支持高并发量的分布式任务调度，即使是号称拥有集群能力的quartZ也仅仅保证了job的高可用，单一时刻只能有一台机器执行具体的调度任务。
飞盏·2020-07-06 19:43

Elasticsearch升级之River替代方案(分布式任务调度与动态解析日志)

近期在项目中遇到一个问题，解决此问题，需要改变架构方案，以下为方案具体内容目录1.痛点2.如何解决3.替代river技术方案调研4.saturn运行原理5.动态解析方案6.saturn结合spring-boot测试实例7.遇到的问题及解决8.环境部署最低要求9.补充测试executor扩容、缩容/宕机、重启恢复场景：1.痛点前置：通过river消费kafka中的日志数据，不同的topic中的数据，
web小筑·2020-07-06 18:44

分布式任务调度平台XXL-JOB

IntroductionXXL-JOBisalightweightdistributedtaskschedulingframework.It'scoredesigngoalistodevelopquicklyandlearnsimple,lightweight,andeasytoexpand.Now,it'salreadyopensource,andmanycompaniesuseitinprod
武林是大腿·2020-07-06 17:40

浅谈分布式任务调度框架

1、前言上一篇文章谈了单机的定时任务解决方案，只能在单个JVM进程中使用；而我们的现在基本上是分布式场景，需要一套在分布式环境下高性能、高可用、可扩展的分布式任务调度框架；是否将之前的单机解决方案部署到分布式就可以
hitzbb·2020-07-06 16:31

Celery学习笔记----趟一下 celery 的坑

Celery是一个用Python开发的异步的分布式任务调度模块。
西山枫叶·2020-07-06 06:59

赫拉(hera)分布式任务调度系统之架构，基本功能(一)

文章目录为数据平台打造的任务调度系统全部文章前言架构设计目标支持任务的定时调度、依赖调度、手动调度、手动恢复支持丰富的任务类型：shell,hive,python,spark-sql,java可视化的任务DAG图展示，任务的执行严格按照任务的依赖关系执行&某个任务的上、下游执行状况查看，通过任务依赖图可以清楚的判断当前任务为何还未执行，删除该任务会影响那些任务。支持上传文件到hdfs，支持使用hd
甄情·2020-07-05 13:52

2017年3月笔记

分布式任务调度平台(DistributedJobSchedulePlatform)https://github.com/ihaolin/antaresReact从入门到精通系列之(11)组合VS继承https
dengzi2030·2020-07-04 14:38
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他