StreamSets定时调度

Spring boot定时任务（Scheduling Tasks）

简介定时任务或者说定时调度，是系统中比较普遍的一个功能，例如数据归档、清理，数据定时同步（非实时），定时收发，流量控制等等都需要用到定时任务，常见的定时调度框架有Quartz、TBSchedule等。
Young丶·2019-10-24 09:30

2. SOFAJRaft源码分析—JRaft的定时任务调度器是怎么做的？

其实JRaft的定时任务调度器是基于Netty的时间轮来做的，如果没有看过Netty的源码，很可能并不知道时间轮算法，也就很难想到要去使用这么优秀的定时调度算法了。
luozhiyun·2019-10-19 22:00

redis数据备份方案和数据恢复容灾

redis数据备份、恢复前言数据备份小时级备份天级备份数据恢复演示前言在企业级的redis持久化中，RDB的生成策略，用默认的就差不多AOF也一定要打开，fsync，everysec数据备份写crontab定时调度脚本去数据库备份每小时
等待的萝卜·2019-10-15 17:52

升级@Scheduled-分布式定时任务

因此，我准备手写一个简单的支持分布式定时调度任务的框架。项目地址是https://github.com/death00/dis-schedule，欢迎大家star、提意见。分析先分析了一下自己
death00·2019-10-01 09:01

升级@Scheduled-分布式定时任务

因此，我准备手写一个简单的支持分布式定时调度任务的框架。项目地址是https://github.com/death00/dis-schedule，欢迎大家star、提意见。分析先分析了一下自己
jianjianqq·2019-10-01 09:00

Oozie 入门

1Oozie简介一个基于工作流引擎的开源框架，提供对HadoopMapReduce、PigJobs的任务调度与协调，主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。
djm猿·2019-09-27 00:19

xxl-job源码分析

xxl-job系统说明安装安装部署参考文档：分布式任务调度平台xxl-job功能定时调度、服务解耦、灵活控制跑批时间（停止、开启、重新设定时间、手动触发）XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速
小猴子先生·2019-09-20 09:00

odoo开发笔记 -- 借助模块queue_job实现异步方法调用

场景描述：对比了几个定时调度的框架，发现各有优缺点；celery很强，异步定时调度，异步周期调度，也有延时调度的功能，但是延时调度的案例比较少，遂暂时不使用。
hello-Jesson·2019-09-18 12:00

系列 | 漫谈数仓第三篇NO.3 『数据魔法』ETL

点击上方蓝色字体，置顶/星标哦目前10000+人已关注加入我们本文目录CONTENTS☞ETL同步之道[Sqoop、DataX、Kettle、Canal、StreamSets]☞ETL之技术栈[重工具vs
仙子紫霞·2019-09-11 13:49

Azkaban 简介

复杂的工作流管理涉及到很多问题：如何定时调度某个任务？如何在某个任务执行完成后再去执行另一个任务？如何在任务失败时候发出预警？......面对这些问题，工作流调度系统应运而生。
黑白影·2019-09-01 08:00

Golang踩坑分析之 Gorm

案例1:GolangGorm踩坑##影响情况##服务A是定时调度系统,利用github.com/robfig/cron来实现,发现服务运行3小时左右就不打印sql日志,但是API服务响应正常.导致调度服务不执行
xiaowei520·2019-08-26 00:00

Quertz一些使用方法、资料和心得

先说一下近况吧；最近在写定时器相关的东西，本身公司有一套定时器的东西，是通过Timer去唤起ScheduleScheduledTreadPoolExector的定时器线程池去实现定时调度的，此方法的好处就是在后台任务中处理的表现较优点
Alecor·2019-08-20 14:15

java 多线程-任务定时调度例

任务定时调度，借助Timer类和TimerTask类，详细api中查找publicclassh{publicstaticvoidmain(String[]args){Timertimer=newTimer
wx5d21d5e6e5ab1·2019-08-16 11:16

数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets

原文链接：https://blog.csdn.net/xiaozm1223/article/details/89670460数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets工具比对
YumWisdom·2019-08-15 09:48

Spring4+Springmvc+quartz实现多线程动态定时调度

scheduler定时调度系统是大多行业项目都需要的，传统的spring-job模式，个人感觉已经out了，因为存在很多的问题，特别是定时调度的追加、修改、删除等，需要修改xml，xml的配置生效无非是热部署灰度发布方案或者直接停止
alterem·2019-08-05 09:00

RDIFramework.NET框架基于Quartz.Net实现任务调度详解及效果展示

阅读更多在上一篇Quartz.Net实现作业定时调度详解，我们通过实例代码详细讲解与演示了基于Quartz.NET开发的详细方法。
chinahuyong·2019-08-03 19:00

RDIFramework.NET框架基于Quartz.Net实现任务调度详解及效果展示

阅读更多在上一篇Quartz.Net实现作业定时调度详解，我们通过实例代码详细讲解与演示了基于Quartz.NET开发的详细方法。
chinahuyong·2019-08-03 19:00

Quartz.Net实现作业定时调度详解

阅读更多1、Quartz.NET介绍Quartz.NET是一个强大、开源、轻量的作业调度框架，你能够用它来为执行一个作业而创建简单的或复杂的作业调度。它有很多特征，如：数据库支持，集群，插件，支持cron-like表达式等等。非常适合在平时的工作中，定时轮询数据库同步，定时邮件通知，定时处理数据等。Quartz.NET允许开发人员根据时间间隔（或天）来调度作业。它实现了作业和触发器的多对多关系，还
chinahuyong·2019-08-03 19:00

Quartz.Net实现作业定时调度详解

阅读更多1、Quartz.NET介绍Quartz.NET是一个强大、开源、轻量的作业调度框架，你能够用它来为执行一个作业而创建简单的或复杂的作业调度。它有很多特征，如：数据库支持，集群，插件，支持cron-like表达式等等。非常适合在平时的工作中，定时轮询数据库同步，定时邮件通知，定时处理数据等。Quartz.NET允许开发人员根据时间间隔（或天）来调度作业。它实现了作业和触发器的多对多关系，还
chinahuyong·2019-08-03 19:00

Jakartase_多线程 --- 任务定时调度 --- (附)

一、简介定时调度的3中实现方式通过Timer和Timetask类，我们可以实现定时启动某个线程。
Shonan·2019-07-27 00:00

java基础(多线程---高级主题)

任务定时调度：java.util.Timer:类似闹钟的功能，本身实现的就是一个线程java.util.TimerTask:一个抽象类，该类实现了Runnable接口，所以该类具备多线程的能力。
迷惘~徘徊·2019-07-18 22:00

RDIFramework.NET框架基于Quartz.Net实现任务调度详解及效果展示

在上一篇Quartz.Net实现作业定时调度详解，我们通过实例代码详细讲解与演示了基于Quartz.NET开发的详细方法。
.NET快速开发框架·2019-07-18 18:00

关于爬虫平台的架构设计实现和框架的选型(一)

作为一个爬虫平台，需要支撑多种不同的爬虫方式，所以一般爬虫平台需要包括1、爬虫规则的维护，平台在接收到爬虫请求时，需要能按照匹配一定的规则去进行自动爬虫2、爬虫的job调度器，平台需要能负责爬虫任务的调度，比如定时调度
张永清·2019-07-16 10:00

spring定时任务scheduler集群环境下防止多次执行

方式二：在项目中使用@Scheduled注解实现定时调度十分方便，但是存在一
longzhutengyue·2019-07-15 22:46

Python3 itchat实现微信定时发送群消息的实例代码

3，apscheduler：这个是用来定时调度时间的工具。三、实例代码#coding=utf-8fromdatetime
整合侠·2019-07-12 10:39

StreamSets 实时同步mysql数据到kudu

StreamSets实时同步mysql数据到kudu初始化数据业务库下的表wm.admin_user_appwm.department1.在hive创建数据库;CREATEDATABASEzxl_db;
Shyllin·2019-07-05 16:58

SpiderAdmin可视化管理+定时调度爬虫项目

SpiderAdmingithub:https://github.com/mouday/SpiderAdminpypi:https://pypi.org/project/spideradmin/功能介绍对Scrapyd接口进行可视化封装，对Scrapy爬虫项目进行删除和查看并没有实现修改，添加功能,部署推荐使用$scrapyd-deploy-a对爬虫设置定时任务，支持apscheduler的3中方
彭世瑜·2019-07-03 16:00

XXL-Job源码分析(I)--调度中心启动

前言XXL-Job是一个轻量的分布式任务调度平台，任务的定时调度管理是基于开源定时任务调度框架Quarts来实现的，任务的调度执行采用注册和RPC的方式实现，将任务的管理和执行进行了分离。
许振雪·2019-06-30 00:18

Quartz.Net实现作业定时调度详解

1、Quartz.NET介绍Quartz.NET是一个强大、开源、轻量的作业调度框架，你能够用它来为执行一个作业而创建简单的或复杂的作业调度。它有很多特征，如：数据库支持，集群，插件，支持cron-like表达式等等。非常适合在平时的工作中，定时轮询数据库同步，定时邮件通知，定时处理数据等。Quartz.NET允许开发人员根据时间间隔（或天）来调度作业。它实现了作业和触发器的多对多关系，还能把多个
.NET快速开发框架·2019-06-28 14:00

基于Azkaban的任务定时调度实践

一、Azkaban介绍Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。Azkaban功能和特点：1，任务的依赖处理。2，任务监控，失败告警。3，任务流的可视化。4，任务权限管理。常见的任务调度框架有ApacheOozie、LinkedInAzkaban、ApacheAirflow、AlibabaZeus,由于Azkaban具有轻量可插
DK_ing·2019-06-27 17:11

linux中shell脚本手动执行没有问题，crontab定时执行失败(实测已解决)

问题描述：Shell脚本手动执行可以正常运行，并得到正确结果；使用Crontab定时调度的时候，Shell脚本执行出来的结果数据量为0。
卢子墨·2019-06-27 10:10

laravel异步监控定时调度器实例详解

定时调度器是什么laravel默认提供了一个命令定时任务的功能，在其他的php框架下面，没有这个定时任务，我们要跑一些异步脚本怎么操作呢，只能依赖我们系统提供的crontab来做，这就导致我们每次发版本新增定时任务都要去服务器更改
低调的码农·2019-06-21 08:47

那些年，我们追过的“定时调度”

定时调度作为后端开发人员，我们总会遇到这样的业务场景：每周同步一批数据；每半个小时检查一遍服务器运行状况；每天早上八点给用户发送一份包含今日待办事项的邮件，等等。
MadPecker·2019-06-17 00:00

Impala中常用的窗口函数

后续也会把这些sql通过sparksql集成执行spark任务，去定时调度。后面我会首先介绍一些窗口函数，然后再结合具体的应用进行进一步理解。
爆发的~小宇宙·2019-06-13 11:09

Azkaban 系列（一）—— Azkaban 简介

复杂的工作流管理涉及到很多问题：如何定时调度某个任务？如何在某个任务执行完成后再去执行另一个任务？如何在任务失败时候发出预警？…面对这些问题，工作流调度系统应运而生。Azkaban就是其中之一。
hei bai ying·2019-06-07 16:41

Quartz定时调度jar包的执行Demo分享

1.Quartz简介Quartz框架的核心是调度器。调度器负责管理Quartz应用运行时环境。调度器不是靠自己做所有的工作，而是依赖框架内一些非常重要的部件。Quartz不仅仅是线程和线程管理。为确保可伸缩性，Quartz采用了基于多线程的架构。启动时，框架初始化一套worker线程，这套线程被调度器用来执行预定的作业。这就是Quartz怎样能并发运行多个作业的原理。Quartz依赖一套松耦合的线
charlyFeng·2019-05-28 08:00

Python定时调度

Python定时任务在项目中，我们可能遇到有定时任务的需求。其一：定时执行任务。例如每天早上8点定时推送早报。其二：每隔一个时间段就执行任务。比如：每隔一个小时提醒自己起来走动走动，避免长时间坐着。今天，我跟大家分享下Python定时任务的实现方法。1第一种办法是最简单又最暴力。那就是在一个死循环中，使用线程睡眠函数sleep()。fromdatetimeimportdatetimeimportt
羋虹光·2019-05-16 14:39

Springboot使用@Scheduled多节点启动时调度重复执行

在项目中使用@Scheduled注解实现定时调度十分方便，但是存在一个情况：当项目多节点部署时，调度会在每个节点上都执行。这就是个大问题了。
不熬夜的程序猿·2019-05-15 10:12

Spring定时调度器原理

定时调度器主要是负责一些定时任务的调度，publicclassCronTaskPool{/***执行任务的线程池*/privateExecutorexecutor;/***调度任务的线程池*/privateScheduledExecutorServicescheduled
嗷大喵儿·2019-05-14 14:14

那些年，我们用过的“定时调度”

定时调度作为后端开发人员，我们总会遇到这样的业务场景：每周同步一批数据；每半个小时检查一遍服务器运行状况；每天早上八点给用户发送一份包含今日待办事项的邮件，等等。
KerryWu·2019-05-03 00:00

所有定时调度任务中断问题

一.现象:最近系统定时任务会不定时中断,不是一个任务中断,是全部任务都中断掉,为了数据及时性采取临时解决办法,重启大法!最近闲下来深入排查了下问题根源,其实网上有许多种解决办法,此篇主要是记录下问题排查思路;二.原因分析1.为什会线程出现中断原因无外乎几种情况:死锁(程序编写bug,一旦出现,只能够重启);数据流操作阻塞挂死;其实出现这个现象就直接想到是后者(之前遇到过..),心里大概有数是与ht
刘泽田·2019-04-30 17:11

EasyScheduler调度系统的架构原理及实现思路

举例如下图：流程定义：通过拖拽任务节点并建立任务节点的关联所形成的可视化DAG流程实例：流程实例是流程定义的实例化，可以通过手动启动或定时调度生成任务
d66380022·2019-04-23 10:29

详解.NET Core使用Quartz执行调度任务进阶

一、前言运用场景Quartz.Net是一个强大、开源、轻量的作业调度框架,在平时的项目开发当中也会时不时的需要运用到定时调度方面的功能，例如每日凌晨需要统计前一天的数据，又或者每月初需要统计上月的数据。
小世界的野孩子·2019-04-19 09:29

.NET Core使用Quartz执行调度任务进阶

一、前言运用场景Quartz.Net是一个强大、开源、轻量的作业调度框架,在平时的项目开发当中也会时不时的需要运用到定时调度方面的功能，例如每日凌晨需要统计前一天的数据，又或者每月初需要统计上月的数据。
小世界的野孩子·2019-04-18 16:00

基于zookeeper和quartz实现分布式定时调度（二）

最近一直在学习，偶然间翻看了一下博客，发现很多人问我关于基于zookeeper和quartz实现分布式定时调度文章的一些问题。由于本人最近几年都没怎么关注博客，因此也没有做出回复，心里感觉愧对大家。
让爱远航·2019-04-11 17:07

python asyncio 定时调度任务·

importasynciofromfunctoolsimportwraps,partialimportuvloopasyncio.set_event_loop_policy(uvloop.EventLoopPolicy())loop=asyncio.get_event_loop()deftimer(func=None,interval=60):iffuncisNone:returnpartial(
慕斯炖蘑菇·2019-04-10 18:36

python asyncio 定时调度任务·

importasynciofromfunctoolsimportwraps,partialimportuvloopasyncio.set_event_loop_policy(uvloop.EventLoopPolicy())loop=asyncio.get_event_loop()deftimer(func=None,interval=60):iffuncisNone:returnpartial(
慕斯炖蘑菇·2019-04-10 18:36

SpringBoot中并发定时任务的实现、动态定时任务的实现（看这一篇就够了）

一、在JAVA开发领域，目前可以通过以下几种方式进行定时任务1、单机部署模式Timer：jdk中自带的一个定时调度类，可以简单的实现按某一频度进行任务执行。提供的功能比较单一，无法实现复杂的调度任务。
Java高级架构狮·2019-04-07 19:13

SpringBoot中并发定时任务的实现、动态定时任务的实现（看这一篇就够了）推荐

一、在JAVA开发领域，目前可以通过以下几种方式进行定时任务1、单机部署模式Timer：jdk中自带的一个定时调度类，可以简单的实现按某一频度进行任务执行。提供的功能比较单一，无法实现复杂的调度任务。
会炼钢的小白龙·2019-04-06 11:06

apscheduler定时调度任务

1. 调度对象封装#!/usr/bin/env python# -*- coding: utf-8 -*-import sys,os,loggingimport asyncioimport datetimefrom pytz import timezonefrom api_monitor.utils import scheduler_configfrom apscheduler.scheduler
小白的希望·2019-04-06 11:53
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他