定时调度

Hadoop09：【案例】之定时上传数据到HDFS脚本

log这种格式的，每天产生一个，我们需要每天凌晨将昨天生成的日志文件上传至HDFS上，按天分目录存储，HDFS上的目录格式为20200101二、思路：针对这个需求，我们需要开发一个shell脚本，方便定时调度执行第一步
做一个有趣的人Zz·2022-11-29 16:27

python定时任务框架apscheduler离线安装

项目运行过程中有大量的定时任务，线上运行环境为AIX，在以前的运行中多采用crontab或C++编写的定时调度（其中用到了alarm信号、共享内存、消息队列等，移植起来非常麻烦）。
快乐架构·2022-11-21 23:02

跨数据库同步方案汇总

Datax一般比较适合于全量数据同步，对全量数据同步效率很高（任务可以拆分，并发同步，所以效率高），对于增量数据同步支持的不太好（可以依靠时间戳+定时调度来实现，但是不能做到实时，延迟较大）。
jnrjian·2022-11-11 00:35

shell脚本实现Hbase服务的监控报警和自动拉起问题

目录需求说明1.通过服务名监控2.通过端口监控3.企业微信消息通知脚本4.定时调度5.报警信息需求说明期初是我们的物理机上安装了Hbase，由于物理机硬件配置还可以，1T内存，64核。
·2022-11-09 15:52

最小堆提升每次排序的效率

刚开始使用的时候发现问题不大，但是随着单机需要定时调度的任务越来越多，高峰期差不多接近500QPS，随着业务的推广使
·2022-07-28 12:12

分布式定时任务调度框架Quartz

未支付则取消订单比如vip的每月自动续费功能…想定时在某个时间，去做某件事Quartz是一套轻量级的任务调度框架，只需要定义了Job（任务），Trigger（触发器）和Scheduler（调度器），即可实现一个定时调度能力
素心如月娅·2022-07-25 22:30

Juc并发编程12——2万字深入源码：线程池这篇真的讲解的透透的了

本文将介绍常见的线程池的使用方法，介绍线程池的参数、拒绝策略、返回参数获取以及定时调度。
半旧518·2022-06-11 22:47

经典再现，看到就是赚到。尚硅谷雷神 - SpringBoot 2.x 学习笔记 -高级与场景整合篇

然而SpringBoot是一个伟大的框架，它的知识点远不止这些，我们还要学习更多的技术并整合到SpringBoot中，如虚拟化技术、安全控制、缓存技术、消息中间件、对象存储、定时调度、异步任务、分布式系统等
laizhenghua·2022-06-11 14:55

SpringBoot系列：Spring Boot集成定时任务Quartz

在java企业级应用中，Quartz是使用最广泛的定时调度框架。
to.to·2022-05-28 02:08

JavaScript实现手写原生任务定时器

功能介绍定时器顾名思义就是在某个特定的时间去执行一些任务，现代的应用程序早已不是以前的那些由简单的增删改查拼凑而成的程序了，高复杂性早已是标配，而任务的定时调度与执行也是对程序的基本要求了。
·2022-03-05 13:25

javaScript（js）手写原生任务定时器源码

javaScript（js）手写原生任务定时器功能介绍定时器顾名思义就是在某个特定的时间去执行一些任务，现代的应用程序早已不是以前的那些由简单的增删改查拼凑而成的程序了，高复杂性早已是标配，而任务的定时调度与执行也是对程序的基本要求了
菜的慌·2022-03-04 22:00

javaScript（js）手写原生任务定时器源码

javaScript（js）手写原生任务定时器功能介绍定时器顾名思义就是在某个特定的时间去执行一些任务，现代的应用程序早已不是以前的那些由简单的增删改查拼凑而成的程序了，高复杂性早已是标配，而任务的定时调度与执行也是对程序的基本要求了
菜的慌·2022-03-04 22:00

13、Hive数据仓库——结合shell脚本企业实战用法，定时调度

文章目录Hiveshell脚本企业实战用法，定时调度建立分区表增加分区查看某个表的所有分区往分区中插入数据在shell命令中运行Hive的SQL使用hive-e使用hive-f使用Shell脚本定时调度新建
liangzai2048·2022-02-28 15:09

Linux实现MySQL数据库凌晨自动备份

定时调度使用crontab1login_user="root"23login_passwd=""45vDate=`date+%Y%m%d`67backup_dir="/home/data/backups
·2022-02-17 09:42

SchedulerX 如何帮助用户解决分布式任务调度难题？

在Linux中的crontab、Java中的Timer等等都涉及周期性定时调度运行任务来完成一系列自动化处理的业务场景。
·2022-02-15 22:51

JEESZ 分布式架构平台介绍

1.项目核心代码结构截图提醒：开发人员在开发的时候可以将自己的业务REST服务化或者Dubbo服务化2.项目依赖介绍2.1.后台管理系统、Rest服务系统、Scheculer定时调度系统依赖如下图：2.2
IT达人Q·2022-02-05 21:24

实时作业转离线作业的几种场景及方案

基本思路是将流式计算任务中基于时间触发的子过程转化为离线定时调度计算任务。下面列举几种常见的场景，权且当做验证。一
·2022-01-15 11:06

Quartz在.NET中的使用教程

配置文件配置任务一、背景例如需要在某年某月去将数据库的某个数据更新或者同步,又或者是每隔一段时间来执行一部分代码去调用接口,但是又不想人为的手动去执行针对此类业务可以使用"定时调用任务",市面上有很多的定时调度任务框架
·2021-12-19 13:53

延时队列-基于RabbitMq延时消息插件实现的延时队列

前言定时调度基本是每个项目都会遇到的业务场景，一般地，都会通过任务调度工具执行定时任务完成，定时任务有两点缺陷，一、定时任务执行频度限制，实际执行的时间可能会晚于理想的设定时间，例如，如果要通过定时任务实现在下单后
求心丶·2021-12-02 17:10

分布式定时调度-xxl-job

分布式定时调度-xxl-job一.定时任务概述1.定时任务认识1.1.什么是定时任务定时任务是按照指定时间周期运行任务。
墨家巨子@俏如来·2021-11-17 17:08

sched 模块中巨好用的轻量级定时任务神器scheduler！

【阅读全文】这种定时调度任务的实现还是比较简单的，总体来说只需要编写好定时任务最好使用标准范式来使得任务运行起来。首先，需要导入三个模块的扩展库。
·2021-11-02 11:22

延时队列-基于Redisson实现的延时队列

前言定时调度基本是每个项目都会遇到的业务场景，一般地，都会通过任务调度工具执行定时任务完成，定时任务有两点缺陷，一、定时任务执行频度限制，实际执行的时间可能会晚于理想的设定时间，例如，如果要通过定时任务实现在下单后
求心丶·2021-10-12 22:53

Python中使用定时调度任务（Schedule Jobs）的5种方式

Python中使用定时调度任务（ScheduleJobs）的5种方式今天构建的大多数应用程序都需要某种方式的调度机制。轮询API或数据库、不断检查系统健康状况、将日志存档等是常见的例子。
ReganYue·2021-10-10 09:11

5种Python使用定时调度任务的方式

摘要：Python有几种方法可以定时调度一个任务，这就是我们将在本文中学习的内容。
·2021-09-23 18:40

Python使用定时调度任务的方式

目录1、简单循环Simpleloops2、简单循环但是使用了线程Simpleloopsbutthreaded3、定时调度库ScheduleLibrary4、PythonCrontab5、RQ调度器RQScheduler6
·2021-09-23 16:14

Hudi On Flink

一、背景传统数仓分为离线和实时两个部分离线部分属于业务驱动，固定的计算逻辑，通过定时调度，最后产出报表；实时部分属于需求驱动，需要灵活开发。
TOTower·2021-09-06 16:11

Java定时调度工具包devtools-cron4j使用介绍

devtools-cron4j是一款小巧实用的Java调度工具包，来自于devtools系列，它提供了：面向API的方式来自定义cron表达式，又能将cron表达式解析为API的形式内置多种调度器可定时执行目标内容不依赖其他组件，可轻量化地定制自己的系统Maven:com.github.paganini2008devtools-cron4j2.0.2Jdk版本：1.8+关于如何生成cron表达式，
·2021-08-12 12:17

python中BackgroundScheduler和BlockingScheduler的区别

目录1、基本的定时调度2、BlockingScheduler与BackgroundScheduler区别APScheduler最基本的用法：“定时几秒后启动job”两种调度器：BackgroundScheduler
·2021-07-28 16:53

Hue配置定时调度，名字最好不要使用中文

错误详细信息：2018-06-0115:31:07,769INFO[Thread-71]org.apache.hadoop.service.AbstractService:ServiceJobHistoryEventHandlerfailedinstateSTOPPED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException:org
会长大的幸福_8bf9·2021-06-08 06:49

数据分析师所需的编程技能：脚本调度

正确的做法是写好python脚本，每天定时调度它，自动发送邮件日报给老板。
大匿·2021-06-04 05:13

Springboot集成quartz，并实现定时调度和管理http请求任务

一、环境搭建1.1简单说明：1、springboot集成quartz，使用druid连接池2、支持http请求任务定时调度，当前支持get、post表单(formdata)、postJson三种请求类型
彩虹糖520·2021-05-20 00:42

扩展Spring Boot Web应用 - 实现简单的定时任务功能

如果我们需要定时处理一些数据或者执行某个功能，但只是简单的定时任务时，我们可以使用Spring框架自己的定时调度器而不需要添加Quartz。
nzdxwl·2021-05-07 14:14

分布式任务调度-xxl-job

使用原因和解决问题是为了解决：实现定时调度任务将定时任务分布式部署提供前端Web界面，允许开发者可视化地完成调度任务的管理任务运行状态监控和运行日志查看...流行框架Xxl-jobElastic-jobPowerjobXxl-job
疯狂撸代码的奋青骚年·2021-05-07 13:36

Timer源码分析

Timer是java.util包下jdk自带的一个定时调度类，会在主线程之外另起一个线程来执行所有的定时任务，任务可执行一次，也可以设置间隔，多次执行，任务也可以取消delay：第一次执行的延时，为0表示立即执行
timar·2021-04-28 21:47

11.11-全栈Java笔记:线程状态转换和任务定时调度

线程状态转换图1线程的状态1）New:创建好线程对象，但没有启动的时候。一个线程调用start()之后不一定会马上启动，此时进入就绪状态，等待得到资源。2）就绪线程序通过Scheduler(调度程序)去确定是否运行。3）Runing---dead:运行结束(非双向，为单向箭头)。4）Runing---就绪:暂停(除了没有CPU，具备运行的所有条件)。5）Runing-otherwise(阻塞):因
全栈JAVA笔记·2021-04-27 16:34

数据调度平台系统二大种类及其实现方法与流程

除了Crontab，Quartz这类偏单机的定时调度程序／库。开源的分布式作业调度系统也有很多，比较知名的比如：oozie，azkaban，chronos，zeus等等，此外，还有包括阿里
TASKCTL·2021-04-18 19:42

五十九、Oozie的简介与安装

主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、Oozie的简介1.1简介1.2模块1.3Workflow常用节点二、Oo
象在舞·2021-04-16 08:45

定时调度判断会员等级是否过期_定时任务实现的关键DelayQueue延迟队列

之前学习定时任务线程池(ScheduledThreadPoolExecutor)时发现它主要依赖线程池和它的静态内部类DelayedWorkQueue实现。而DelayedWorkQueue就是一种延迟队列，今天学习是并发包提供的延迟队列(DelayQueue)。延迟队列说明延迟队列提供的功能是在指定时间点才能获取队列元素的功能，队列最前面的元素是最优先执行的元素。列举一下使用场景可能能够更加好理
weixin_39623671·2021-01-15 17:53

Java调度|使用ScheduledExecutorService实现定时调度

在Java项目Web开发过程中，定时任务会在很多系统中都会用到，我们经常用到的会有最简单的Task、线程池ScheduledExecutorService、基于Spring的quartz表达式调度方式。下面主要是通过ScheduledExecutorService进行调度的示例：延长1秒(1000毫秒)，每5秒钟执行一次。packagecom.fengchen.task;importjava.te
Java实战宝典大飞·2021-01-11 17:58

Unknown command: crawl

start.py>/home/monitor/monitor/logs/cron_log.log2>&1&报错：Unknowncommand:crawl解决方法：进入到scrapy文件夹中，构建shell启动爬虫，定时调度脚本
wiidi·2020-12-28 15:53

亿级流量java高并发与网络编程实战 pdf_肝了三天三夜整理出这份36万字全网最牛的开源高并发编程PDF！！...

自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。
weixin_39804335·2020-12-17 11:31

SpringBoot定时调度Scheduled默认配置（单线程）导致的业务延迟

项目后台组件运用了Schedule每分钟启动一个job把数据发送到kafka（生产者），通过kafka的负载均衡分发到消费者中。在某个夜黑风高的夜晚，运维GG通过监控发现kafka写入出现每分钟不连续的现象，在没有数据写入的时段，消费线程一直处于等待状态。由于除了生产者任务job之外，还在存在其他定时job，随着业务的发展，其他job的数据量上升之后，加上Schedule调度使用了默认的配置，在一
qiaoHaoTing·2020-12-15 01:01

XXL-JOB分布式任务调度平台

引言当我们提起定时任务时，我们会想起，JDK的[Timer][]和定时调度框架[Quartz][],Quartz一般与Spring家族框架结合使用。
Ravitn·2020-12-07 22:58

用户画像之标签查询(附源码)

此文主要描述标签筛选人群2.架构图数据来源：业务数据库和埋点数据标签生成：运营人员定义好标签元数据后，数据工程师写hive或spark定时调度生成；
ostarsier·2020-12-04 01:49

用户画像之标签查询(附源码)

此文主要描述标签筛选人群2.架构图数据来源：业务数据库和埋点数据标签生成：运营人员定义好标签元数据后，数据工程师写hive或spark定时调度生成；hive表结构只有3列：用户Id、标签code、标签值标签存储
xianbin.yang·2020-12-03 20:10

从0到1的springboot商城

接口文档：swagger定时调度框架：quartz+springboot自带定时任务逆向工程（代码生成）：IDEA中easyc
物干焯的小次郎·2020-12-03 03:53

SprinBoot整合Quart实现定时调度的示例代码

Quartz是一款开源的定时任务调度框架，Quartz的官网是：http://www.quartz-scheduler.org/。本文主要是讲诉使用springboot整合quartz实现定时任务调度管理的用例。主要的内容有如下三部分：1.springboot整合quartz的相关配置2.实现基于simpleTrigger的定时任务3.实现基于cronTrigger的定时任务一、导入相关的pom依
·2020-11-13 10:20

订单自动过期实现方案 - 转

定时调度：定时器定时查询并过期需要过期的订单。延时队列：将未支付的订单放入一个延时队列中，依次取出过期订单。过期提醒：reids支持将一个过期的key(订单号)通知给客户端，根
写blog是为了记笔记·2020-11-01 11:41

从0到1的springboot商城

接口文档：swagger定时调度框架：quartz+springboot自带定时任务逆向工程（代码生成）：IDEA中easyc
物干焯的小次郎·2020-10-10 12:35

iOS dispatch_source_t的理解

我们来看看它都有哪些类型：TimerDispatchSource：定时调度源。SignalDispatchSource：监听UNIX信号调度源，比如监听代表挂起指令的SIGSTO
weixin_30835923·2020-09-17 07:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他