StreamSets定时调度

Hadoop入门之自动化定时调度之Azkaban部署及使用

azkaban的部署使用及如何结合项目的使用思考1部署azkaban1.1准备工作,下载相关安装包,这里我使用的是2.5版本的官方:http://azkaban.github.io/downloads.html还需要一个jdbc的连接jar包:链接：http://pan.baidu.com/s/1dFe8avJ密码：0pjh我参考了这两篇文章进行部署:http://www.cnblogs.com/
当以乐·2020-06-21 07:48

flask+APScheduler定时任务的使用

定时任务使用以及在flask中的调用APScheduler简介组成部分调度器安装普通使用安装结合flask使用安装使用添加jobadd_job参数详解interval间隔时间（每隔一段时间执行）date定时调度
paul0926·2020-06-21 04:28

如何在CDH中安装和使用StreamSets

源文档https://cloud.tencent.com/developer/article/10788521.关于StreamSetsStreamSets由Informatica前首席产品官GirishPancha
cdmazzq·2020-06-21 00:00

涂鸦智能分布式定时调度系统Sigmax设计与实践

针对IoT领域特有的复杂多样的定时任务场景，Sigmax提供了一套统一，稳定，精准的定时调度平台，来协助公司内各业务线方便的实现定时场景。
涂鸦智能技术团队·2020-05-31 14:37

利用StreamSets实现MySQL中变化数据实时写入Kudu

环境准备开启MariaDB的Binlog日志修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置server-id=999log-bin=mysql-binbinlog_format=ROW注意:MySQLBinlog支持多种数据更新格式包括Row、Statement和mix（Row和Statement的混合），这里建议使用Row模式的Binlog格式，可以更加方便实时的反应
lei_charles·2020-04-29 12:30

基于Quartz编写一个可复用的分布式调度任务管理WebUI组件

关于分布式定时调度框架，成熟的候选方案有XXL-JOB、EasyScheduler、LightTaskScheduler和ElasticJob等等，其实这些之前都在生产环境使用过。
throwable·2020-04-10 00:00

Scrapy-02(系列篇1)-爬虫&云服务器定时调度(以京东零食为例)

这个项目花了近一个月有点久主要卡壳在不熟悉云服务器相关操作和免费动态IP池构造上又是那种“卡住了不行一定要搞定怎么能先跳过呢”然后就死磕在一个问题上浪费了不少时间主要有两个地(坑)方值得说明下：京东搜索页对阿里云进行了IP屏蔽本地能够成功爬取到数据但放到阿里云调度就没有数据添加User-Agent、Cookies依然没有下载到数据为什么！这不科学！本地都能抓取云服务器就没有然后开始贤者时刻三步走：
丨像我这样的人丨·2020-04-02 19:04

通过源码理解Spring中@Scheduled的实现原理并且实现调度任务动态装载

前提最近的新项目和数据同步相关，有定时调度的需求。
throwable·2020-04-01 23:00

.NET Core使用Quartz执行调度任务进阶

一、前言运用场景Quartz.Net是一个强大、开源、轻量的作业调度框架,在平时的项目开发当中也会时不时的需要运用到定时调度方面的功能，例如每日凌晨需要统计前一天的数据，又或者每月初需要统计上月的数据。
小世界的野孩子·2020-03-31 19:29

定时任务调度工具之Timer(二)

Timer的定时调度函数一、schedule的四种用法1.schedule(task,time)参数task：所要安排的任务time：执行任务的时间作用在时间等于或者超过time的时候执行且仅执行一次task
JS_HCX·2020-03-31 01:53

Python 定时调度机制 – APScheduler Job的参数传递

关键词：APScheduler;Python;定时机制；调度机制；Job传递参数APScheduler调度模块使用详解可参考：官方文档:userguide博客使用APScheduler机制时，向job传递参数的代码示例：fromapscheduler.schedulers.blockingimportBlockingSchedulerdefjob1(para1,para2,para3):print
generalz·2020-03-28 17:53

JEESZ分布式框架--技术介绍文档

Jeesz目前包括以下模块项目，后台系统管理系统，RestFul独立服务系统、Scheduler定时调度系统、内容管理（CMS）系
ITsupuerlady·2020-03-20 06:34

使用Hive内置的解析器构建血缘关系

仓库组的HiveQL一般情况下是写好后，定时调度SparkSQL来执行的。这些HiveQL格式都差不多的样子insertoverwritetablenamepartition(partitio
GoofyWang·2020-03-19 16:58

分布式服务：spring mvc +mybatis + Dubbo+Zookeeper+Proxy+Restful

mybatis+Dubbo+Zookeeper+Proxy+Restful子系统：后台管理系统、Restfu服务系统、Dubbo服务/管控/监控中心Zookeeper注册中心、报表分析系统、日志记录系统、定时调度系统搜索引擎系统
ITsupuerlady·2020-03-09 13:32

Mysql 与 hadoop 数据同步（迁移），你需要知道 Sqoop

上篇文章Mysql到Hbase数据如何实时同步，强大的Streamsets告诉你我们说到了如何使用Streamsets来进行mysql到hbase的数据实时同步（迁移）。
Kooola大数据·2020-03-06 07:08

linux下定时调度任务

目前在某公司的数据部门实习，会经常遇到scala,spark,hive,定时执行，回调，hdfs等名词,通过一个月的实习，大概清楚了大公司数据部门每个人每天的工作工作流程，仅供小白参考。然后围绕定数任务调度问题详细展开。感觉数据部门做的最多的还是数据分析以及数据展示工作，只不过这里的数据分析使用的工具更加高大上了一些，简单的用hive，复杂一点的用scala，然后提交到集群上去跑。恰好在实习这一个
pw007992·2020-03-05 13:50

Zeus-Master-周期性调度策略实现

上文提到Zeus使用了开源的quartz来帮助其实现定时调度，但是展示给用的api有两种，一种就是quartz原生的类似cron表达式的设置，还有一种是每小时，每天这种设置，但是后台实现均是转换成quartz
PunyGod·2020-03-05 06:53

定时任务调度之Timer

定时任务调度之Timer前言定时任务调度，有两个比较重要的概念，一个是定时，一个是调度，所谓的定时调度，指的是在一定时间或者一定时间间隔内执行某个或者某些任务，而选择这些任务进行执行的过程就叫做任务调度
颜洛滨·2020-02-24 00:49

Streamsets项目git环境搭建

开发环境：windowsEclipse+git服务器环境：Linuxcentosstreamsets安装工具下载JDK安装包(1.8.0_60)（linux和windows下都需要安装）:http://
crazydane·2020-02-22 02:02

Java时间类库Timer的使用方法与实例详解

Timer简单易用，在一些业务场景下用来实现简单定时调度。
七弦桐·2020-02-20 15:53

Spring 解决定时任务执行两次的问题

第一种情况可能是spring扫描了两次比如spring-config\spring-mvc都扫描了改定时任务，则更改spring-mvc配置的扫描路径过滤定时调度第二种情况可能是tomcat配置导致容器被初始化两次由于
迷糊_·2020-02-16 10:24

Spring task定时调度

来源：http://itssh.cn/post/937.htmlspringtask定时调度，配置简单，无法集群，需单独部署xml配置：java代码：packagecn.sunmeng.demo.demo1
圆梦人生·2020-02-15 20:22

定时任务调度工具之Timer(一)

定时任务调度工具之Timer(一)一、什么是定时任务调度基于给定的时间点，给定的时间间隔或者给定的执行次数自动执行的任务二、Java中的定时调度工具Timer：由JDK直接提供，调用方式简单，不需要jar
JS_HCX·2020-02-14 20:56

深入理解scheduledthreadpoolexecutor

scheduledthreadpool是JDK自带的一个定时调度任务的实现，通过它可以实现定时的循环调度，最近在看线程池的源码，顺便也把它看了一下，发现里面的实现真的是很精彩，干货很多。
一只小哈·2020-02-11 06:16

一次jvm调优过程

jvm调优实战前端时间把公司的一个分布式定时调度的系统弄上了容器云，部署在kubernetes，在容器运行的动不动就出现问题，特别容易jvm溢出，导致程序不可用，终端无法进入，日志一直在刷错误，kubernetes
ZepheryWen·2020-01-21 10:00

Spring Boot 定时调度居然只用单线程？！

为防止打脸，先写明版本：springboot2.2.2.RELEASE一springboot中自带了一个轻量级的任务调度框架，使用也非常简单。添加注解@EnableScheduling，当然需要放在一个可以被扫描到的类上，比如启动类、使用了@Configuration的配置类。当然你要放在一个@Component的类上除了不太规范，我也无话可说。在需要定时运行的方法上加上@Scheduled注解，
憨憨的春天·2020-01-13 17:49

Python任务调度模块APScheduler

1、调度器(scheduler)2、作业存储(jobstore)3、执行器(executor)4、触发器(triggers)4.1、date定时调度（作业只会执行一次）4.2、interval:每隔一段时间执行一次
Jason笔记本·2020-01-11 00:00

Asp.Net Core下的开源任务调度平台ScheduleMaster

从何说起2017年初的时候，由于当时项目需要做了一个乞丐版定时调度系统，那时候只在单机上实现了核心的调度功能。做这个玩意之前也调研了社区中开源的解决方案，找了几个实地部署试跑了一下，其实都很不错。
balahoho·2020-01-09 16:00

如何设计稳定性横跨全球的 Cron 服务

导读这篇文章主要来描述下Google是如何实现一套可靠的分布式Cron服务，服务于内部那些需要绝大多数计算作业定时调度的团队。
尘世不扰·2020-01-03 00:16

Java定时任务调度工具详解

Java中定时调度工具：Timer和Quartz的区别1.来源：Timer由JDK自带，不需要引入多余的jar支持。Quartz需要引入jar包。2.能力：Quartz时间控制更强大，完善。
小螺丝钉cici·2019-12-31 06:22

初探提高系统定时调度频率

我的任务场景是比较简单的，就是每次定时调度批量处理某些任务。我的数据准备也是比较简单的，只需要观察此时线上每次调度时会处理的任务数，再加上后续业务上会扩张的任务数量，对任务数据量进行线下mock，然后
酱油和醋·2019-12-30 14:24

灵活强大的字符串替换工具类（时间变量替换）

如定时调度的sql，周期生成的文件等等，其中时间都只能是变量，执行时替换为数据日期。
CJLi·2019-12-29 04:59

Dispatch Source学习

DispatchSource可用来监听以下几类事件：TimerDispatchSource：定时调度源。SignalDispatchSource：监听UNIX信号调度源
杭研融合通信iOS·2019-12-28 22:31

使用Celery踩过的坑

Celery专注于实时处理任务，同时也支持任务的定时调度。因此适合实时异步任务定时任务等调度场景。
李俊伟_·2019-12-26 15:36

Spring Boot 2.x实战之定时任务调度

本文首发于个人网站：SpringBoot2.x实战之定时任务调度在后端开发中，有些场景是需要使用定时任务的，例如：定时同步一批数据、定时清理一些数据，在SpringBoot中提供了@Scheduled注解就提供了定时调度的功能
阿杜·2019-12-22 13:51

简单、轻量、功能非常强大的C#/ASP.NET定时调度任务执行管理组件--FluentScheduler之实例篇

本文首发于《简单、轻量、功能非常强大的C#/ASP.NET定时调度任务执行管理组件--FluentScheduler之实例篇》上篇《推荐一个C#/ASP.NET定时任务执行管理器组件》给大家介绍了一个用于
Rector·2019-12-21 15:57

10. Sqoop介绍

Oozie：ETL作业管理，实现多任务的定时调度和多任务之间的依赖调度。Hue提供了一个web界面，管理大数据框架的所
奉先·2019-12-20 22:53

Jave Timer 使用

Timer简单易用，在一些业务场景下用来实现简单定时调度。
丹青笔·2019-12-19 01:44

Linux下kettle的定时调度

类UNIX系统的调度命令：cron在类unix系统中，cron是经常使用的调度命令，是系统自带的。crontab是cron的调度文件，只要往这个文件里增加一个记录项，就会增加一个调度。crontab文件通常位于/etc/contab。crontab里的记录项就是一个字符串，这个字符串的前半部分是调度方式，后半部分是要调度的命令行，也就是kettle的kitchen（执行作业）和pan（执行转换）命
夏无忧阳·2019-12-17 03:23

StreamSets tutorial(hxd-55.107:port:18360)

Originsdirectoryimportdatafromserverdirectory{"@timestamp":"2017-04-19T07:49:22.014Z","beat":{"hostname":"A1799-SNDS-01"},"fields":{"file_type":"log","table_name":"OTH_SLIDER_LOG"},"message":"[01/17/2
crazydane·2019-12-15 21:25

SOA中springmvc中restful服务动态刷新token信息

摘要:SOA中springmvc中restful服务动态刷新token信息因为要考虑服务端token的动态刷新，而且还要单独启动定时调度任务去刷新token信息，保证token的时效及安全问题，直接分享动态刷新
安琪拉_4b7e·2019-12-07 03:42

SpringBoot动态定时任务开发指南

这样就能够在项目中开启定时调度功能了，并且这种方法支持通过cron表达式灵活的控制执行周期和频率。
飒拉阿依酱·2019-12-04 14:09

阿里架构师花近十年整理出来的可伸缩服务架构：框架与中间件pdf

本书的内容包括缓存分片、消息队列框架、数据库分库分表、分布式发号器、大数据查询系统、分布式定时调度任务系统、微服
IT程序员·2019-11-29 19:50

springmvc + mybatis + ehcache + redis 分布式架构

负载均衡：Keepalived+Nginx+Proxy(三重负载)云服务子系统：后台管理系统、Restfu服务系统、Dubbo服务/管控/监控中心Zookeeper注册中心、报表分析系统、日志记录系统、定时调度系统搜
swiftie10·2019-11-28 01:52

ASP.NET Core使用Quartz定时调度

在应用程序开发过程中，经常会需要定时任务调度功能，本篇博客介绍Asp.netCore如何使用Quartz完成定时调度一、Quartz使用步骤创建调度器scheduler，并开启创建Job作业创建tigger
锅盖、·2019-11-13 18:00

SpringBoot系列：Spring Boot集成定时任务Quartz

在java企业级应用中，Quartz是使用最广泛的定时调度框架。
yanger·2019-11-10 21:06

SpringBoot系列：Spring Boot集成定时任务Quartz

在java企业级应用中，Quartz是使用最广泛的定时调度框架。
杨小格子·2019-11-09 23:00

dubbo + springmvc + mybatis + ehcache + redis }企业大型互联网分布式架构{Java分布式架构

摘要:Jeesz目前包括以下模块项目，后台系统管理系统，RestFul独立服务系统、Scheduler定时调度系统、内容管理（CMS）系统、在线办公（OA）系统、我的待办（Task服务）、我的收藏（Bookmark
ITsupuerlady·2019-11-07 19:09

JEESZ分布式框架--技术介绍文档

Jeesz目前包括以下模块项目，后台系统管理系统，RestFul独立服务系统、Scheduler定时调度系统、内容管理（CMS）系
ITsupuerlady·2019-11-06 22:34

Hbase集群监控

qry=Hadoop:service=HBase,name=RegionServer,sub=Server设计：1.定时调度HbaseJmx去捞取数据，数据存放在Mysql，最新的
全能程序猿·2019-11-04 05:16
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他