大数据平台任务调度

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台
·2023-08-23 12:52

LInux之例行工作

目录场景单一执行例行任务---at（一次性）安装命令详解语法格式参数及作用时间格式案例at命令执行过程分析循环执行的例行性任务--crontab（周期性）crontd服务安装linux任务调度的工分类crontab
White乄joker·2023-08-23 11:11

大数据平台架构及主流技术栈

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Ha
飞鸡起飞·2023-08-23 11:06

微服务技术概论

服务可以使用不同的语言、不同的存储技术微服务相关技术服务调用服务降级服务注册与发先服务熔断负载均衡服务消息队列服务网关配置中心管理自动化构建部署服务监控全链路追踪服务定时任务调度操作Spring
run~run~run~~~·2023-08-23 10:06

DolphinScheduler任务调度源码剖析

目录1.数据库表2.整体运行流程3.源码剖析3.1apiserver任务执行入口3.2master调度任务3.2.1master启动3.2.2command扫描3.2.3.workerFlowEvent消费3.2.4.workerflow事件处理逻辑3.2.5.workerflowRunnable运行逻辑3.2.6.任务消费3.2.7.任务分派3.3.worker执行任务3.3.1.Worker启
键盘上的艺术家w·2023-08-23 05:08

SpringBoot集成分布式任务调度xxl-job

一、什么是xxl-job官网上一句话：XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
小虎哥的技术博客·2023-08-23 03:27

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出
·2023-08-22 15:47

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

解决方案包含开源大数据平台E-MapReduce(EMR)，一站式大数据数据开发治理平台DataWorks，数据湖构建DLF，对象存储OSS等核心产品。
·2023-08-22 10:13

Quartz任务调度框架介绍和使用

但是相较于Timer，Quartz增加了很多功能：1.持久性作业-就是保持调度定时的状态;2.作业管理-对调度作业进行有效的管理;Quartz是一个强大任务调度框架，可以用来干嘛？简单来说就
西晋的no1·2023-08-22 06:06

大数据平台是什么意思？有什么用？一般包含哪些模块？

大数据时代，还有很多人不知道大数据平台是什么意思？有什么用？一般包含哪些模块？今天我们就一起来简单了解一下吧！仅供参考哦！大数据平台是什么意思？有什么用？一般包含哪些模块？
行云管家·2023-08-22 03:23

okhttp——网络请求模型

拦截链详细代码我们知道，在okhttp的任务调度模型中，最终任务，会调用execute方法。我们先来看execute方法。overri
oceanLong·2023-08-21 23:49

01.前后端分离中台框架后端 Admin.Core 学习-介绍与配置说明

支持多租户、数据权限、动态Api、任务调度、OSS文件上传、滑块拼图验证、多数据库，分布式缓存、分布式事务等接口文档一览项目地址Githubhttps://github.com/zhontai/Admin.Core
·2023-08-21 22:15

电商项目part03 电商支撑服务梳理

分布式任务调度系统1、contab指令快速实现简单的定时任务在Linux机器上直接使用crontab-e指令，就可以编辑一个简单的调度任务，适用于请求量不是很大的情况*****echo"timer">/
渔阳节度使·2023-08-21 18:29

大数据技术选型

MySql、HDFS、Hbase、Redis、MongoDB数据计算Hive、Tez、Spark、Flink数据查询Presto、Druid、Impala、Kylin数据可视化Echarts、QuickBI任务调度
菜鸟社长·2023-08-21 16:12

Koordinator 异构资源/任务调度实践

Koordinator不仅擅长混部场景，也同样支持大数据、AI训练等任务调度场景。本文分享了使用Koordinato
·2023-08-21 14:13

自己动手写任务调度平台

本文项目Github地址：https://github.com/zhouhuanghua/z-job什么是任务调度平台呢？暂时不做解释，先来看一下定时器的发展历史吧！
西红柿系番茄·2023-08-21 13:22

linux任务调度框架,任务调度框架Hangfire 简介

任务调度是我们项目中常见的功能，虽然任务调度的功能实现本身并不难，但一个好用的轮子还是可以给我们的开发的效率提升不少的。
谢丽鹿·2023-08-21 13:22

集成了这个分布式任务调度平台，真的很爽~~

Quartz-NET、Hangfire是很多小伙伴的首要选择，但如果要弄一个通用、灵活配置的调度平台，还得花很多时间进行封装；当然也有一些小伙伴造了轮子，用起来也还不错；但这里想给小伙伴们介绍XXL-JOB分布式任务调度平台
Code综艺圈·2023-08-21 13:22

实现一个任务调度系统，这篇文章就够了

阅读一篇「定时任务框架选型」的文章时，一位网友的留言电到了我：我看过那么多所谓的教程，大部分都是教“如何使用工具”的，没有多少是教“如何制作工具”的，能教“如何仿制工具”的都已经是凤毛麟角，中国软件行业，缺的是真正可以“制作工具”的程序员，而绝对不缺那些“使用工具”的程序员！…”这个业界最不需要的就是“会使用XX工具的工程师”，而是“有创造力的软件工程师”！业界所有的饭碗，本质就是“有创造力的软件
勇哥java实战分享·2023-08-21 13:51

新一代分布式任务调度框架：当当elastic-job开源项目的10项特性

一、为什么需要作业（定时任务）？作业即定时任务。一般来说，系统可使用消息传递代替部分使用作业的场景。两者确有相似之处。可互相替换的场景，如队列表。将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理。这种情况使用消息中间件的推送模式可更好的处理实时性数据。而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储。但在某些场景下则不能互换：时间驱动OR事件驱动：内部系统
bidi1949·2023-08-21 13:20

基于spring-quartz的动态数据源与异构任务调度中心设计

本篇主要讲基于springquartz的多数据源、动态数据源，多任务调度中心架构原理与实现，源码分享。在企业应用中，很多服务都是依托数据来展开的，数据是各企业的核心资源之一。
Feify@肥肥·2023-08-21 13:50

造个轮子-任务调度执行小框架-任务执行器代理实现

文章目录前言执行器代理代理对象任务清单代理对象任务清单执项对象处理handler对象状态对象代理工厂任务清单代理工厂清单任务项代理工厂总结前言不知道为啥，今天好像学不进去，没办法，那就继续编码吧。那么今天的话，加更一篇文章，那就是咱们这个任务执行器的实现。先前我们是实现到了这个部分，那么现在的话，我们实现的是这个部分。（ps:文末看到项目地址）：蓝色部分的内容，当然这个是完整的执行器，因此对于生命
The_way_inf·2023-08-21 13:49

dolphinscheduler 1.3.6源码解析

org.apache.dolphinscheduler.server.master.MasterServer,通过spring注解@PostConstruct启动run方法.master节点在启动时,主要做了以下4个事:通过netty监听端口,与worker节点通信在注册中心(zk)上注册自己启动任务调度线程启动
·2023-08-21 11:26

解决方案：如何在 Amazon EMR Serverless 上执行纯 SQL 文件？

《大数据平台架构与原型实现：数据中台建设实战》一书由博主历时三年精心创作，现已通过知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-08-21 07:41

Airflow解析

0x00前言最近项目原因，调研了一下Airflow，作为Airbnb开源到Apache的项目，主要解决任务调度执行的问题。
ehocchen·2023-08-21 07:09

大数据面试题：Spark的任务执行流程

2）Spark的调度流程；3）Spark的任务调度原理；4）Spark的任务提交和执行流程；5）Spark任务调度到yarn上面，流程；6）Sparkjob提交过程讲一下？
蓦然_·2023-08-20 20:02

慕课大数据工程师2023版 雪虐风饕愈凛然

download：慕课大数据工程师2023版雪虐风饕愈凛然大数据工程师的职责和技能大数据工程师的主要职责是构建和维护大数据平台，包括数据采集、存储、处理、分析、挖掘、可视化等环节。
·2023-08-20 14:14

Rhcsa1（破解密码+Mobaxterm连接虚拟机中Linux+ vmware虚拟机三种网络模式(桥接、NAT、仅主机）+路径+命令行）

R内核的主要职责是：进程管理、磁盘管理、任务调度、内存管理等），驱动的同时还需要有人在工作，内核之上有应用程序，统称为操作系统OS。快照：是一种备份方式，打快照就是对某一个磁盘在某一个时间点上的数据
Hanhan|·2023-08-20 10:45

Python之celery的简介与使用

celery的简介  celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。
山阴少年·2023-08-20 05:28

任务调度之时间轮实现 | 京东云技术团队

前言在生活中太阳的东升西落，鸟类的南飞北归，四级的轮换，每天的上下班，海水的潮汐，每月的房租车贷等等，如果用程序员的视角看，这就是一个个的定时任务，在日常的开发工作中也有很多的定时任务场景：数仓系统凌晨进行的数据同步订单12小时未支付的状态校验rpc调用超时时间的校验缓存数据失效时间的延长定时开启的促销活动……假如现在有一个任务需要3s后执行，你会如何实现？简单点，直接一个线程的休眠，thread
·2023-08-19 15:17

17万字数字化医院信息化建设大数据平台建设方案WORD

导读：原文《17万字数字化医院信息化建设大数据平台建设方案WORD》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
智慧城市2030·2023-08-19 14:20

RT-Thread实时操作系统学习篇（一）----系统介绍

基本属性之一是支持多任务，允许多个任务同时运行并不意味着处理器在同一时刻真地执行了多个任务（与多线程的调度机制原理一致，不过可以设置线程的调度时间），在某一时刻，一个CPU只允许一个任务运行，由于运行时间短，任务调度器控制任务间快速切换
Owl City·2023-08-19 12:41

任务调度利器：Celery

Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个异步发送邮件的服务。
JokerW·2023-08-19 11:49

虫情测报系统的工作原理及功能优势

工作原理：KH-CQPest虫情测报系统主要是由诱捕装置、高清摄像头、传送带、杀虫仓和智慧农业大数据平台组成。当夜幕来临时，虫情测报系统会自
山东仁科·2023-08-19 07:02

【Freertos基础入门】任务调度

文章目录前言对于前面博客的总结一、任务调度算法是什么？
人才程序员·2023-08-19 07:41

Java异步方法CompletableFuture类的使用

newThread(()->{//异步操作代码}).start();2、使用线程池Executor框架：Executor框架提供了一种更高级别的异步执行机制，可以管理线程池和任务调度。
China渔火·2023-08-19 01:35

springboot中的线程池

1.springboot线程池定时任务类org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler参考springboot线程池任务调度类
Bejpse·2023-08-19 00:44

【XXL-JOB】整合xxl-job

关于分布式任务调度XXL-JOB，不做介绍，自行官网查看。
北孤青茶·2023-08-18 23:41

Quartz任务调度笔记

一、概念1.1简介Quzrtz是OpenSymphony开源组织在Jobscheduling领域的开源项目特点：Quartz具有丰富特性的"任务调度库"，能够集成于任何的Java应用，小到独立的应用，大到电子商业系统
慕木兮人可·2023-08-18 16:57

【学习日记】【FreeRTOS】任务调度时如何考虑任务优先级——任务的自动切换

写在前面本文开始为RTOS加入考虑任务优先级的自动调度算法，代码大部分参考野火。本文主要是一篇学习笔记，加入了笔者自己对野火代码的梳理和理解。一、基本思路首先我们要知道，在RTOS中，优先级越高、越需要被先执行的的任务的优先级的数字越大。比如优先级数字为5的任务就要比优先级数字为1的任务先执行。在之前我们定义过就绪列表。所谓就绪列表，就是一个包含多条链表的数组，其中的每条链表又包含多个TCB作为列
__Witheart__·2023-08-18 05:24

网易互娱出海之旅：大数据平台上云架构设计与实践

2020年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能EBS块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前业务场景、与历史业务更为兼容，还要比公有云的EMR托管方案更为经济。我们主要从存储、计算和数据分层生命周期管
Juicedata·2023-08-17 22:20

存算分离实践：构建轻量、云中立的大数据平台

今天我们将分享社区用户多点DMALL的案例。多点DMALL是亚洲领先的全渠道数字零售解决方案服务商，目前已与380家零售企业达成合作，覆盖6个国家和地区。面对B端客户日益增长的企业数据，存算一体的架构显得力不从心。计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
Juicedata·2023-08-17 22:48

RTOS面试常问题目

的实时性是如何实现的任务之间是如何通信的二值信号量和互斥量的区别任务通知是怎么是实现的RTOS内核是怎么调度的FreeRTOS四种任务状态RTOS的实时性是如何实现的一个处理器核心在某一时刻只能运行一个任务，操作系统中任务调度器的责任就是决定在某一时刻究竟运行哪个任务
Ricardoxxx·2023-08-17 21:22

FreeRTOS

RTOS面试常问题目_freertos面试题_Ricardoxxx的博客-CSDN博客一、freertos问从上电到启动的流程，任务有几种优先级，任务调度有哪几种方式，对freertos的认识和理解1、
活蹦乱跳酸菜鱼·2023-08-17 21:22

如何使用Asp.net Core实现定时任务，轻松解决任务调度问题！

对于这种需求，我们可以使用第三方库（如Hangfire或Quartz.NET）来实现任务调度和执行，也可以使用asp.netcore自带的Hosting模块和System.Timers.Timer类来实现简单的定时任务
冲浪中台·2023-08-17 20:44

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。
DolphinScheduler社区·2023-08-17 18:31

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。
·2023-08-17 18:35

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。
·2023-08-17 18:58

【一天一大 lee】任务调度器 (难度:中等) - Day20201205

题目:给你一个用字符数组tasks表示的CPU需要执行的任务列表。其中每个字母表示一种不同种类的任务。任务可以以任意顺序执行，并且每个任务都可以在1个单位时间内执行完。在任何一个单位时间，CPU可以完成一个任务，或者处于待命状态。然而，两个相同种类的任务之间必须有长度为整数n的冷却时间，因此至少有连续n个单位时间内CPU在执行不同的任务，或者在待命状态。你需要计算完成所有任务所需要的最短时间。示例
前端-小书童·2023-08-17 15:54

Quartz

voidexecute(JobExecutionContextcontext)JobDetail表示一个具体的可执行的调度程序，Job是这个可执行程调度程序所要执行的内容，另外JobDetail还包含了这个任务调度的方案和策略
YLiuY·2023-08-17 14:05
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他