大数据平台任务调度

如何利用 Kubernetes 的新 CronJob API 进行高效的任务调度

Kubernetes的CronJobAPI是在云原生环境中自动执行常规任务的关键功能。本指南不仅引导您完成使用此API的步骤，还说明了它非常有用的实际用例。先决条件正在运行的Kubernetes集群（版本1.21或更高版本）kubectl命令行工具Kubernetes基础知识（Pod、Jobs、CronJobs）了解CronJobAPIKubernetes中的CronJob资源专为基于时间的作业执
沃趣数据库管理平台·2023-12-22 07:21

本地数仓项目(三）—— 数据可视化和任务调度

1背景本文基于《本地数据仓库项目(一)——数仓搭建详细流程》和《本地数仓项目(二)——搭建系统业务数仓详细流程》数据为依托，实现数据可视化和任务调度2构造可视化数据在mysql中新建ads_uv_count
不以物喜2020·2023-12-21 21:37

第 7 章、实操篇 crond 任务调度

2、概述任务调度：是指系统在某个时间执行的特定的命令或程序。任务调度分类：1.系统工作：有些重要的工作必须周而复始地执行。
神奇作手·2023-12-21 20:38

Java线程概念详解

代码)的集合2.进程:正在运行的程序(被加载到内存中),是操作系统进行资源分配的最小单位3.线程:进程可以进一步细化为线程(比进程更小)且线程是隶属于进程的,是操作系统执行的最小的执行单元也是cpu进行任务调度的最小单位如
萌新小码农‍·2023-12-21 18:33

2023大数据应用开发赛题02套

目录2023年全国职业院校技能大赛赛题第02套任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：Flume安装配置子任务三：FlinkonYarn安装配置任务
长风有续X·2023-12-21 17:54

2023大数据应用开发赛题03套

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：HadoopHA安装配置子任务二：Hive安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三
长风有续X·2023-12-21 17:52

Centos7定时任务-crontab

当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。
-麦_子-·2023-12-21 16:40

quartz入门

quartz入门Quartz简介及应用场景1.Quartz介绍任务调度框架“Quartz”是OpenSymphony开源组织在Jobscheduling领域又一个开源项目，是完全由java开发的一个开源的任务日程管理系统
weixin_43710113·2023-12-21 12:32

WorkManager的使用

这是通过将任务调度信息存储在持久性存储中，以及使用系统JobScheduler（在Android6.0及
在下嗷呜·2023-12-21 09:23

Elasticsearch集群腾讯云迁移到线下机房（无感迁移）

背景要求：公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Elasticsearch实现
小孟多·2023-12-21 09:58

全网最新版的超详细的xxl_job教程（2023年），以及解决“调度失败：执行器地址为空”的问题

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即
互联网全栈开发实战·2023-12-21 08:38

实时化与 Serverless 是开源大数据 3.0 时代的必然选择

核心组件全面Serverless化在大会上，阿里云开源大数据平台负责人王峰，回顾了阿里
阿里云大数据AI技术·2023-12-21 08:00

xxl-job 分布式调度学习笔记

1.概述1.1什么是任务调度业务场景：上午10点，下午2点发放一批优惠券银行系统需要在信用卡到期还款日的前三天进行短信提醒财务系统需要在每天凌晨0:10分结算前一天的财务数据，统计汇总不同系统间的数据需要保持一致
HainesFreeman·2023-12-21 07:16

【spark】spark内核调度(重点理解)

Spark为什么比MapReduce快spark并行度如何设置并行度：spark.default.parallelism集群中如何规划并行度spark的任务调度Spark运行中的概念名词大全spark内核调度
小赵要加油·2023-12-21 01:56

第二十一章 ： Spring Boot 集成定时任务（一）

第二十一章：SpringBoot集成定时任务（一）前言本章知识点：介绍使用SpringBoot内置的@Scheduled注解来实现定时任务-单线程和多线程；以及介绍Quartz定时任务调度框架：简单定时调度器
半部论语·2023-12-20 20:18

海豚²来了丨DolphinDB 集成 DolphinScheduler，任务调度更轻松

DolphinDB是一款高性能时序数据库。DolphinDB集成了功能强大的编程语言和高容量高速度的批流一体数据分析系统，为海量数据（特别是时间序列数据）的快速存储、检索、计算及分析提供一站式解决方案。在实际生产环境中，经常存在数据导入、转换、查询计算，更新等一系列流程任务，各个部分之间存在依赖，如何将这些DolphinDB任务按照需求准确、有效率地调度，可以借用DolphinScheduler任
DolphinDB智臾科技·2023-12-20 20:30

49spark宽窄依赖和任务调度

join算子作用在K,V格式的RDD上。根据K进行连接，对（K,V）join(K,W)返回（K,(V,W)）join后的分区数与父RDD分区数多的那一个相同。leftOuterJoin,rightOuterJoin,fullOuterJoinunion合并两个数据集。两个数据集的类型要一致。返回新的RDD的分区数是合并RDD分区数的总和。intersection取两个数据集的交集，返回新的RD
文茶君·2023-12-20 19:34

配置和使用 IBM Spectrum LSF 集成

通过使用作业级任务调度程序，在单个LSF作业的分配范围内，运行大量短期任务的集合，该任务级任务调度程序为该作业分配一次资源，并为每个任务重用分配的资源。
小信瑞·2023-12-20 14:14

RTOS中的任务通知

裸机的时钟源默认是SysTick，但是开启FreeRTOS后，FreeRTOS会占用SysTick（用来生成1ms定时，用于任务调度），所以我们开启TIM2当做裸机的时钟源，为其他总线提供另外的时钟源。
yangdongdeboke·2023-12-20 13:08

RTOS中的事件标志组验证

裸机的时钟源默认是SysTick，但是开启FreeRTOS后，FreeRTOS会占用SysTick（用来生成1ms定时，用于任务调度），所以我们开启TIM2当做裸机的时钟源，为其他总线提供另外的时钟源。
yangdongdeboke·2023-12-20 13:34

Cloudera Manager大数据平台|Cloudera Manager视频教程

网盘地址：https://pan.baidu.com/s/1GHMEiOVolk2ZFefuX5SExA提取码:ax5d备用地址（腾讯微云）：https://share.weiyun.com/5izjs5M密码：kfpixg课程目标对已经从事相关大数据工作的学员可以精通ClouderaManager适用人群零基础学员，大数据爱好者课程特色：1、阐述了ClouderaManager的产生背景和应用场
爱笑小哥·2023-12-19 15:29

在RTOS中验证互斥量有效解决优先级反转现象

裸机的时钟源默认是SysTick，但是开启FreeRTOS后，FreeRTOS会占用SysTick（用来生成1ms定时，用于任务调度），所以我们开启TIM2当做裸机的时钟源，为其他总线提供另外的时钟源。
yangdongdeboke·2023-12-19 15:00

RTOS队列的写入与读出

裸机的时钟源默认是SysTick，但是开启FreeRTOS后，FreeRTOS会占用SysTick（用来生成1ms定时，用于任务调度），所以我们开启TIM2当做裸机的时钟源，为其他总线提供另外的时钟源。
yangdongdeboke·2023-12-19 15:00

RTOS中任务的创建与删除

裸机的时钟源默认是SysTick，但是开启FreeRTOS后，FreeRTOS会占用SysTick（用来生成1ms定时，用于任务调度），所以我们开启TIM2当做裸机的时钟源，为其他总线提供另外的时钟源。
yangdongdeboke·2023-12-19 15:30

在RTOS中验证二值信号量与计数型信号量

裸机的时钟源默认是SysTick，但是开启FreeRTOS后，FreeRTOS会占用SysTick（用来生成1ms定时，用于任务调度），所以我们开启TIM2当做裸机的时钟源，为其他总线提供另外的时钟源。
yangdongdeboke·2023-12-19 15:28

助力 Shopee 重构系统发布 ETL 功能，SeaTunnel 在电商巨头的实践经验

Shopee一直致力于构建大数据平台，为业务提供数据支持。我们提供了涵盖数据开发整个生命周期的多种工具。
大数据技术架构·2023-12-19 14:55

常用shell之 crontab - 定时任务调度 的用法和衍生用法

crontab是一个用于设置和管理定时任务调度的命令行工具，通常在Unix和Linux系统中使用。它允许用户创建、编辑、列出和删除定期执行的任务。
三水青一人尤·2023-12-19 14:49

我对大数据的理解

在这种大环境下，部分企业或政府建立的大数据平台，并且在此之上建立了数据湖、数据仓库、数据中台。相关概念或定义如下：大数据平台是一个以处
王永翔·2023-12-19 07:54

手写RTOS准备

对于一个简单的RTOS，你可能需要包括以下功能：任务调度：（TaskScheduling）：这是RTOS最核心的功能之一。它允许系统支持多个任务（或线程）的运行，并在它们之间进行有效的切换。
小昭dedug·2023-12-19 06:20

C++ 多线程基础及 C++11 多线程库总结

1.多线程基础1.1进程与线程根本区别：进程是操作系统资源分配的基本单位，线程是任务调度和执行的基本单位开销方面：每个进程都有自己独立的代码和数据空间，程序之间的切换开销较大。
kuweicai·2023-12-19 00:16

大数据平台架构（Lambda、Kappa、SMACK）

大数据平台的架构和企业级应用的架构是很不一样的，使用的技术也不同。经过多年的发展，业界已孕育出了一些较为成熟的架构模式，如Lambda架构、Kappa架构及Smack架构。
高国才·2023-12-18 22:35

物业、消防大数据平台页面，小区物业大数据监控服务平台（PS资料）

现分享消防可视化大数据大屏网页界面、简约物业大数据平台页面、小区物业大数据监控服务平台模版的UI源文件，供UI设计师们快速获取PSD源文件完成工作。
77探索AI·2023-12-18 22:50

linux的定时任务Corntab

安装crontab#yum安装crontabyuminstall-ycrontab#开机自启crond服务并现在启动systemctlenable--nowcrondcron系统任务调度系统任务调度：系统周期性所要执行的工作
五敷有你·2023-12-18 18:58

Spring Task

一、简介SpringTask是Spring框架中用于任务调度和异步执行的模块。它提供了一组API和注解，用于在后台线程中异步执行方法，或者按照预定的时间表或事件触发器来定时执行方法。
学CAD的河狸·2023-12-18 16:44

使用crontab进行MySQL数据库定时备份和日志清理

当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分钟会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。
一只夜猫子·2023-12-18 15:31

DKhadoop大数据平台基础框架方案概述

大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！现在关于大数据的知识分享可以说已经是铺天盖地了，作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富，毕竟学习的时间也
yoku酱·2023-12-18 14:57

XXL-JOB的一些概念

XXL-JOB任务调度中心参考文章任务类型BEAN模式:类形式、方法形式Bean模式任务，支持基于方法的开发模式，每个任务对应一个方法。
greedy-hat·2023-12-18 07:09

C# 进程的任务管理

try{//进程任务调度using(ProcessmyProcess=newProcess()){ListTaskList=newList();Tasktask1=newTask(()=>{Task.Delay
沪上百卉·2023-12-18 07:32

Schedu，Quartz，Timer 三种定时任务

1.Schedu（基于ScheduledExecutorService的定时任务）特点：基于线程池：ScheduledExecutorService是基于线程池的定时任务调度器。
忠于衷于钟于终于·2023-12-18 04:12

Linux系统 xxl-job下载安装

xxl-job调度中心docker部署xxl-job调度中心xxl-job简介xxl-job官网地址：https://www.xuxueli.com/xxl-job/1.概述XXL-JOB是一个分布式任务调度平台
mry6·2023-12-18 00:57

Linux 定时任务调度

任务调度：系统在某个特定时间执行的特定命令和程序分类：系统工作：有些重要的工作必须周而复始的执行（病毒扫描）。用户工作：个别用户希望可以执行某些程序（定期对mysql数据库备份）。
Manfestain·2023-12-17 17:07

2w字详解数据湖：概念、特征、架构与案例

数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。
公众号:肉眼品世界·2023-12-17 15:33

大规模数据可视化（纯文字干货科普）

目录大规模数据可视化的挑战数据量问题性能考量实时数据数据可视化的关键技术数据预处理高效的数据结构前端技术工具和框架商业工具开源工具大数据平台集成案例研究和实际应用行业案例分析教训和见解未来趋势和发展方向人工智能在数据可视化中的应用交互式和沉浸式体验声明
昊昊该干饭了·2023-12-17 07:34

基于Hadoop的铁路货运大数据平台设计与应用

完整下载：基于Hadoop的铁路货运大数据平台设计与应用基于Hadoop的铁路货运大数据平台设计与应用DesignandApplicationofRailwayFreightBigDataPlatformbasedonHadoop
wusp1994·2023-12-17 06:24

企业大数据平台技术体系架构

如何利用大数据技术构建企业大数据平台，以充分体现大数据的价值，是各行
皮皮杂谈·2023-12-17 05:50

异步数据处理公共逻辑记录

代码展示/***任务调度*@paramfetchFunction拉取任务*@paramtotalNumFunction总数获取任务*@paramstoreFunction存储任务*@return任务是否成功
北堂飘霜·2023-12-17 00:55

2、APScheduler分布式任务调度、监听器的用法【Python3测试任务管理总结】

分布式任务调度APScheduler提供了分布式任务调度的支持，允许你在多个节点上执行任务。这对于需要横向扩展和分布式部署的应用程序来说非常有用。
小蟒天天向上·2023-12-16 20:15

3、APScheduler: 详解Trigger种类和用法【Python3测试任务管理总结】

APScheduler提供了多种类型的触发器（Trigger），每种触发器适用于不同的任务调度需求。触发器包含调度逻辑。每个作业都有其自己的触发器，该触发器确定作业应该在何时运行下一次。
小蟒天天向上·2023-12-16 20:15

云原生周刊：Kubernetes v1.29 新特性一览 ｜ 2023.12.11

runwhen是一个灵活的任务调度工具，可以根据条件和时间表来执行任务。通过runwhen-local，开发者可以在本地测试和
KubeSphere 云原生·2023-12-16 18:03

“橙信通”赣南脐橙果品加工企业“入网入云”工作启动会圆满召开！

赣州市果业局市场科副科长黄传龙、安远县政府副县长陈建伟、安远县农业农村局相关领导、安远县电商办负责人、橙信通大数据平台执行总裁闫行、江西顺丰速运有限公司代表、赣州万吉物流有限公司代表，信丰县、会昌县、崇义县
橙信通大数据平台·2023-12-16 18:38
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他