大数据平台任务调度

Kafka 时间轮算法

文章目录前言Java任务调度TimerDelayedWorkQueue的最小堆实现时间轮Kafka中时间轮实现前言Kafka中存在大量的延时操作。发送消息-超时+重试机制的延时。
叫我二蛋·2023-09-22 04:07

STM32平台下的FreeRTOS移植

本文目的是在KeiluVision5(MDK)上把FreeRTOS移植到STM32平台上去，并练习使用FreeRTOS的任务调度功能目录（一）FreeRTOS简介1.实时操作系统FreeRTOS2.FreeRTOS
不#曾＆轻听·2023-09-21 13:32

FreeRTOS移植以及核心功能

文章目录freertos和ucos区别，优缺点比较移植步骤核心功能内存管理（5种内存管理策略）FreeRTOS任务调度算法有三种时间管理通信管理栈管理freertos和ucos区别，优缺点比较FreeRTOS
Is Fang·2023-09-21 13:26

linux十分钟调度一次,每天一个linux命令(1): crontab 命令

Linux的任务调度分类：系统任务调度用户任务调度crontab执行文件的含义通过crontab-e命令查看crontab文件,每一行
念汐叉·2023-09-21 13:08

Linux的定时任务--CronTab 命令详解及使用教程

（Nginx日志切割，数据库备份等）当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分钟会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。
Tdercode·2023-09-21 13:06

Linux crond命令使用介绍

目录前言一、crond简介系统任务调度用户任务调度二、crond服务三、crontab命令详解1．命令格式2．命令功能3．命令参数4．常用方法1).创建一个新的crontab文件2).列出crontab
一只农民工·2023-09-21 13:05

Spring Task（简略笔记）

介绍SpringTask是Spring框架提供的任务调度工具，可以按照约定的时间自动执行某个代码逻辑。
春来我不先开口，哪个虫儿敢作声?·2023-09-21 10:09

Java—多线程基础

多线程基础基本概念进程所谓进程就是运行在操作系统的一个任务，进程是计算机任务调度的一个单位，操作系统在启动一个程序的时候，会为其创建一个进程，JVM就是一个进程。
小宇java·2023-09-21 09:48

【操作系统笔记】任务调度&信号处理&CPU上下文

任务调度何时需要调度执行一个任务？
川峰·2023-09-21 04:30

Linux定时任务备份MySql和清理MySql日志

查询定时任务是否开启：servicecrondstatus备份数据：编辑任务调度时间：crontab-i300***bash/root/backup.shbackup.sh内容如下：mysqldump-h127.0.0.1
怪只怪满眼尽是人间烟火·2023-09-21 00:50

RHCE---网络服务

二、使用步骤1.引入库2.读入数据总结前言一.单一执行的例行性工作仅执行一次，执行过后自动删除AT命令概述：at命令是Linux下的一种任务调度工具，可以让用户在指定的时间运行一次命令，或在指定时间段内运行周期性的任务
北 染 星 辰·2023-09-20 23:06

线程池的任务调度流程

线程池的任务调度流程（包含接收新任务和执行下一个任务）大致如下：（1）如果当前工作线程数量小于核心线程数量，执行器总是优先创建一个任务线程，而不是从线程队列中获取一个空闲线程。
乘风2022·2023-09-20 12:20

Hadoop技术生态简介

文章来源：加米谷大数据大数据的发展历史当中，Hadoop技术框架是占据着重要地位的，历经十多年的时间，依然是企业搭建大数据平台基础架构的主流选择，围绕着Hadoop而生的大数据生态组件，也都各自发挥着各自的作用
会飞的鱼go·2023-09-20 11:56

部署大数据平台详细教程以及遇到的问题解答（ubuntu18.04下安装ambari2.7.3+HDP3.1.0）

节点准备：我搭建的是3台，节点可以随意。建议最少是3台hostnameip角色ubuntu-1804-1172.21.73.53从节点ubuntu-1804-2172.21.73.54主节点ubuntu-1804-3172.21.73.55从节点一：关闭所有节点的防火墙sudoufwdisable二：配置时钟同步NTP所有节点安装ntpsudoaptinstallntp以ubuntu-1804-2
@卓越俊逸_角立杰出@·2023-09-20 09:57

大数据开发工程师是做什么的？

熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术要求较高。
我想去吃ya·2023-09-20 01:05

HIVE控制导出数据的大小和数量

工作中碰到个需求，需要我去SFTP服务器采集HIVE导出的数据，由于这个大数据平台设计问题，很多东西没考虑到，他们的导出方式是用HIVE提供的insertoverwritelocaldirectory这个语句来导出
润土1030·2023-09-19 20:56

xxl-job分布式框架—— 路由策略

现在就开始讲解xxl-job的核心路由策略算法，总共有10种路由策略，对于以后想从事分布式微服务开发，任务调度的学习
south_wind_story·2023-09-19 17:34

XXL-JOB 执行器运行报错NoClassDefFoundError HttpObjectAggregator

xxl-job版本为2.3.1问题描述执行器启动时不报错，发生任务调度时，任务执行报错如下2023-04-1909:35:02.972WARN[nioEventLoopGroup-8-2][]i.n.c.ChannelInitializer
咕了个咕·2023-09-19 17:33

FreeRTOS学习笔记——（3）任务管理

系列文章目录文章目录系列文章目录一、任务的创建与删除1、什么是任务2、创建任务1、动态创建任务函数2、静态创建任务函数3、创建任务及删除任务二、任务优先级三、任务状态四、Delay函数五、空闲函数及钩子函数六、任务调度一
嵌入式小白之进阶之路·2023-09-19 17:01

DataWorks 全新发布：增强分析/数据建模个人版等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
·2023-09-19 17:23

相伴六年，Smartbi与荣耀共建数据化运营新生态

——荣耀大数据平台产品经理赵黄起随着中国科技企业迅速发展，越来越多科技企业开始意识到自主研发和创新的重要性，为了摆脱对国外技术的依赖性，他们
·2023-09-19 17:46

HTML学生中秋节日网页设计模板 DIV布局大学生中秋节网页作业制作 八月十五中秋静态网页成品代码下载 中秋节日网页设计作品

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU网页优选·2023-09-19 15:32

领略Quartz源码架构之美——前戏

quartz是一个由java编写的任务调度库。简单来说，其实就是我们在业务中需要使用的定时任务器。Quartz的使用？
向光奔跑_·2023-09-19 06:54

TDengine 与煤矿智能 AI 视频管理系统实现兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV
涛思数据（TDengine）·2023-09-19 05:46

生成式AI搭台，Data+Analytics唱戏 - Snowflake、Databricks2023年度大会前瞻

编者按：每年仲夏之际，全球两大数据平台巨头Snowflake、Databricks均会召开各自的年度大会，成为数据圈的“超级碗”。
云器科技·2023-09-18 23:07

18.SpringTask 定时任务框架

springTask是spring框架提供的任务调度工具，可以按照约定的时间自动执行某个代码逻辑1.回顾cron表达式cron分为七个域：秒、分钟、小时、日、月、周、年（可选），日与周只能定义一个另外一个设为
LB_bei·2023-09-18 22:33

智慧校园电子班牌系统开发 整套商业源码

“智慧校园电子班牌系统”主要针对中小学校园研发，为校园管理提供智慧管理方案，提供校园智慧管理平台，在大数据平台下，对应用系统进行统一、集中管理，囊括校园管理全方面，实现对校园、班级、教师、学生的管理，让管理更多面
淘源码d·2023-09-18 19:04

智慧校园源码，电子班牌人脸识别系统，智慧校园小程序源码

“智慧校园电子班牌系统”主要针对中小学校园研发，为校园管理提供智慧管理方案，提供校园智慧管理平台，在大数据平台下，对应用系统进行统一、集中管理，囊括校园管理全方面，实现对校园、班级、教师、学生的管理，让管理更多面
淘源码d·2023-09-18 19:04

Largrange项目架构与设计回顾 (二)

任务调度服务由于平台方面会有一些控制命令下发给
HashMapArrayList·2023-09-18 17:23

TDengine 3.1.1.0 来啦！更新如下

写在前面伴随2023年9月官网改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供TDengineEnterprise、TDengineCloud两大版本，在开源、云
·2023-09-18 16:59

TDengine 与煤矿智能 AI 视频管理系统实现兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV
·2023-09-18 15:27

分析hdfs文件变化及监控小文件

1、文档编写目的目前各个企业都在利用Hadoop大数据平台，每天都会通过ETL产生大量的文件到hdfs上，如何有效的去监测数据的有效性，防止数据的无限增长导致物理资源跟不上节奏，我们必须控制成本，让有限的资源发挥大数据的极致功能
jhonshonjs·2023-09-18 15:48

10. xxl-job 分布式任务调度

SpringCloud微服务系列文章，点击上方合集↑1.xxl-job介绍XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
小虎哥的技术博客·2023-09-18 13:39

数据中台基本概念

数据中台依赖于大数据平台完成数据研发全流程，同时增加了数据治理和数据服务化以及数据资
躺着听Jay·2023-09-18 10:19

HDP服务器上spark-sql联通hive元数据库

问题描述：金山云大数据平台(基于HDP)服务器上跑批数据加工脚本时，发现当中通过spark-sql执行的脚本没有执行，提示没有找到数据库；新打session窗口测试，通过spark-sql连接yarn后
NightFall丶·2023-09-17 23:44

IDEA Windows下SPARK连接Hive

文章目录IDEAWindows下SPARK连接Hive一、本地Windows环境配置二、IDEA项目配置1.POM配置2.资源文件配置3.测试验证一、本地Windows环境配置本地构建HADOOP客户端将大数据平台的
NightFall丶·2023-09-17 23:44

Spring Task

SpringTask是Spring框架提供的一种定时任务调度功能，它允许开发者在指定的时间间隔或时间点上执行特定的任务。
大都督老师·2023-09-17 22:09

Airflow环境搭建

1Airflow简介1.1简介ApacheAirflow是⼀个提供基于DAG（有向⽆环图）来编排⼯作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。
相遇花海·2023-09-17 17:24

任务调度系统——Airflow

文章内容输出来源：拉勾教育大数据高薪训练营第1节Airflow简介Airflow是Airbnb开源的一个用Python编写的调度工具。于2014年启动，2015年春季开源，2016年加入Apache软件基金会的孵化计划。Airflow将一个工作流制定为一组任务的有向无环图(DAG)，并指派到一组计算节点上，根据相互之间的依赖关系，有序执行。Airflow有以下优势:灵活易用。Airflow是Pyt
涛99·2023-09-17 17:53

15运维了解流程编排工具 Airflow 的基本用法，包括 DAG 编写、任务调度

安装和配置DAG编写任务调度总结什么是Airflow？Airflow是一个基于Python的开源流程编排工具，它可以帮助用户创建、调度和监控复杂的工作流程。
玩机科技社·2023-09-17 17:23

airflow调度框架

airflow调度框架1.认识大数据1.1、什么是大数据1.2、大数据分析应用场景2.任务调度相关概念2.1、什么是任务调度2.1.1、任务调度：实现执行程序的、规范化、自动化、可视化、集中化、统一调度和监控
Liberation-army·2023-09-17 17:53

（三十一）大数据实战——一键式DolphinScheduler高可用工作流任务调度系统部署安装

前言DolphinScheduler（DolphinScheduler）是一个分布式、易扩展的开源DAG（有向无环图）工作流任务调度系统，可用于构建大规模数据处理、数据仓库、ETL等复杂的数据处理和数据分析场景
北溟溟·2023-09-17 10:12

Apache Spark 在爱奇艺的应用实践

01ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架，并支持部分流计算任务，用于数据处理、数据同步、数据查询分析等场景：数据处理：在数据开发平台中支持开发者提交
爱奇艺技术产品团队·2023-09-17 09:39

分布式任务处理

1.分布式任务调度对一个视频的转码可以理解为一个任务的执行，如果视频的数量比较多，如何去高效处理一批任务呢？1、多线程多线程是充分利用单机的资源。
无条件做异梦·2023-09-17 05:50

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。
000X000·2023-09-16 21:54

大数据安全组件-Kerberos认证+Ranger权限研究

大数据的安全管控权限的管控，历来是大数据平台中最让人头疼的问题之一。管得严了，业务不流畅，用户不开心，放得宽了，安全没有底，你能放心？
振宅的博客·2023-09-16 12:40

【ODPS新品发布第1期】DataWorks全新发布：增强分析/数据建模个人版等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
阿里云大数据AI技术·2023-09-16 09:55

Spark

以下是ApacheSpark的一些基本概念：SparkCore：这是Spark的基本引擎，提供了分布式任务调度、内存数据存储和数据处理等核心功能。RDD（弹性分布式数据集）：Spark的
山塘小鱼儿·2023-09-16 08:20

企业可以自己建立大数据平台吗？有哪些好处？

因此不少企业在问，企业可以自己建立大数据平台吗？有哪些好处？企业可以自己建立大数据平台吗？有哪些好处？答案肯定是可以的。有条件的企业可以建立属于自己的大数据平台。
行云管家·2023-09-15 17:23

Spark架构原理

首先和MapReduce一个应用一次只运行一个map和一个reduce不同，Spark可以根据应用的复杂程度，分割成更多的计算阶段（stage），这些计算阶段组成一个有向无环图DAG，Spark任务调度器可以根据
do_young·2023-09-15 13:29
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他