大数据平台任务调度

用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验

2021年初，蜀海信息技术中心大数据技术研发团队开始测试用DolphinScheduler作为数据中台和各业务产品项目的任务调度系统工具。
DolphinScheduler社区·2023-09-07 06:29

线程

线程和进程进程是操作系统资源分配的基本单位，而线程是任务调度和执行的基本单位,每个进程都有独立的代码和数据空间(进程上下文),进程切换的开销大。
d24b5d9a8312·2023-09-07 03:18

十二、freeRTOS_资源管理

任务A、B都可以使用临界资源，那么访问临界资源前，先禁止任务调度假设任务A先禁止任务调度，那么任务B就无法执行，任务A可以安心访问临界资源假设任务B先禁止任务调度，那么任务A就无法执行，任务B可以安心访问临界资源任务
代码_钢琴家·2023-09-07 02:12

【微服务】一张图搞懂微服务架构设计

一张图搞懂微服务架构设计1.前言2.流量入口Nginx3.网关4.业务组件5.服务注册中心6.缓存和分布式锁7.数据持久层8.结构型数据存储9.消息中间件10.日志收集11.任务调度中心12.分布式对象存储
G皮T·2023-09-06 16:04

FreeRTOS源码分析-14 操作系统多任务核心

1列表及列表项概念及其应用1.1freeRTOS列表介绍任务调度列表介绍其他组件列表介绍1.2列表及列表项的定义双向链表结构1：插入与删除效率高，只要操作一次就能完成2：对数据的管理更加灵活与便捷，有利于编写逻辑清晰的程序
4IOT·2023-09-06 15:13

用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验

2021年初，蜀海信息技术中心大数据技术研发团队开始测试用DolphinScheduler作为数据中台和各业务产品项目的任务调度系统工具。
·2023-09-06 12:52

任务调度设计

目录一、页面任务配置DAG图二、实现方式11、根据DAG的顺序执行任务设计（java实现）2、任务定时调度起来3、多台机器怎么保证同一个任务只执行一次？4、某台服务器要是挂了怎么办？5、如何判断服务器挂掉了？三、实现方式21、任务定时调度起来2、如何保证定时任务只在一台机器调度？3、机器挂了怎么办？4、定时任务还在跑，失效时间就过了怎么办？5、如何判定任务有没有跑完？一、页面任务配置DAG图二、实
9随遇而安·2023-09-06 12:43

大数据平台之元数据

表、字段的元数据信息是大数据平台建设的基础，随着业务发展，会发现，若一开始对这一块基础没设计好，会遇到很多问题（原以为元数
9随遇而安·2023-09-06 12:12

流批一体在京东的探索与实践

01整体思考提到流批一体，不得不提传统的大数据平台——Lambda架构。它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开发维护成本以及数据口径不一致是无法忽视的缺陷。
浪尖聊大数据-浪尖·2023-09-06 02:14

【数据结构与算法】【算法思想】分治算法

MapReduce框架只是一个任务调度器，底层依赖GFS来存储数据，依赖Borg管理机器。它从GFS中拿数据，交给Borg中的机器执行，并且时刻监控机器执行的进度，一旦出现机
CryptWinter·2023-09-06 02:38

实时操作系统Freertos开坑学习笔记：(五）：任务调度和时间片调度

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、任务调度1.开启任务调度器函数2.启动第一个任务二、任务切换的原理三、时间片调度1.基本概念2.看一个实际例程①我们设置滴答定时器中断时间为
棉花糖永远滴神·2023-09-05 10:19

React 任务调度

React任务池不同的fiber任务有不同的优先级，为了用户体验，React需要先处理优先级高的任务。为了存储这些任务，React中有两个任务池：//TasksarestoredonaminheapvartaskQueue=[];//存储立即要执行的任务vartimerQueue=[];//存储可以延迟执行的任务源码中任务的初始结构：varnewTask={id:taskIdCounter++,/
杉菜酱子·2023-09-05 09:22

使用 Crontab 自动化任务调度

Crontab简介Crontab是一个基于时间的任务调度器。它通过读取并解析crontab文件来确定要执行的任务及其执行时间。每个用户都
嵌入式逍遥·2023-09-05 09:38

定时任务job (现成直接用)

1.任务调度的2种方式1.bean调用示例:对应的类上加@Component或@Service注解,类名.方法名(ryTask.ryNoParams)类名首字母小写;该类必须要在com.ruoyi包下,
weixin_43652507·2023-09-05 07:04

智慧导览|智能导游系统|AR景区导览系统|景区电子导览

为满足不同年龄段游客的游览需要，提升旅游服务体验，越来越多的旅游景区、博物馆、展览馆开始规划建设景区手绘地图、景区元宇宙平台、智慧景区导览系统平台、AR景区导览系统、景区可视化大数据平台等。
道可云·2023-09-05 06:57

一文简单了解商业化广告平台

互联网广告是流量进行商业化模式变现的重要途径，广告系统涉及多个功能包含广告投放平台、大数据平台、商业化智能运营平台、算法策略平台、工具平台等多个平台互相协作。
PM言语·2023-09-05 06:06

Cyber RT学习笔记 --- 1.Cyber RT框架介绍

框架介绍1.1CyberRT简介ApolloCyber是首个专为自动驾驶定制的高性能且开源的实时通信框架，于2019年与Apollo3.5开放平台同期发布，它主要解决了自动驾驶系统的高并发、低延迟、高吞吐、任务调度等问题
从小练武功·2023-09-05 05:38

南京星瑞斯携手安联保险，车联网技术助力车辆保险业务开拓

安联保险通过了解车辆的行驶状况，司机的驾驶行为以及车况分析,结合大数据平台为车主提供基于使用状况的车险，不但可以为保险公司控制风险，还能为车主提供价格更低的车险，从而让保险公司可以获得更高的市场份额。
罗小黑和猫·2023-09-05 03:54

xxl-job 任务调度搭建及简单使用

xxl-job任务调度搭建及简单使用简介调度中心搭建数据库创建配置文件编写docker容器启动启动测试执行器搭建依赖引入配置使用说明运行调
zyppxx·2023-09-05 00:22

大数据最佳实践-flink

目录概述特点API架构任务调度原理概念TimeWindowEventTimeWatermark有状态的计算一致性7.2检查点:保证exactly-onceStatefulOperatorsandApplicationsDataflow
猿与禅·2023-09-04 22:15

分布式任务调度平台XXL-JOB快速搭建教程

1.XXL-JOB简介XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
James_Shangguan·2023-09-04 19:59

任务调度学习

jdk自带三种定时任务实现方式1ThreadpublicclassDemo01{staticlongcount=0;publicstaticvoidmain(String[]args){Runnablerunnable=newRunnable(){@Overridepublicvoidrun(){while(true){try{Thread.sleep(1000);count++;System.o
attentionYSF·2023-09-04 18:24

SpringBoot 不依赖注入获取application.yml参数

前言在SpringBoot开发过程中需要获取application.yml中的配置参数但是，需要获取参数的是任务调度的子线程当中也就无法使用依赖注入这里记录一下在非注入环境下获取application.yml
Pencilso·2023-09-04 06:05

JAVA轻量级事件和任务调度框架EventTo

因此这个轻量级事件和任务调度框架EventTo酝意而生。
一路随云00000·2023-09-04 02:00

使用DBeaver访问Kerberos环境下的Hive

应用背景有时想看看大数据平台上Hive表的结构和数据字典，或者对数据进行简单查询、核验，可以装一个SQL开发工具访问CDH集群中的Hive。
padluo·2023-09-03 07:50

Azkaban任务调度

概述Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies
麦田里的守望者··2023-09-03 07:30

7万字省级智慧农业大数据平台项目规划建设方案

部分资料内容：1.1 建设原则结合本项目的实际应用和发展要求，在进行农业大数据平台方案设计过程中，应始终坚持以下原则：1) 可扩展性原则为了保证不断增长的农业大数据需求，系统必须具有灵活的结构并留有合理的扩充余地
2023小目标·2023-09-03 02:12

省级智慧农业大数据平台项目规划建设方案[195页Word]

导读：原文《省级智慧农业大数据平台项目规划建设方案[195页Word]》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
2023小目标·2023-09-03 02:39

40张图入门Linux——（前端够用，运维入门）

本文主要是Linux的入门内容，利用40张思维导图从基础、操作、实用指令、组管理和权限管理、crond任务调度、Linux磁盘分区和挂载、Linux网络环境配置、进程管理、服务管理、RPM和YUM、软件安装关键点
一口Linux·2023-09-02 22:42

XXL-JOB 分布式任务调度平台

目录背景项目架构核心流程1——执行器自动注册核心流程2——调度任务特性——分片广播背景为什么需要任务调度平台?
sun_tantan·2023-09-02 19:43

Kettle8在Linux Centos7部署并定时任务调度

Kettle8在LinuxCentos7部署并定时任务调度Kettle8在LinuxCentos7部署并定时任务调度kettle介绍配置环境安装JAVA安装Kettle上传本地资源库修改Kettle配置
嘛嘛嘛嘛嘛嘛嘛嘛嘛·2023-09-02 18:36

一百七十、Linux——Crontab定时任务调度Kettle脚本

Kafka到HDFS的kettle任务时发现有点问题，如果不设置定时调度，这个kettle任务会一直跑，而如果设置定时调度，隔天后就会生成多个任务，而且每个任务都在跑，不会停下，于是尝试用Crontab定时任务调度
天地风雷水火山泽·2023-09-02 18:35

大数据专业毕业能从事什么工作

大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和
我想去吃ya·2023-09-02 16:36

编程题四大算法思想（三）——贪心法：找零问题、背包问题、任务调度问题

文章目录贪心法找零问题（change-makingproblem）贪心算法要求基本思想适合求解问题的特征背包问题0/1背包问题0/1背包问题——贪心法分数背包问题任务调度问题贪心法  我在当前情况下，我把我做到最好
秋秋秋叶·2023-09-02 08:33

分布式调度Elastic-job

分布式调度Elastic-job1.概述1.1什么是任务调度我们可以思考⼀下下⾯业务场景的解决⽅案:某电商平台需要每天上午10点，下午3点，晚上8点发放⼀批优惠券某银⾏系统需要在信⽤卡到期还款⽇的前三天进
只因为你而温柔·2023-09-02 07:24

Apache Airflow单机/分布式环境搭建

[TOC]Airflow简介ApacheAirflow是一个提供基于DAG（有向无环图）来编排工作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。
端碗吹水·2023-09-02 01:53

520页（17万字）集团大数据平台整体解决方案word

通过数据集成及ETL平台，采集集团现有业务系统（CRM、ERP、寄递平台、金融大数据平台等）数据，经清洗、转换、加工后将数据批量加载到数据
2023小目标·2023-09-02 01:40

并发与多线程开发

线程的启动方式以及应用场景 线程的状态和常用方法 线程的优先级提升任务的响应速度 线程间通讯(子线程与主线程发消息)多线程开发 线程安全(关键字synchornized锁，原子类，并发容器） 线程流程控制线程池原理 任务调度
老北瓜·2023-09-02 01:22

c#简单使用quartz做任务调度

第一步安装Quartz包（nuget包）需要注意quartz与当前项目其他包的兼容性，本次博客用了当前最新的3.3.2版本2.实现一个简单例子（每五秒打印一次当前时间）usingSystem;usingSystem.Collections.Specialized;usingSystem.Threading.Tasks;usingQuartz;usingQuartz.Impl;namespacete
与诸君共勉·2023-09-01 23:42

SpringBoot学习笔记

集成web开发：业务和核心集成数据库Druid分布式开发：Dubbo(RPC)+zookeeperSwagger:接口文档任务调度SpringSecurity：ShiroSpringCloud微服务SpringCloud
AIoneT·2023-09-01 22:50

xxl-job源码—调度器/执行器工作原理

目录一、架构图1.1功能架构图2.2任务调度工作原理二、ER图三、调度器3.1启动过程时序图3.2启动过程核心代码解析3.2.1启动初始化3.2.2执行器健康检查3.2.3任务执行失败告警3.2.4调度线程池
隐者自怡悦·2023-09-01 18:32

【大数据】数据湖：下一代大数据的发展趋势

数据湖：下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结
G皮T·2023-09-01 16:24

京东发布区块链实践技术白皮书

京东集团副总裁，大数据平台与产品研发部负责人裴健表示，京东
中走向湮灭·2023-09-01 16:43

大数据平台的SQL查询引擎有哪些？

前言大数据平台中Hadoop的分布式文件系统（HDFS）之上形成了一种极具特色的技术群体，那就是SQL查询引擎。
守护石技术研究·2023-09-01 13:19

Apache Airflow 多个 Provider 存在漏洞

Airflow是通过DAG（Directedacyclicgraph有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。
棱镜七彩·2023-09-01 10:12

Linux定时任务删除文件（转载）

脚本定时删除指定文件夹下的文件步骤：1.写好删除文件的shell脚本，放在某一位置/home/data/test.shtest.sh内容：输出时间echo"执行:$(date)"2.编辑定时任务，交给Linux任务调度器
周里奥·2023-09-01 10:31

IBM LSF 任务调度系统客户案例——赛普拉斯半导体

赛普拉斯半导体利用IBM平台计算以更低的成本将先进技术更快推向市场在工作站和网络文件服务器上存储数据影响了性能、数据可访问性和可靠性，阻碍了缩短半导体产品总周期时间的努力。如今，GPFS™存储解决方案消除了数据访问的瓶颈，赛普拉斯的性能提高了十倍，并提高了可用性。业务挑战为了抢在竞争对手之前将新产品推向市场并降低设计成本，赛普拉斯必须不断缩短总周期时间（TCT），增加潜在收入、提高利润率。转型通过
小信瑞·2023-09-01 09:44

Spark_Spark比mapreduce快的原因

最重要的3点，数据缓存:中间结果可以缓存在内存中复用资源管理：executortask管理，不同stage的task可以运行在同一个executor上任务调度:dag对比多阶段mr1.任务模型的优化（DAG
高达一号·2023-09-01 07:17

Spring-batch任务调度框架

Spring-batch任务调度框架目录一，引言31，什么是批处理32，什么是SpringBatch3二，SpringBatch结构41，SpringBatch体系结构42，SpringBatch主要对象
宁静的威士忌·2023-09-01 02:21

分布式任务调度框架

分布式任务调度框架学习为主文章目录分布式任务调度框架一、概念二、架构图三、任务调度的流程定时触发任务是如何实现的？
依嘫_吃代码·2023-08-31 23:31
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他