大数据平台任务调度

奇富科技引领大数据调度革命：高效、稳定、实时诊断

DolphinScheduler组织的分享活动上，奇富科技的数据平台专家刘坤元应邀为国内外技术工作者献上一场题为《ApacheDolphinScheduler在奇富科技的优化实践》的精彩分享，为大数据任务调度系统的未来探索出一条新的道路
CSDN云计算·2023-10-30 21:09

亚马逊云科技为奇点云打造全面、安全、可扩展的数据分析解决方案

超过1500家客户信赖的企业级大数据平台数据能够为业务带来实际的价值，已成为不同行业、不同规模企业的共识。奇点云致力于通过数据平台与应用产品，为客户建设并沉淀数据资产，让每个客户都拥有更高效
caijingshiye·2023-10-30 20:56

配置定时任务的 cron 表达式有哪几种？

Cron表达式是一种用于配置Cron任务调度的字符串格式，主要用于Unix和Unix-like系统的定时任务服务，以及一些其他的任务调度库和服务，如Quartz、Spring、AWSCloudWatch
路多辛·2023-10-30 14:20

IBM Spectrum LSF Session Scheduler（会话调度程序）提高总体集群利用率和系统性能

IBMSpectrumLSFSessionScheduler提高总体集群利用率和系统性能LSFSessionScheduler使用户能够使用作业级任务调度程序在单个LSF作业的分配中运行短期任务的大型集合
小信瑞·2023-10-30 12:44

大数据-玩转数据-大数据平台搭建工具 Ambari

一、Ambari是什么Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。目前最新的发布版本是2.0.1，未来不久将发布2.1版本。就Ambari的作用来说，就是创建、管理、监视Hadoop的集群，但是这里的Hadoop是广义，指的是Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等），而并不仅
人猿宇宙·2023-10-30 03:04

任务调度之azkanban

1Azkaban安装1.1Azkaban下载地址下载地址:http://azkaban.github.io/downloads.html1.2Azkaban安装部署1.2.1安装前准备1)将AzkabanWeb服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到hadoop102虚拟机/opt/software目录下a)azkaban-web-server-2.
陈朝辉_39f7·2023-10-30 02:49

CM+CDH构建企业大数据平台（2）-- 理论准备CM和CDH

如何实现CM+CDH构建企业级大数据平台当前边所有的准备工作都搞定之后，接下来我们就来正式的通过CM+CDH的方式来构建企业级大数据平台。那么CM是什么？CDH是什么？CM和CDH的关系是什么？等等。
Y先生的领地·2023-10-30 00:27

vr虚拟展馆3d展厅三维展示，数字化转型首选

线上展厅的出现给给企业和观众的带来了很多便利，3d虚拟先进技术的发展促进虚拟现实的多元化和可视化发展，商迪3D运用3D线上虚拟展示技术打造3D线上展厅，提升企业3d展厅的形象和优势，从而实现3D线上展厅企业数字化大数据平台的建设
商迪3D·2023-10-29 23:53

MQ - 40 连接器：以MQ Connector为核心搭建数据集成架构的方案设计

文章目录导图Pre概述连接器是什么数据集成和连接器典型场景：将MySQL中的数据实时同步到Elasticsearch方案一使用典型数据集成组件方案二消息队列连接器方案对比消息队列连接器底层原理分析分布式任务调度平台源
小小工匠·2023-10-29 22:26

【正点原子STM32连载】 第六十一章 UCOSII实验1-任务调度摘自【正点原子】MiniPro STM32H750 开发指南_V1.1

视频下载地址：http://www.openedv.com/thread-336836-1-1.html4）对正点原子STM32感兴趣的同学可以加群讨论：879133275第六十一章UCOSII实验1-任务调度
正点原子·2023-10-29 14:04

xxl-job学习

学习链接xxl-job官方文档【分布式任务调度】三、XXL-JOB详细介绍xxljob从入门到精通-全网段最全解说XXL-JOB分布式任务调度框架(一)-基础入门XXL-JOB分布式任务调度框架(二)-
ps酷教程·2023-10-29 09:58

【Airflow】构建爬虫任务系统

爬虫脚本太多了需要进行管理一下，领导决定使用airflow我了解了一下这个平台是用来做任务调度。
瓜皮三三·2023-10-29 05:57

STM32H750之FreeRTOS学习--------（一）初识RTOS

即应用程序实时性差,程序轮流执行delayCPU空等待，效率低程序混乱，臃肿，功能都放在while循环RTOS：RealTimeOS，就是实时操作系统分而治之，实现功能划分为多个任务延时函数，delay后进行任务调度抢占式
墨亦淡·2023-10-28 22:13

新手学习大数据技术如何入门?

【导语】对于已经就业的从业者来说，学习路线和方式与在读学生还是有较大区别的，在读的学生可以按照编程语言、操作系统、机器学习、大数据平台等内容陆续学习，那么新手学习大数据技术如何入门?
qq_38397646·2023-10-28 21:27

linux--

一、crond任务调度1、原理示意图2、crontab进行定时任务的设置2.1.概述任务调度，是指系统在某个时间执行的特定的命令或程序。任务调度分类：系统工作:有些重要的工作必须周而复始地执行。
十里长街·2023-10-28 12:16

竞赛 深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.
iuerfee·2023-10-28 11:15

互联网大数据平台究竟可以解决哪些问题?

互联网大数据平台究竟可以解决哪些问题？可以简单归类一下四点：1）产品优化。服务产品团队，优化产品的功能，交互等。
阿霖A00·2023-10-28 09:02

python定时任务调度器APScheduler

python定时任务调度器APScheduler基本概念APScheduler四大组件：触发器triggers：用于设定触发任务的条件任务储存器jobstores：用于存放任务，把任务存放在内存或数据库中执行器
changxl.·2023-10-28 09:27

python 贴吧调度器_python调度器_APScheduler

前言APScheduler是python下的任务调度框架，全程为AdvancedPythonScheduler，是一款轻量级的Python任务调度框架。
weixin_39981632·2023-10-28 08:25

python apscheduler_APScheduler - Advanced Python Scheduler

简介APScheduler：强大的任务调度工具，可以完成定时任务，周期任务等，它是跨平台的，用于取代Linux下的crondaemon或者Windows下的taskscheduler。
weixin_39757739·2023-10-28 08:54

python apscheduler 动态_基于Flask-APScheduler实现添加动态定时任务

以上版本可移步至FastAPI+apSheduler动态定时任务1.引子(Introduction)AdvancedPythonScheduler(APScheduler)是一个轻量级但功能强大的进程内任务调度器
weixin_39867142·2023-10-28 08:54

python 第三方模块之 APScheduler - 定时任务

它是一个轻量级的Python定时任务调度框架。APScheduler支持三种调度任务：固定时间间隔，固定时间点（日期），Linux下的Crontab命令。同时，它还支持异步执行、后台执行调度任务。
奔跑的大西吉·2023-10-28 08:20

Apache Dolphinscheduler 最新 3.1.4 概述和安装（1）

ApacheDolphinscheduler最新3.1.4概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。
像风一般·2023-10-28 07:24

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？...

作者|胡泽康鄞乐炜Profile作者简介胡泽康联通（广东）产业互联网公司大数据工程师，专注于开源大数据领域，从事大数据平台研发工作鄞乐炜联通（广东）产业互联网公司大数据工程师，主要从事大数据平台的应用与引擎端开发
DolphinScheduler社区·2023-10-28 07:18

大数据和智能数据应用架构系列教程之：大数据与社交网络分析

而近几年来，随着互联网公司将大数据平台作为重要竞争力，越来越多的企业开始采用大数据技术进行社会业务的分析与决策。尤其是基于社交网络的分析与挖掘具有十分重要的价值。
禅与计算机程序设计艺术·2023-10-28 07:16

腾讯会议大规模任务调度系统架构设计

疫情期间，很多企业受到了较大冲击，正常的复工生产无法进行。腾讯会议作为一款非常便捷的远程协作工具，成为了国内众多企业日常会议沟通交流的主要平台，这款产品从2019年12月26号正式推出，如何在这么短的时间内有效支撑起国内数以亿计用户的访问量呢？如何保障系统的稳定运行？下面为大家介绍，腾讯会议8天时间内完成100万核资源扩容背后的技术。一、两个典型案例首先介绍腾讯会议大规模扩容，下图所示为腾讯会议的
某科学的南条·2023-10-28 02:55

day21 8/21 进程管理

生老病死①当父进程接收到任务调度时，会通过fock派生子进程来处理，那么子进程会继承父进程属性。②子进程在处理任务代码
生活一场戏而已_b526·2023-10-27 23:56

“新华三杯”全国大学生数字技术大赛预选赛备考资料

决赛包含个人赛和团队赛省预赛的难度在H3CNE级别，这里没说具体方向，按照2022年新华三就是包含，计算机网络基础知识、路由协议与以太网交换技术、H3C云计算技术、网络安全、H3C存储技术、WLAN技术、H3C服务器技术、H3C大数据平台技术
成全101·2023-10-27 22:10

Presto-交互式计算引擎

为了实现高性能数据处理，交互式极端引擎采用mmp架构，并将充分使用内存加速presto的出现时为了应对hadoop的一些缺点：1、io密集，因为mepreduce作业之间的交互是用hdfs作为中介的2、任务调度大
一个喜欢烧砖的人·2023-10-27 15:18

APScheduler 环境与基础

用于调度和管理定时任务，它支持多种任务调度器，如基于日期、时间间隔和Cron表达式等。如果您将作业存储在数据库中，那么调度程序重启后它们也将存活下来并保持其状态。
上海-悠悠·2023-10-27 14:07

xxl-job-架构及原理

2、注册任务类，任务类需要实现JobHandler这个接口的类2、接受调度请求，找到对应的bean，并把bean放到线程池（最大200个线程）中执行，不需要等待结果，请求立即返回xxljob官方分布式任务调度平台
startyangu·2023-10-27 10:40

分布式调度框架原理与技术选型

分布式任务调度框架1、什么是分布式任务调度？2、常见的分布式任务调度框架有哪些？3、分布式任务调度框架的技术选型？4、分布式任务调度框架的安装与使用？
shadow_zed·2023-10-27 08:20

怎么通过MQTT查看数据是否上云端_EMQ X+TDengine 搭建 MQTT 物联网可视化平台

物联网数据采集涉及到大量设备接入、海量的时序数据传输，EMQXMQTT服务器与TDengine大数据平台的组合技术栈完全能够胜任场景中的海量时间序列监测数据的传输、存储和计算。
weixin_39806779·2023-10-27 04:50

数据运营-数据管理平台

目录一、IDmaping二、用户标签管理三、数据规范四、运营分析五、人群操作六、数据脱敏七、营销应用系统对接一、IDmaping通过不同数据源，在技术上实现数据数据打通后，基于应用层技术为大数据平台后端服务提供可视化的交互能力
戰士·2023-10-27 03:56

Spring @scheduled注解周期性执行超时任务对任务调度的影响分析

本文测试了@scheduled注解中参数cron，fixedDelay，fixedRate参数周期性调度任务时，任务执行时长不同对任务调度的影响情况，包含作业任务执行时长小于任务执行周期，作业任务执行时长与任务执行频率同频
孑木文学·2023-10-27 01:44

数据管理解决方案 | 零售行业如何搭建全渠道大数据平台？

后疫情时代，面对艰难的市场竞争环境，零售企业愈发明白数字化的重要性。商品管理、库存管理、会员营销、门店运营......每天都在产生海量且高频次的业务数据，如何实现“数据驱动”是零售商们特别关注的问题。零售行业数据管理特点随着大数据技术的引进，零售商们的诉求集中在如何收集和利用与业务需求相关的数据，如何有效利用数据来促进业务增长等方面。但零售行业往往门店多、客户多、库存多，数据量大且繁杂，在数据管理
running_elephant·2023-10-27 01:40

Spring Boot和XXL-Job：高效定时任务管理

SpringBoot和XXL-Job：高效定时任务管理前言第一：XXL-Job简介什么是XXL-job对比别的任务调度第二：springboot整合XXL-job配置XXL-JobAdmin拉取XXL-Job
一只牛博·2023-10-27 01:03

分布式定时任务调度中心

1.现状1.1技术选型目前定时任务调度中心采用xxl-job框架，其提供了RPC、任务管理、任务执行、任务日志、运行状态等功能，内部实现采用了quartz。
s1991721·2023-10-26 19:41

TusharePro 金融大数据快速使用入门

TusharePro金融大数据快速使用入门TusharePro是一个开源的金融数据源，数据内容包含股票、基金、期货、债券、外汇、行业大数据，同时包括了数字货币行情等区块链数据的全数据品类的金融大数据平台
whatispython·2023-10-26 18:32

AIoT 时代到来，你的大数据平台准备好了吗？

Kyligence在帮助企业建设大数据平台的过程中，也见证了AIoT技术从概念到实践的演变，亲历了诸多前沿应用。
Kyligence·2023-10-26 16:39

技术解读：实时数仓Hologres如何支持超大规模部署与运维

通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。
阿里云云栖号·2023-10-26 12:43

大数据性能测试方案-V1.0

XXX大数据平台性能测试方案[V1-1.0]拟制人：审核人：批准人：[xxxx年xx月xx日]
进击的雷神·2023-10-26 06:34

Linux命令行界面前有用户名,Linux 命令行界面

充分了解并利用Shell的特性可以完成简单到复杂的任务调度。管道与重定向是Linux系统进程间的通信方
weixin_39918682·2023-10-26 05:32

AI 编程与研发效能论坛 笔记摘录

LLM涉及到的领域NLP/ML提示工程知识工程多任务调度算法优化LLM涉及到的技术算法:深度学习、强化学习、迁移学习大语言模型预训练技术,包括构建预训练系统参数高效微调技术数
恭仔さん·2023-10-26 01:26

网络媒体大数据平台项目第一阶段验收心得

首先。本项目开展时长已有20天了，每天非常充实又忙碌的过着，一直忽略了记录一些东西。比如说新学到的知识，新接触的技术，新解决的问题，这些对我而言都是进步的印迹。1.mongodb数据库的使用，具体用法需要在项目中重温。2.jsp直接写action和sevlet，我觉得这方便极了。也容易修改。3.大数据读取问题：（1）本项目数据量极大，二十多亿条，在没有分布式和机械硬盘的情况下，就要尽可能改善读写速
Susy_ca6f·2023-10-26 01:39

μCOS-Ⅲ中断管理，这样理解非常简单！

前言一、中断源与中断优先级二、μCOS-Ⅲ的中断管理方式三、中断屏蔽与中断控制1、μCOS-Ⅲ中断开关2、μCOS-Ⅲ中断屏蔽应用——临界区4、μCOS-Ⅲ中断屏蔽应用之——任务调度锁四、µC/OS-III
Awen_y·2023-10-25 22:59

使用Java做业务开发，如何做好一个定时任务的技术选型？

1.轻量级任务调度QuartzScheduler适用场景:单机或简单的分布式任务调度特点:提供丰富的调度选项，如Cron表达式、固定间隔等；支持持久化，能够在应用重启后恢复任务；支持任务监听和触发器监听
舒一笑·2023-10-25 22:10

架构师必知必会系列：大数据处理与架构

为了解决这一难题，云计算与大数据平台成为行业主要的发展方向。目前，云计算与大数据领域处于蓬勃发展阶段。大数据与云计算技术的广泛应用导致了大数据的“三驾马车”模型
禅与计算机程序设计艺术·2023-10-25 19:04

一张Lambda大数据架构架构图

该系统的大数据架构是基于Lambda架构搭建的大数据平台处理大规模视频网络观看数据。
huaqianzkh·2023-10-25 16:50

浅谈RabbitMQ的延迟队列

这对于构建高效的异步任务调度
冲浪中台·2023-10-25 13:16
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他