Scheduler

Hadoop性能调优建议

一、服务器配置1.BIOS配置：关闭smmu/关闭cpu预取/performance策略2.硬盘优化raid0打卡cache/jbodscheduler/sector_size/read_ahead_kb3
shining_yyds·2023-11-22 09:33

Apache Airflow (十三) ：Airflow分布式集群搭建及使用-原因及

栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Airflow分布式集群搭建原因2.Airflow分布式集群其他扩展2.1扩展Worker节点2.2扩展Master节点2.3SchedulerHA1
IT贫道·2023-11-22 06:42

【爬虫实战】利用scrapy框架爬取豆瓣图书信息

陈鼎中南财经政法大学统计与数学学院文字编辑：任哲技术总编：张馨月一、前言  scrapy是基于twisted的异步处理框架，与传统的requests爬虫程序执行流程不同，scrapy使用多线程，将发送请求，提取数据，保存数据等操作分别交给Scheduler
StataPython数据分析·2023-11-21 15:28

面试官问，怎么实现一个定时任务调度器？如果是分布式下的呢？

首先，应该听过Quartz，SpringSchedule等框架；往分布式研究，又有SchedulerX，ElasticJob等分布式任务调度。
Javaesandyou·2023-11-21 14:42

五、程序员指南：数据平面开发套件

在这个流水线中实现QoS的主要模块有：policer（警察器）、dropper（丢包器）和scheduler（调度器）。下表提供了每个模块的功能描述#模
写一封情书·2023-11-21 12:41

FreeSql/FreeRedis/FreeScheduler 完成 .NET 8.0 AOT 测试 & 经验分享

2023年11月15日，对.NET的开发圈是一个重大的日子，.net8.0正式版发布。圈内已经预热了有半个月有余，性能不断超越，开发体验越来越完美，早在.net5.0的时候就各种吹风Aot编译，直到6.07.0使用仍然比较麻烦，我个人比较期待本次更新的aot体验。有的群友几个小时都等不了啦，半夜就开始更新预览版，我是等到第二天早上正式布发布才开始的，开机第一件事情下载.net8.0SDK，随后更新
dotNET跨平台·2023-11-21 11:26

一个借贷式用户态自旋锁的自白

先看一个patch：[POC][RFC][PATCHv2]sched:ExtendedSchedulerTimeSlice详情看这篇文章：Deferredschedulingforuser-spacecriticalsections
dog250·2023-11-21 11:50

quartz学习笔记

1.quartz组件(1)Job(2)JobDetail(3)triggertrigger的优先级(4)Scheduler(5)JobExecuteContext(6)jobDataMap2.Job的并发执行取消任务的并发执行
若曦`·2023-11-21 07:18

Android 电量优化概览

3.1移动网络3.2Wi-Fi3.3网络优化四、CPU4.1变频4.2CPU优化4.2.1计算优化4.2.2避免WakeLock使用不当4.2.3避免AlarmManager使用不当4.2.4使用JobScheduler
帅次·2023-11-21 06:16

记一次FreeRTOS移植到STM32f103遇到的问题

问题：移植FreeRTOS源码后写了简单的程序验证，使用keil软件仿真发现程序一直卡在开启任务调度函数vTaskStartScheduler()中。
xiaomei1117·2023-11-20 22:47

从零开始学Kubernets cluster（k8s）【一】

k8s不仅提供了APIServer、scheduler、kubelet等底层核心组件，从而使得用户能够放心管理成千上万个容器实例，更提供了pod、
瀚齐·2023-11-20 22:12

DolphinScheduler V3.1.8 海豚调度器【概述、安装、功能介绍、项目运用、邮箱预警设置】轻松拿捏！

概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
月亮给我抄代码·2023-11-20 20:10

Scrapy 框架

Scrapy框架的架构如下图所示：其中各个组件含义如下：ScrapyEngine（引擎）：负责Spiders、ItemPipeline、Downloader、Scheduler之间的通信，包括信号和数据传输等
陈其淼·2023-11-20 19:01

wpf当中 捕捉全局异常

CurrentDomain_UnhandledException;DispatcherUnhandledException+=App_DispatcherUnhandledException;TaskScheduler.UnobservedTaskException
小盆友你是否很有多问号·2023-11-20 17:06

二进制部署kubernetes——1.20.4

1.24.7kubernetes：1.20.42、服务器整体规划k8s-master1192.168.7.100etcd，kube-apiserver，kube-controller-manager，kube-scheduler
jingleli21·2023-11-20 15:44

12-海豚调度器DolphinScheduler

一、概述跟之前学习过的Azkaban非常的相似，两者二选一。架构师就是老中医（同样的病，抓不同的药）。Azkaban能做任务调度，任务编排A-->B还可以做定时任务，还能预警（发邮件，发钉钉，打电话）数仓项目因为是分层的，分层的数据之间，是有先后顺序的。所以可以编写ods.shdwd.shdws.shdim.shads.sh编排好顺序，每天执行一次，每天自动分析，自动导出指标，可视化界面一刷新就是
YuPangZa·2023-11-20 12:55

关于DBMS_STATS.GATHER_DATABASE_STATS_JOB_PROC的一些发现

任务在哪这个是11g以后的自动收集统计信息的后台任务，10g之前是在dba_scheduler_jobs里查看SQL>SELECTCLIENT_NAME,STATUS,MEAN_INCOMING_TASKS
foxytale·2023-11-20 02:54

08RxSwift的调度者Scheduler

letdataOB:ObservabledataOB.subscribeOn(ConcurrentDispatchQueueScheduler(qos:.userInitiated)).o
越来越胖了·2023-11-19 21:14

Apache DolphinScheduler 2.X保姆级源码解析

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。在大数据领域，越来越多的企业拥抱开源软件，在这个背景下，我们针对数据调度工具如何正确选型？中国移动云能力中心软件开发工程师徐海辉表示：古语云“工欲善其事必先利其器”，如果你正处于观望/不知如何下手/即将参与开源项目的小伙伴，我建议
王知无(import_bigdata)·2023-11-19 14:21

Apache DolphinScheduler社区再添9枚“新鲜”Committer

最近，ApacheDolphinScheduler社区又迎来9位新晋Committer。个性十足的他们青春张扬，凭着对开源的一腔热忱，获得了社区的尊重和赞赏。这是怎样的一群人呢？
DolphinScheduler社区·2023-11-19 14:09

构建数据湖上低延迟数据 Pipeline 的实践

数据湖整体技术架构、ApacheHudi存储模式与视图、如何解决冷数据频繁更新、如何在数据湖上进行准实时分析、数据湖上调度为何选型ApacheDolphinScheduler、二次开发新特性以及规划等多个角度进行了阐述
DolphinScheduler社区·2023-11-19 14:39

Apache DolphinScheduler在通信行业的多集群统一建设与管理实践

背景介绍为什么我们考虑构建统一的调度平台？主要原因是：我们公司的大数据中心目前拥有七个大数据集群，这些集群分布在不同的机房，例如内蒙、南京、苏州和广州。而且，这些机房之间的网络并不互通。如果每个集群都独立部署调度系统，将会有多套调度服务管理入口，这对于运维和开发者，无论维护和使用上来说都非常不便。因此，我们决定构建一个统一调度平台，集中管理多个集群的调度任务，也为我们后续深度平台集成提供契机。构建
DolphinScheduler社区·2023-11-19 14:07

MySQL定时任务

1、事件概述在MySQL5.1中新增了一个特色功能事件调度器（EventScheduler），简称事件。它可以作为定时任务调度器，取代部分原来只能用操作系统的计划任务才能执行的工作。
小流年 °·2023-11-19 13:17

分布式任务调度平台DolphinScheduler

文章目录大数据技术之DolphinScheduler第1章DolphinScheduler简介1.1DolphinScheduler概述1.2DolphinScheduler核心架构第2章DolphinScheduler
我是丰儿你是沙·2023-11-19 08:47

K8S1.23.5部署（此前1.17版本步骤囊括）及问题记录

Scheduler：负责集群资源调度，按照预定的调度策略将Pod调度到相应的no
赵唯一·2023-11-19 05:17

SpringBoot整合Quartz定时任务 的简单实例

POM.XML文件org.quartz-schedulerquartz1.8.5类似于控制器代码:packagecom.xiaowu.quartz.demo;importjava.util.Date;importorg.springframework.scheduling.annotation.Scheduled
aotun7642·2023-11-19 02:49

SpringBoot 整合 Quartz 实现 对任务进行CRUD

所需依赖：Springboot1.xx或2.xx-RELEASE都行,quartz使用2.3.0版本org.quartz-schedulerquartz2.3.0为了简单演示，只创建一个任务类用于修改定时任务实体类即可
Tatsumi_zyy·2023-11-19 02:16

CronExpression表达式详解和案例

1.cron表达式格式：{秒数}{分钟}{小时}{日期}{月份}{星期}{年份(可为空)}2.cron表达式各占位符解释：{秒数}==>允许值范围:0~59,不允许为空值，若值不合法，调度器将抛出SchedulerException
LongtengGensSupreme·2023-11-19 01:32

Django 框架中定时触发脚本

这里用到一个模块APScheduler这样的一个库，我们需要先安装一下。pipinstallapschedule
Python 学习者·2023-11-19 01:23

oracle数据库中job和dbms_job比较

oracle中job和dbms_job比较一、概述Oralce中的任务有2种：Job和Dbms_job，两者的区别有：①、Job是通过调用dbms_scheduler.create_job包创建的，Dbms_job
不如打代码KK·2023-11-19 01:10

python+Django 使用apscheduler实现定时任务 管理调度

apscheduler实现定时任务管理调度在Django项目中经常会用到定时任务去处理一些业务处理使用APScheduler可以轻松地实现定时任务的管理和调度。
Dillon Dong·2023-11-18 22:43

LVS集群

目录1.LVS概述2.LVS结构3.LVSScheduler3.1什么是LVSScheduler3.2常见负载均衡方式4.IP虚拟服务器软件IPVS4.1NAT模式4.2TUN模式4.3DR模型1.LVS
贪睡的蜗牛·2023-11-18 19:09

python爬虫-scrapy五大核心组件和中间件

文章目录一、scrapy五大核心组件Spiders（爬虫）ScrapyEngine（Scrapy引擎）Scheduler（调度器）Downloader（下载器）ItemPipeline（项目管道）二、工作流程三
小王子爱上玫瑰·2023-11-18 18:32

Day7-进程切换

切换时机Linux进程切换由scheduler()负责，其执行时
qiubinwei·2023-11-17 16:43

.NET8.0 AOT 经验分享 FreeSql/FreeRedis/FreeScheduler 均已通过测试

2023年11月15日，对.net的开发圈是一个重大的日子，.net8.0正式版发布。圈内已经预热了有半个月有余，性能不断超越，开发体验越来越完美，早在.net5.0的时候就各种吹风Aot编译，直到6.07.0使用仍然比较麻烦，我个人比较期待本次更新的aot体验。有的群友几个小时都等不了啦，半夜就开始更新预览版，我是等到第二天早上正式布发布才开始的，开机第一件事情下载.net8.0SDK，随后更新
dotnetCore·2023-11-17 15:58

【云原生-Kurbernets篇】Kurbernets集群的调度策略

调度一、Kurbernetes的list-watch机制1.1list-watch机制简介1.2创建pod的流程（结合list-watch机制）二、Scheduler的调度策略2.1简介2.2预选策略（
白幽幽白·2023-11-17 11:40

k8s理解

节点：ControllerManager运行控制器，分为（ReplicationController，NodeController，EndpointsController，ServiceAccount）Scheduler
lwh_python·2023-11-16 21:04

linux下初始化oracle,深入解析oracle--数据库的初始化

一、Oracle的缺省定时任务可能带来很多问题，所以我们有必要关注一下系统有哪些缺省的任务查询任务dba_scheduler_jobsdba_scheduler_job_run_details关闭任务executedbms_scheduler.disable
顾汐漫·2023-11-16 01:35

dhtmlxScheduler日历日程控件包括天视图，周视图，月视图，年视图和日程表视图...

dhtmlxScheduler是一个基于Web的类似于Outlook的日历日程控件。
njit_peiyuan·2023-11-16 01:07

「实用场景教程」如何用日程控件DHTMLX Scheduler制作酒店预订日历？（一）

dhtmlxScheduler是一个类似于Google日历的JavaScript日程安排控件，日历事件通过Ajax动态加载，支持通过拖放功能调整事件日期和时间，事件可以按天，周，月三个种视图显示。
界面开发小八哥·2023-11-16 01:35

dolphinscheduler

架构说明MasterServerMasterServer采用分布式无中心设计理念，MasterServer主要负责DAG任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer的健康状态。MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处理。MasterServer基于netty提供监听服务。该服务
qq_44949002·2023-11-15 19:04

Django实战项目-学习任务系统-配置定时调度任务

第一步：熟悉Django框架的apscheduler模块Django-apscheduler是一个基于apsc
PandaCode辉·2023-11-15 18:45

python取消任务的方法_对Python定时任务的启动和停止方法详解

对Python定时任务的启动和停止方法详解在python中我们可以使用APScheduler进行定时任务。APScheduler的具体编码这里就不介绍了。主要说下在终端中启动和停止任务。
李首良·2023-11-15 16:41

python_自动关闭&重启程序，备份数据

#-*-coding:GBK-*-importpsutilimportosimportdatetimefromapscheduler.schedulers.blockingimportBlockingSchedulerimportshutilimporttimeimportthreadingimportsubprocessimport
ramsey17·2023-11-15 15:55

flask-apscheduler 使用sqlite3进行持久化存储的配置（非纯apscheduler）解决flask-apscheduler无法持久化存储job的问题

先说结论:在flask中配置"SCHEDULER_JOBSTORES"变量例子如下：SCHEDULER_JOBSTORES={'default':SQLAlchemyJobStore(url='sqlite
三头六臂的小白·2023-11-15 13:39

没找到好用的富文本编辑器？DevExpress WPF 19.2帮你忙

DevExpressWPFControlsv19.2全新发布，新版本增强RichTextEditor、Scheduler
界面开发小八哥·2023-11-15 10:47

k8s基础知识-备忘总结

文章目录学习资料参考1部署架构部署单元组件master节点kubeapi-serveretcdkube-schedulerkube-controller-managernode节点kubeletkube-proxycontainer-runtime2
coding-now·2023-11-15 06:18

EasyScheduler的架构原理及实现思路，大数据工作流调度系统

EasyScheduler大数据工作流调度系统已经开源，下载地址：https://github.com/analysys/在对调度系统架构说明之前，我们先来认识一下调度系统常用的名词。
架构文摘·2023-11-14 21:31

大数据工作流调度

DolphinScheduler在大数据领域,DolphinScheduler对标的开源产品是oozie、Azkaban、Airflow.参考链接：https://zhuanlan.zhihu.com/
zhixingheyi_tian·2023-11-14 20:52

从单测入手，完善Vue3源码中底层API effect功能

基于上一篇文章中实现的effect方法，根据Vue3源码中单测，完善该方法的三点功能，分别是：runner:effect可以返回自执行的入参runner函数scheduler:effect支持添加第二个参数选项中的
wendZzz·2023-11-14 20:21
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他