LSF调度系统

在Hadoop YARN之上配置Spark集群（一）

虽说只配一个单机版（standalone）的伪分布式集群也可以做实验，但感觉意义不大，同时也为了逼真还原真实的生产环境，查阅了一番资料之后，知道Spark的运行需要外部的资源调度系统来支持，主要有：StandaloneDeploymode
predict_wise·2020-07-07 18:40

Linux 下bsub命令

一、bsubbsub，提交给lsf作业的命令。
简单同学·2020-07-07 12:31

集群资源调度系统设计架构总结

集群资源调度系统设计架构总结之前为完成《AWS下Kylin调度系统的设计》（https://io-meter.com/2017/10/13/kylin-aws-scheduler-system/），阅读了大量集群资源管理和任务调度的资料和论文
huangshulang1234·2020-07-07 10:06

如何正确使用 Flink Connector

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本文主要分享Flinkconnector相关内容，分为以下三个部分的内容：第一部分会首先介绍一下FlinkConnector有哪些。第二部分会
gongpulin·2020-07-07 08:59

数据调度平台系统二大种类及其实现方法与流程

什么是调度系统调度系统，更确切地说，作业调度系统（JobScheduler）或者说工作流调度系统（workflowScheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分
taskctl·2020-07-07 08:57

linux学习51-容器基础之Docker

容器基础Docker开源基金会lsf和alf1.容器简介什么是容器·统称来说，容器是一种工具，指的是可以装下其它物品的工具。
你的微笑像茉莉·2020-07-07 08:53

线程同步：原子操作、锁、二元信号量、信号量、互斥量、临界区、读写锁、条件变量

原子操作共享数据（全局变量或堆变量）的自增（++）操作在多线程环境下会出现错误是因为这个操作（一条c语句）被编译为汇编代码后不止一条指令，因此在执行的时候可能执行了一半就被调度系统打断，去执行别的代码。
feigegegegegegegeg·2020-07-07 07:21

ffmpeg处理hikvision平台PS流

在多媒体指挥调度系统中，将监控平台的IPC音视频转发到视频会议、视频话机以及直播平台，是一个常见的需求。常见的监控平台在提供的SDK中通常以回调的方式将音视频媒体用复合流的方式送给应用程序。
andyshengjl·2020-07-07 03:12

如何基于Yarn开发你的分布式程序

前一段时间自己开发了一套基于Yarn的容器调度系统，这篇文章就是分享其中的一些经验。前言这篇文章不会具体教你如何使用Yarn的API,但是会教你我实践过后的一些经验。
祝威廉·2020-07-07 02:04

Hadoop自测题及参考答案

scgaliguodong123_/article/details/46301147单选题1、与其他几项不同的是A.MesosB.MongodbC.CoronaD.BorgE.YARN注：其他几项都是资源统一管理系统或者资源统一调度系统
wsxlgg·2020-07-07 02:21

从架构到算法，详解美团外卖订单分配内部机制

以日订单量刚刚突破1600万的外卖业务为例，智能调度系统就是整个平台的“超级大脑”，发挥了至关重要的作用。我们将通过一系列的文章来为大家揭开这背后的技术秘密。
机器之心V·2020-07-07 01:31

PD 调度策略最佳实践

作者：黄梦龙众所周知，PD是整个TiDB集群的核心，负责全局元信息的存储以及TiKV集群负载均衡调度，本文将详细介绍PD调度系统的原理，并通过几个典型场景的分析和处理方式，分享调度策略的最佳实践和调优方法
TiDB_PingCAP·2020-07-07 00:48

xxl-job的搭建和使用

使用xxl-job搭建作业调度平台xxl-job搭建第一步第二步第三步第四步调度平台的使用执行器xxl-job搭建最近在学习xxl-job调度系统，写个博客记录一下。
TcCookEgg·2020-07-07 00:01

腾讯会议大规模任务调度系统架构设计

本文是腾讯云专家工程师李德铠在「云加社区沙龙online」的分享整理，为大家介绍腾讯会议大规模任务调度系统架构设计！点击视频，查看完整直播回放疫情期间，很多企业受到了较大冲击，正常的复工生产无法进行。
QcloudCommunity·2020-07-06 23:34

Spark调度系统——Stage详解

DAGScheduler会将Job的RDD划分到不同的Stage，并构建这些Stage的依赖关系。这样可以使得没有依赖关系的Stage并行执行，并保证有依赖关系的Stage顺序执行。并行执行能够有效利用集群资源，提升运行效率，而串行执行则适用于那些在时间和数据资源上存在强制依赖的场景。Stage分为需要处理Shuffle的ShuffleMapStage和最下游的ResultStage。上游Stag
拾荒路上的开拓者·2020-07-06 22:27

大众点评的大数据实践

为了满足用户的需求，我们还调研了任务调度系统和数据交换系统。我们使用的版本是当时最
DHD_only·2020-07-06 21:17

分布式资源调度系统 YARN

文章地址：http://www.haha174.top/article/details/2597071.YARN产生背景1.hadoop1.x时：MapReduce:Master/Slave架构1个JobTracker带多个TaskTrackerJobTracker:负责资源调度和作业调度TaskTracker:定期向jt汇报本节点的健康状况、资源使用、作业执行的情况；接收来自JT的命令启动任务和
CXHC·2020-07-06 18:01

TiDB 慢查询排查和优化

前段时间，我们升级了TiDB3.0版本，我日常负责解决数据库慢查询的问题；众所周知，对于OLAP业务，资源限制一直是让人头痛的问题，有的job过多会影响整体调度系统的性能。
desYang·2020-07-06 10:42

Hadoop之YARN的安装与测试

1.配置计算调度系统Yarn和计算引擎Map/Reduce1.1配置mapred-site.xmlnamenode上配置mapred-site.xml，默认没有mapred-site.xml文件，只有一个模版文件
尼古拉斯_谭·2020-07-06 06:42

Hadoop学习之路（十三）MapReduce的初识

MapReduce是什么首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件
weixin_34117211·2020-07-06 00:30

【bzoj3932】[CQOI2015]任务查询系统

调度系统会经常向查询系统询问，第Xi秒正在运行的任务中，优先级最
愤怒的愣头青·2020-07-05 19:10

浅谈现代有轨电车综合调度系统

在轨道交通监控系统领域浸淫了多年，兜兜转转还是回到了这个圈子。起先是做地铁综合监控系统，中间还去南水北调的国家大事上转了一圈，现在又开始关注地铁、轻轨或者现代有轨电车。最近拜读了《走访10座城市，写出来的有轨电车深度调研》网文，对现代有轨电车的前世今生有了相对全面的认识。我所在的南京已经陆续开通了两条有轨电车线路，青奥会期间开通的河西有轨电车1号线，17年刚刚竣工开通的麒麟现代有轨电车。在江苏省内
地下工作者1987·2020-07-05 17:08

赫拉(hera)分布式任务调度系统之架构，基本功能(一)

文章目录为数据平台打造的任务调度系统全部文章前言架构设计目标支持任务的定时调度、依赖调度、手动调度、手动恢复支持丰富的任务类型：shell,hive,python,spark-sql,java可视化的任务
甄情·2020-07-05 13:52

Linux 2.6 调度系统分析——在 2.4 之上进步

Linux2.6调度系统分析内容：1．前言2．新的数据结构runqueue3．改进后的task_struct4．新的运行时间片表现5．优化了的优先级计算方法6．进程平均等待时间sleep_avg7．更精确的交互式进程优先
sah·2020-07-05 11:39

2019-08-09

专家级热管理技术和工业户外机设计，自主生产摄像机，显示器，路由器，采用新一代自主研发的信息技术，嵌入式平台，物联网平台，平台，人工智能等业务创新和系统集成到各行各业，如智能公交调度系统，智能公交车站系统
幻灵动·2020-07-05 05:54

Apache DolphinScheduler(海豚调度) - 1.3 系列核心表结构剖析

ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
dailidong·2020-07-05 02:28

操作系统，绪论

资源共享，包括处理器、I/O设备、存储空间等）协调并发活动的关系（充分利用资源，充分发挥系统的并发性）保证系统的安全性（操作系统是一个共享资源系统，因此要有对应的资源保护）2、运行环境操作系统是管理、调度系统资源
谁吃了我的薯条·2020-07-05 01:19

Linux CFS调度系统----进程优先级和权重

Linux的CFS调度系统不同于O(1)调度器，不需要时间片概念，至少不需要传统的时间片。CFS调度系统只考虑进程的等待时间，即进程在就绪队列中已经等待了多长时间。
Justlinux2010·2020-07-05 00:12

本地IDEA提交Flink/Spark任务到集群的工具

Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。
todd5167·2020-07-04 20:14

EDUSOHO踩坑笔记之二十五：定时任务调度系统Scheduler

EDUSOHO踩坑笔记之二十五：定时任务调度系统SchedulerScheduler即定时任务调度系统，也叫计划任务，可以通过该组件实现预设某个时间执行自定义的任务（以下简称job）。
jyl_sh·2020-07-04 20:11

最近搞的AGV调度控制中心

一、系统架构本系统主要与公司的AGV硬件设备配合使用，系统核心模块如下图：二、功能介绍功能比较多，主要介绍下核心功能1，地图设计这是AGV调度系统的基本功能。
程序yy·2020-07-04 16:12

【CQOI 2015】任务查询系统

调度系统会经常向查询系统询问，第Xi秒正在运行的任务中，优先级
forever_dreams·2020-07-04 15:40

黑马程序员——银行业务调度系统

黑马程序员——银行业务调度系统----------------------android培训、java培训、期待与您交流！
Fengyan-Java·2020-07-04 15:47

azkaban调度系统扩展

azkabanazkaban是一款非常给力的调度系统，由Linkedin开源，有以下主要功能：Web用户界面调度工作流认证/授权(权限的工作)工作流和任务的日志记录和审计azkaban_assistantgithub
cocofree·2020-07-04 13:26

BZOJ3932 [CQOI2015]任务查询系统

调度系统会经常向查询系统询问，第Xi秒正在运行的任务中，优先级最
Log_x·2020-07-04 12:44

Spark高频面试题总结

是Spark自身的一个调度系统。Yarn:Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种
AiBigData·2020-07-04 04:20

Apache DolphinScheduler(海豚调度) - 1.3 系列核心表结构剖析

ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
程序优化·2020-07-03 17:00

Apache DolphinScheduler(海豚调度) - 1.3 系列核心表结构剖析

ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
DolphinScheduler(海豚调度)·2020-07-03 17:00

Apache DolphinScheduler(海豚调度) - 1.3 系列核心表结构剖析

ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
代立冬·2020-07-03 17:30

Asterisk realtime 之SIP用户动态写入mysql 数据库（1）

csdnucser,http://blog.csdn.net/perfectpdl转载注明出处，谢谢,VOIP行业资讯和技术趋势请参考：www.voip123.cn提供通信服务器和客户端解决方案，包括视频电话，调度系统
voipmaker·2020-07-02 14:56

数据中心配电方案

能够实现对数据信息的集中处理、存储、传输、交换、管理的物理空间；计算机设备、服务器设备、网络设备、通信设备、存储设备等是数据中心的关键设备；铁路调度系统（DMIS）和运输系统（TMIS）。
数据中心运维管理·2020-07-02 05:06

各种车牌的标识与车牌识别的作用

在一些单位这种应用还可以同车辆调度系统相结合，自动
钟宁华·2020-07-02 03:09

爬虫技术概览

爬虫的各个阶段调度阶段下图是调度系统通常需要考虑的一些事情。下图是一个简单的调度模块，由一个Cran
chasexie(xiehonghao)·2020-07-02 02:31

java 面试题(二) 银行业务调度系统

银行业务调度系统一,需求描述:模拟实现银行业务调度系统逻辑,具体需求:1,银行内有六个业务窗口,1-4号为普通窗口,5号为快速窗口,6号为VIP窗口2,有三种类型的客户:VIP客户,普通客户,快速客户3
之武·2020-07-01 14:24

物流运输的应用现代信息系统技术

利用PDA与GPS车辆信息系统相连，中央调度系统可以控制整个运输车队的运行，对车辆的位置、状况等进行实时监控。
物联宇手持终端·2020-07-01 12:20

大数据相关开源项目汇总

调度与管理服务**Azkaban**是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。
Jenrey·2020-07-01 10:50

Go 语言优势、对比

a.goroutineb.通道3.语言类型系统a.类型简单b.接口对一组行为建模4.对比a.语言b.python协程与go的goroutine对比：I.与线程的关系II:对比III:异步IV:python和go都使用了消息调度系统模型
Sinkmist·2020-07-01 04:07

iOS多线程系列之三：GCD用法大全

##一、GCD简介GCD（GrandCentralDispatch）伟大的中央调度系统，是苹果为多核并行运算提出的C语言并发技术框架。
高家二少爷·2020-07-01 00:55

数据治理-HDFS废弃文件、Hive废弃表检测与清理

1、背景废弃下线的业务，直接在调度系统下线了相应的调度任务，而大量历史数据仍然残留，需要清除。去年集群迁移，导致很多表有HDFS数据但Hive上没有元数据，需要清除。
Deegue·2020-06-30 20:28

遇见未知的Saturn |准备篇:分布式定时任务调度系统技术解决方案(xxl-job、Elastic-job、Saturn)

如何快速的进行工资结算(数据运算型)保险短信开门红/电商双十一1000w+短信发送(短时汇聚型)工作中业务场景非常多，所涉及到的场景也各不相同，这使得我们定时任务系统应该集管理、调度、任务分配、监控预警为一体的综合调度系统
沁雅学院·2020-06-30 16:18
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他