资源调度

Spark计算框架

Spark计算框架一、Spark概述二、Spark的安装部署（安装部署Spark的ClusterManager-资源调度管理器的）1、Spark的安装模式1.1、Spark（单节点）本地安装1.2Spark
Augenstern K·2023-09-26 10:51

spark standalone模式

standalone模式是spark自己的资源调度框架,由master和worker组成.master有一个workerinfo的数组,里边有worker的基本信息,包括core数,内存,最后通信时间master
lllpanda·2023-09-26 04:09

100款大数据框架和工具汇总

本文列举出全球100款大数据工具，包括数据存储、数据计算、资源调度以及可视化等软件，这里面肯定有你需要的。如果你有更好的大数据软件推荐，欢迎留言啊。
羋学僧·2023-09-26 00:20

Hadoop初识及信息安全（大数据的分布式存储和计算平台）

Hadoop的广义和狭义区分：狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架
墨痕诉清风·2023-09-25 11:40

2019面试第二弹（关于线程和进程）

首先，线程是资源调度的基本单位。同步与异步同步：线程访问临界资源时，阻塞的访问临界资源。异步：
JoyDang·2023-09-25 09:31

5W字讲解最新大数据面试题

三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法HadoopHadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框
无精疯·2023-09-24 20:59

07 | Kubernetes概述

K8S提供了容器编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能。Kubernetes目标是让部署容器化应用简单高效。2k8s特性自我修复在节点故障时，重新启动失败的容
农耕园·2023-09-24 09:55

Kubernetes 概述

K8S提供了容器编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能。Kubernetes目标是让部署容器化应用简单高效。
新秀后浪·2023-09-24 09:20

pod之pod调度

目录pod资源调度Replicationcontroller（RC）ReplicaSet扩容与缩容版本更新Deployment扩容与缩容版本升级与回滚暂停与恢复DeamonSet版本升级小结pod资源调度优化定向调度
张shixiong·2023-09-24 00:36

kubeadm安装Kubernetes集群

在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等功能，提高了大规模容器集群管理的便捷性。K8S集群中有管理节点与工作节点两种类型。管理节点主要负责K8S
习惯了沉默乄·2023-09-23 02:39

KubeSphere 3.4.0 发布：支持 K8s v1.26

让我们先简单回顾下之前三个大版本的主要变化：KubeSphere3.1.0新增了“边缘计算”、“计量计费”等功能，将Kubernetes从云端扩展至边缘；KubeSphere3.2.0新增了对“GPU资源调度管理
·2023-09-22 13:08

大数据-hadoop

HortonworksApache版本最原始的版本Cloudera在大型互联网企业中用的较多Hortonworks文档较好1.4架构hadoop由三个模块组成分布式存储HDFS分布式计算MapReduce资源调度引擎
highly2009·2023-09-22 10:59

5款免费又好用的甘特图软件，总有一款适合你

可帮助用户快速的整合项目管理软件所需的甘特图，网络图，资源柱状图，日程日历，资源调度等功能模块，并提供全方位的支持和服务。目前市面上有很多甘特
杨柳依依_09f7·2023-09-22 10:06

Spark的基础

SparkSQL2.3SparkStreaming2.4SparkMLlib2.5SparkGraphX2.6SparkR三、Spark的特点3.1计算快速3.2易用性3.3兼容性3.4通用性四、Spark的安装部署4.1Spark的安装部署就是安装Spark的不同的资源调度器
cai-4·2023-09-21 18:56

【Linux】死锁理解

什么是死锁因为资源调度的方式不合理或者资源的稀缺性，导致进程间的相互等待。死锁的四个必要条件：互斥条件，请求和保持条件，环路等待条件，不可剥夺条件。死锁的预防只要破坏死锁产生的四个必要条件。
哥不想学算法·2023-09-21 02:07

实训笔记——Spark计算框架

实训笔记——Spark计算框架Spark计算框架一、Spark的概述二、Spark的特点三、Spark的安装部署（安装部署Spark的ClusterManager-资源调度管理器的）3.1本地安装--无资源管理器
cai-4·2023-09-19 10:19

二进制部署Kubernetes v1.27.1 高可用集群(保姆级超详细，可通过在线或离线部署)

Google在2014年6月开源的一个容器集群管理系统，使用Go语言开发，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了资源调度
Mr.L-OAM·2023-09-18 08:00

MapReduce & YARN 的部署

1、部署说明HadoopHDFS分布式文件系统，我们会启动：NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助同理，HadoopYARN分布式资源调度
新征程，再出发·2023-09-18 03:30

go-GMP和Scheduler

的中间件，它通过一个队列绑定了GM，每个P都有一个局部queue，用来存放待执行的本地goroutineGGoroutine只存在于Go语言的运行时，它是Go语言在用户态提供的线程，作为一种粒度更细的资源调度单元
我是你的小阿磊·2023-09-16 10:13

《十小时入门大数据》学习笔记之初识Hadoop

笔记内容概括Hadoop概述1.1Hadoop名字的由来1.2Hadoop介绍1.3Hadoop能做什么Hadoop核心组件2.1HDFS(分布式文件系统)2.2YARN(资源调度系统)2.3MapReduce
腊月的梅花·2023-09-15 08:36

Hadoop3.x入门-Spark3.x部署

其中，Spark提供计算服务，Yarn提供资源调度能力，HDFS提供存储。
-小末·2023-09-14 10:06

云原生概述

云与原生之间的关系1.3云原生概念由来及最佳实践三个层面1.3.1概念由来1.3.2最佳实践三个层面1.4云原生代表技术1.4.1微服务1.4.2容器化1.4.2.1Docker容器1.4.2.2Kubernetes资源调度与容器编排
巧克力配酸奶·2023-09-13 16:26

大数据之yarn

Yarn概述是一个资源调度平台，相当于一个分布式的操作系统平台，而MR相当于操作系统中运行的软件，比如QQ、微信。
十七✧ᐦ̤·2023-09-13 06:54

pyspark(一)：常用术语及环境搭建

1.2standaloneStandalone模式使用Spark自带的资源调度框架采用Master/Slaves的典型架构，选用ZooK
吾系司机·2023-09-11 17:41

#CCF-计算资源调度器-202203-3

得分只有80分，保存后续继续改进。过滤阶段在这个阶段，先根据计算任务的要求，过滤出所有满足要求的计算节点。如果不存在这样的计算节点，并且指定了计算任务反亲和性要求，并且计算任务反亲和性要求是尽量满足的，那么去掉计算任务反亲和性要求，再过滤一次。如果还不存在，就认为该计算任务的要求无法满足，该计算任务无法分配。排序阶段在这个阶段，将过滤后的计算节点按照这个方法排序：选择此时运行计算任务数量最少的计算
山河与飞鸟·2023-09-11 13:55

CCF-CSP 25次 第三题【计算资源调度器】

计算机软件能力认证考试系统这种题题面很长要迅速提取有效信息，可以根据后面的数据范围逐个的写，这样更容易理解题目，再就是选对数据结构很关键，再加上一点复杂的逻辑思维，基本可以满分参考：AcWing4457.计算资源调度器
QZZ_PP·2023-09-11 13:55

大数据导论 笔记

技术发展计算机网络云计算大数据时代人工智能（本科：使用，研究生：推导，博士：创新）2023年大数据模型人工智能元年2、基础课程hadoop大数据基础三大件：HDFS分布式存储、MapReduce并行计算框架、yarn分布式资源调度框架
暗托涅瓦·2023-09-10 02:12

Hadoop的第三大组成：YARN框架

ResourceManager：YARN集群的管理者2、NodeManager3、Container4、ApplicationMaster三、YARN的详细工作流程--运行MapReduce四、YARN的资源调度器问题五
Augenstern K·2023-09-09 09:58

大数据技术之Hadoop：Yarn集群部署（七）

页面一、部署说明HadoopHDFS分布式文件系统，我们会启动：NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助同理，HadoopYARN分布式资源调度
何苏三月·2023-09-09 04:19

大数据技术之Hadoop：MapReduce与Yarn概述（六）

目录一、分布式计算二、分布式资源调度2.1什么是分布式资源调度2.2yarn的架构2.2.1核心架构2.2.2辅助架构前面我们提到了Hadoop的三大核心功能：分布式存储、分布式计算和资源调度，分别由Hadoop
何苏三月·2023-09-09 04:17

负载均衡指定权重-加权随机数

加权随机数加权随机数一般用于资源调度场景,比如说在服务部署的时候每台机器的性能不一样那么我们就不能用平均负载,如果使用评价负载容量小的机器肯定承受不住,那么我们就需要指定权重例如例如nginx中的upstreamdebugo_servers
王小杰at2019·2023-09-07 20:04

Yarn资源调度器

文章目录一、Yarn资源调度器1、架构2、Yarn工作机制3、HDFS、YARN、MR关系4、作业提交之HDFS&MapReduce二、Yarn调度器和调度算法1、先进先出调度器（FIFO）2、容量调度器
ha_lydms·2023-09-07 17:42

删除命名空间一直处于Terminating

删除命名空间一直处于Terminating通常删除命名空间或者其他资源一直处于Terminating状态，是由于资源调度到的节点处于NotReady状态，需要将节点重新加入到集群使其状态变为Ready状态才能解决问题
炒栗子不加糖·2023-09-06 04:39

Hadoop的概述与安装

Hadoop的概述与安装一、Hadoop内部的三个核心组件1、HDFS：分布式文件存储系统2、YARN：分布式资源调度系统3、MapReduce：分布式离线计算框架4、HadoopCommon（了解即可
Augenstern K·2023-09-05 06:49

我花了10个小时，写出了这篇K8S架构解析

于是，容器的资源调度，部署
码农小光·2023-09-04 00:48

Flink实时计算中台Kubernates功能改造点

因此中台需要提供一个统一的SDK支持平台能够实现flinkjar作业的发布；绝大多数情况下企业可能会考虑FlinkOnYarn的这个发布模式，但是伴随云原生的呼声越来越大，一些企业不希望部署一套YARN繁重的基座平台作为资源调度平台
麦田里的守望者··2023-09-03 06:26

浅谈spark

sparkspark是一个开源分布式计算框架，在于让计算更加快速，通常使用资源调度器yarn和spark自带的资源调度器standalond进行调度，spark相对于Hadoop更加快速，基于它是内存进行迭代
a1361585·2023-09-03 01:11

Kubernetes --（k8s）基础

在Docker技术基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整的功能，提高了大规模容器集群管理的便捷性。
风口上的云·2023-09-02 14:58

美团 Flink 资源调度优化实践

本篇内容主要分为四个部分：相关背景和问题解决思路分析资源调度优化实践后续规划点击查看原文视频&演讲PPT一、相关背景和问题在计算规模方面，目前我们有7w多作业，部署在1.7w台机器上，高峰期流量达到每秒
Apache Flink·2023-08-30 06:45

Spark on Yarn与Flink on Yarn连接kerberos认证的Hbase

Spark和Flink均为分布式计算引擎，在使用yarn作为资源调度器提交任务并且连接拥有Kerberos认证的Hbase时，同时面临着认证文件分发与获取的问题。
雾岛与鲸·2023-08-30 00:10

Android - 进程 Process

不同系统资源调度的基本单位，程序的一个运行实例（可看作工厂中的车间）。CPU调度的基本单位（可看作车间中的一条条流水线）。进程间相互独立，有各自的资源和
Jomurphys·2023-08-29 23:23

国标视频融合云平台EasyCVR视频汇聚平台的应用场景及其功能说明

EasyCVR具备强大的视频整合能力和AI云边端调度能力，可以实现基于端、边、云架构的算力分配、资源调度、计算与存储、
EasyNTS·2023-08-29 14:28

美团 Flink 资源调度优化实践

本篇内容主要分为四个部分：相关背景和问题解决思路分析资源调度优化实践后续规划点击查看原文视频&演讲PPT一、相关背景和问题在计算规模方面，目前我们有7w多作业，部署在1.7w台机器上，高峰期流量达到每秒
·2023-08-29 10:28

Yarn 和 Zookeeper

Yarn的作用Yarn是一个分布式资源调度器组件。这个组件的主要作用是在每次接收到请求后，会查看当下的各个子节点的状况，统筹出运算资源的调度方案来保证任务可以顺利执行。
ZhangShiWen·2023-08-26 14:42

yarn 资源调度

1.什么是yarnyarn是hadoop集群当中的资源管理系统模块,从hadoop2.0开始引入yarn模块,yarn可为各类计算框架(mrsparkflink)提供资源的管理和调度,主要用于管理集群当中的资源(CPU内存磁盘网络IO)以及在yarn上面的各种任务.yarn的核心是分离资源管理与作业监控,实现分离的做法是拥有一个全局的资源管理(ResourceManager，RM),以及每个应用程
我是玄离大人·2023-08-26 08:08

FastDFS

02【熟悉】FastDFS原理及入门1，系统结构图FastDFS分为Tracker、Storage，其中Storage负责存储文件，Tracker负责存储文件所在地址，主要作用是负载均衡和资源调度。
LetKing·2023-08-26 06:16

Kubernetes 基本概念及架构

Kubernetes是Google开源的容器集群管理系统，基于Docker构建一个容器的调度服务，提供资源调度，均衡容灾，服务注册，动态扩容等功能套件。
清风的BLOG·2023-08-26 05:43

Kubernetes介绍及基本概念

K8S主要用于自动化部署、扩展和管理容器应用,提供了资源调度、部署管理、服务发现、扩容缩容、监控等一整套功能。2015年7月,Ku
aoshen9564·2023-08-26 05:12

大数据基础面试题五：Spark Core & SQL & Streaming

SparkCore&SQL&Streaming目录大数据基础面试题五：SparkCore&SQL&Streaming十一、SparkCore&SQL11.1Spark解决什么问题11.2Spark为什么会有自己的资源调度器
大数据面壁者·2023-08-25 10:37

架构评估-架构师之路（十二）

设计策略：优先级队列、增加计算资源、减少计算开销、引入并发机制、采用资源调度。可靠性：在意外或错误使用情况下维持软件系统功能特征。如MTTF、MTBF、MTTR。MTTF：平均无故障时间。
后端从入门到精通·2023-08-25 01:13
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他