mesos

聊聊调度框架，K8S、Mesos、Swarm 一个都不能少

Swarm、Mesos、和Kubernetes都为各种规模的企业提供了全面的支持，如何选择是好？
·2023-06-21 16:28

分布式计算模式：MapReduce

总结前言两层调度时提到，Mesos的第二层调度是由Framework完成的。这里的Framework通常就是计算框架，比如Hadoop、Spark等。
海陆云·2023-06-20 01:56

来自 VMWare 的开源 Linux 容器系统： Photon OS 5.0 发布

对容器的支持：PhotonOS包括Docker守护进程，并与Mesos
llawliet0001·2023-06-18 09:36

flink主要组件及高可用配置

背景flink不论运行在哪种环境，例如Yarn，Mesos，Kebernute以及独立集群，每个应用都会包含重要的几个组件，本文就来讲述下flink的主要组件以及如何实现flink的高可用配置flink
lixia0417mul2·2023-06-18 06:14

最牛逼的性能监控系统！集强大功能于一身

SkyWalking是一个应用性能监控系统，特别为微服务、云原生和基于容器（Docker,Kubernetes,Mesos）体系结构而设计。除了应用指标监控以外，它还能对分布式调用链路进行追踪。
·2023-06-14 18:37

Spark大数据处理学习笔记2.1 初识Spark

文章目录一、学习目标二、spark概述（一）Spark的组件1、SparkCore2、SparkSQL3、SparkStreaming4、MLlib5、GraphX6、独立调度器、Yarn、Mesos（
人生苦短@我用python·2023-06-14 06:03

Spark集群部署和启动与关闭

Mesos  Mesos（SparkonMesos模式）是一款资源调度管理系统
想你依然心痛·2023-06-14 01:15

2022-10-22

Part11，从本单元中我学到的最重要的理念（精读和视听说分别总结）精读:Wehavebecomesosmartaboutself-protectionthat,intheend,wehavealloutsmartedourselves
人文教育二班郭静·2023-06-13 22:23

2019-07-29

CanyouhearmeSOS你可曾耳闻我发出的求救信息Helpmeputmymindtorest让我的心神都得以沉寂歇息TwotimesclearagainI'mactinglow这样说了两次现在我对此低调不语
苏康·2023-06-13 18:54

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

在2009到2019的十年间，豆瓣数据平台经历了几轮变迁，形成了DPark+Mesos+MooseFS的架构。
Juicedata·2023-06-12 15:57

使用 Docker-compose 搭建lnmp

：单机环境下：shell/python脚本多机/集群环境下：ansible、saltstack、pubbetdocker容器编排：单机：docker-compose多机/集群：dockerswarm，mesos
Yuzhang2046·2023-06-12 09:20

4、（双语科普）学英语，看世界：“社交恐惧症”

Inmanycases,thesephobiascanbecomesoseveret
阁香书院·2023-06-09 11:00

Spark集群安装部署

介绍Spark部署由三种模式，本地集群（StandaloneCluster）、YARN、Mesos模式。本篇文章只介绍前两种环境搭建，Mesos没有使用经验。
小学僧丶Monk·2023-06-09 08:28

使用Apache Airflow调度Glue任务

Airflow支持单机和分布式两种模式，支持Master-Slave模式，支持Mesos等资源调度，有非常好的扩展性。
獭小贝·2023-04-20 10:41

大数据相关开源项目及组件汇总

调度与管理服务文件系统数据搜集消息系统内存技术数据处理查询引擎分析和报告工具机器学习开发平台目录图：类别与开源项目|调度与管理服务|Azkaban、YARN、Mesos、Ambari、ZooKeeper
wandy0211·2023-04-19 14:32

spark-submit参数

2、参数说明2.1通用参数(java,scala,python等程序)mastermaster这个master_url可以是如下几种：spark://host:port#standalonemesos:
不穿格子衫的程序猿·2023-04-15 10:12

实时计算框架：Flink集群搭建与运行机制

Flink不仅可以运行在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启
知了一笑·2023-04-14 04:28

skywalking

skywalking是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。
我叫果冻·2023-04-13 20:20

1.flink简介与重要概念

Flink可以运行在常见集群环境如YARNKubernetesMesos,内存级别的速度和任意的扩展Unboundedstreams无界数据流无界数据流有开始但是没有结束,需要持续不断的处理.处理无界数据通常需要一个特定的顺序
夹毛局的程序员·2023-04-13 20:36

Skywalking分布式链路跟踪（一）原理、docker搭建oap-ES7.x存储、配置java测试项目

1、什么是SkywalkingSkywalking是一个可观察性分析平台和应用性能管理系统，分布式系统的应用性能监视工具，专门为微服务，云原生和基于容器（Docker，Kubernetes，Mesos）
CodingAnHour·2023-04-10 07:40

Marathon和Kubernetes的区别

Marathon和Kubernetes的区别MesosMesos是分布式资源管理框架，它被称为是分布式系统的内核。
Susinl·2023-04-09 06:14

新手入门大数据，认识大数据学习路线

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban
金光闪闪耶·2023-04-07 13:48

Flink03：Flink集群安装部署：Standaone模式、ON YARN模式

Flink支持多种安装部署方式StandaloneONYARNMesos、Kubernetes、AWS…这些安装方式我们主要讲一下standalone和onyarn。
做一个有趣的人Zz·2023-04-06 17:49

Spark架构设计和运行基本流程

一、Spark架构设计1、Spark运行架构由下面四部分组成：（1）集群资源管理器（ClusterManager）:YARN或者Mesos等资源管理框架。
郝少·2023-04-05 19:37

Flink架构及运行流程

Flink架构及相关介绍1.架构图分层设计说明(相关术语解释）物理部署层-deploy层负责解决Flink的部署模式问题，支持多种部署模式：本地部署、集群部署（Standalone/Yarn/Mesos
不 爱吃肉肉·2023-04-04 17:09

利用SkyWalking对分布式应用进行监控

FROMhttp://skywalking.apache.org/分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。
咦咦咦萨·2023-04-03 08:19

Flink学习笔记之Flink架构

它集成了所有常见的集群资源管理器,例如HadoopYARN、ApacheMesos和Kubernets,但也可以设置作为独立集群甚至库运行。
Khalil Fang@1010·2023-04-03 03:19

Spark:Yarn-client与Yarn-cluster

Spark插拨式资源管理Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(YarnResourceManager，MesosMaster，S
liuzx32·2023-04-03 00:41

一张图轻松掌握 Flink on YARN 应用启动全流程（上）

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
zhaowei121·2023-04-02 04:01

flink的任务提交流程

如果部署的集群环境不同（例如YARN，Mesos，Kubernetes，standalone等），其中一些步骤可以被省略，或是有些组件会运行在同一个JVM进程中。
肥宅小谢·2023-04-02 04:59

Spark任务执行流程与运行架构

1.Spark的执行流程1、说明(1)构建SparkApplication的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN
52fighting·2023-04-02 02:15

flink run 参数_Flink集群部署

大数据成神之路：点我去成神之路系列目录^_^Flink入门FlinkDataSet&DataSteamAPI1部署方式一般来讲有三种方式：LocalStandaloneFlinkOnYarn/Mesos
杨小盘·2023-04-01 05:18

YARN组件

在业界中扮演这一角色的组件有YARN、Mesos等。YARN的优点（1）提高系统的资源利用率。（2）协调不同作业/不同系统的资源，减少不同作业和不同系统之间的资源争抢。（3）增强系统扩展性。
zhuhaiqin·2023-03-31 17:13

终极套娃 2.0 | 云原生交付的封装

Erda是一个PaaS平台，底层用到的技术曾经从marathon+mesos切换到现在的K8s，它们一般被认为是“容器层”。
尔达 Erda·2023-03-31 09:25

【大数据架构】-- 开源框架技术汇总

Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle3.文件系统HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio4.资源管理YARN、Mesos
high2011·2023-03-30 18:07

elastic-job介绍

ElasticJob-Lite定位为轻量级无中心化解决方案，使用jar的形式提供分布式任务的协调服务；ElasticJob-Cloud使用Mesos的解决方案，额外提供资源治理、应用分发以及进程隔离等服务
客户端技术·2023-03-30 03:04

【转载】Spark Yarn-cluster与Yarn-client

Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-Cluster适用于生产环境，而Yarn-Clientr更适用于交互，调试模式，以下是它们的区别Spark插拨式资源管理Spark支持Yarn,Mesos
ajiko·2023-03-29 23:15

01.Kubernetes学习笔记-k8s发展史

Kubernetes学习笔记-k8s发展史Mesos介绍DockerSwarm介绍Kubernetes隆重登场解决容器化集群的方案就是需要一个资源管理器Mesos介绍来源于Apache下的开源分布式资源管理的框架
皮特張·2023-03-29 17:49

k8s 发展史

k8s发展史k8s是一个分布式资源管理器，在分布式资源管系统发展的过程中出现过Mesos、DockerSwarm，最终k8s成为了行业标杆。
菜鸟厚非·2023-03-29 17:05

Rancher1.6环境的搭建

比如Swarm、Kubernetes、Mesos,这几种都是比较成熟，用户量也是比较多的，其中swarm是docker公司的亲儿子，k8s是谷歌公司的，mesos是著名开源组织Apache的。
二月江北·2023-03-29 15:59

K8S架构发展历史以及基本概念学习笔记

InfrastructureasaService：基础设施服务PlatFormasaservice：平台即服务->下一代DockerSoftwareasaservice：软件即服务1.2、分布式资源管理1.2.1、ApaceMESOStwitter
不会拯救世界的SuperMan·2023-03-28 19:52

第三章.Flink 集群搭建

Flink可以选择的部署方式有：Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。
__元昊__·2023-03-28 00:09

k8s调度算法

算法大数据应用云平台在重大疫情防控中的应用_彭锋Mesos中实现的带权重的DRF（DominantResourceFairness）算法［7］实现资源分配。
程序员石磊·2023-03-26 20:05

FLIP-6 Flink runtime设计文档摘要（一）

JobManager负责一个Job，在提交JobGraph时创建，在job完成后销毁JobManager同样可以通过savepoint创建ResourceManager根据不同的集群调度框架提供不同实现（YARN，Mesos
WJL3333·2023-03-26 12:25

搭建 Prometheus+Grafana 的云平台监控系统

现在最常见的Docker、Mesos、Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。
华夏(0.0)战火�·2023-03-24 00:42

Spark 是否开启动态资源分配

默认情况下禁用此功能，并在所有粗粒度集群管理器上可用，即standalonemode,YARNmode,andMesoscoarse-grainedmode.配置和启动使用此特性
pcqlegend·2023-03-23 20:14

架构设计30-架构模式12.实践-从架构层面了解Kubernetes

0.背景0.1为什么K8s战胜了Swarm、Mesos从使用上来说以声明式API来降低运维的操作成本。在生态系统建设方面以极高的可扩展性来提升社区活跃度。
Wales_Kuo·2023-03-23 13:03

【大数据】什么是Flink？Flink能用来做什么？

Flink不仅可以运行在包括YARN、Mesos、Kubernete
逆流°只是风景-bjhxcc·2023-03-19 11:25

Flink Standalone 集群部署

Flink支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，StandaloneCluster模式，同时Flink也支持部署在其他第三方平台上，如YARN，Mesos，Docker，Kubernetes
大数据翻身·2023-03-19 11:23

最新、最全、最详细的 K8S 学习笔记总结（2021最新版）

那么在这样一个百花齐放的容器时代涌现出了很多解决方案，比如Mesos、Swarm、Kubernetes等等，其中谷歌开源的Kubernetes是作为老大哥的存在。
前浪浪奔浪流·2023-03-16 09:24
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他