mesos

Spark Dynamic Allocation 分析

spark1.5开始为mesos粗粒度模式和standalone模式提供了DynamicAllocation的机制。通过将闲置executor移除，达到提高资源利用率的目的。
breeze_lsw·2019-12-23 07:31

Spark内核概述

1.1ClusterManager(Master,ResourceManager)Spark的集群管理器，主要负责对整个集群资源的分配与管理ClusterManager在Yarn部署模式下为ResourceManager在Mesos
hyunbar·2019-12-22 12:00

转载-Nginx动态更新upstream实现

原文出处:Nginx动态发现方案与实践1.背景很多公司都有做动态调度系统，有些是基于mesos+docker，有些采用了google的K8s，或者是自研的系统，这些系统有一个明显的特征就是服务实例的ip
猴子精h·2019-12-21 21:26

Mesos 容错、故障

executor->task)framework宕机(调度器)a.framework挂掉不会影响已有任务的执行b.若master实现故障恢复功能,会重新向master注册并获取所有任务的状态信息master宕机a.mesos
imsilence·2019-12-21 07:18

DevOps理论＋实践之路

DevOps的必要性，实施DevOps所用到的各类组件的功能，从全局的视角来学习DevOps的完整知识，为后续实践章节提供理论基础2-1devops思想12-2devops思想22-3devops思想3第3章mesosmesos
一个Bug改一天·2019-12-19 01:01

Mesos总体架构

董的博客»ApacheMesos总体架构http://dongxicheng.org/apache-mesos/meso-architecture/前言同其他大部分分布式系统一样，ApacheMesos
葡萄喃喃呓语·2019-12-18 21:43

Spark on Mesos cluster mode

2.mesos-dispatcher如果要在mesos中使用cluster模式，必须先开启mesos-dispatcher服务。
breeze_lsw·2019-12-18 18:21

docker简介

Docker系列之（一）：10分钟玩转DockerDocker系列之（二）：使用Mesos管理Docker集群（Mesos+Marathon+Chronos+Docker）Docker系列之（三）：Docker
紫玥迩·2019-12-18 10:26

服务编排框架是如何实现服务的发现功能

所有的服务都必须部署在同一个节点上,这样link机制才生效的 mesosmesos的官方文档中，提供了
翻江倒海一条鱼·2019-12-17 22:53

Docker下Mesos集群环境搭建

a、部署mesos-master1、拉取mesos镜像dockerpullmesosphere/mesos-master:1.4.12、在master上运行zookeeperdockerrun--namezookeeper-p2181
宁静的猫·2019-12-17 10:02

GIAC 2017全球互联网架构大会最新日程

GIAC于2016年12月成功举办了第一届，而今年的GIAC已经有腾讯、阿里巴巴、百度、平安、饿了么、携程、七牛、蚂蚁金服、罗辑思维、摩拜、唯品会，LinkedIn,Pivotal,Mesospher
Cynthia成·2019-12-17 02:45

当当弹性化中间件及云化之路（据说读完可以少踩坑）

本文为整理的文字稿，由数人云公众号（id：dmesos）编辑，IT大咖说（id：itdakashuo）作为现场视频直播提供方，经授权转载。
IT大咖说·2019-12-16 13:27

swarmjstorm

zk1:image:'mesoscloud/zookeeper:3.4.8-ubuntu'environment:-MYID=1-SERVERS=${COMPOSE_PROJECT_NAME}_zk1_
运维经理·2019-12-13 03:55

Spark Core解析 2：Scheduler 调度体系

Spark的资源调度采用的是常见的两层调度，底层资源的管理和分配是第一层调度，交给YARN、Mesos或者Spark的Standalone集群处理，Application从第一层调度拿到资源后，还要进行内部的任务和资源调度
Liam·2019-12-13 00:10

CentOS 7下使用yum安装Mesos

参考Mesos官网，可以使用Mesos源码安装Mesos，这种方法安装的Mesos配置成系统服务，比较麻烦，推荐使用yum安装Mesos。
meidisun·2019-12-12 06:10

二、flink--集群环境搭建

一、Flink环境搭建1.1flink部署方式Flink可以选择的部署方式有：Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。
隔壁小白·2019-12-09 17:43

3.spark运行模式

spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。
java大数据编程·2019-12-07 15:31

LXC(Linux container)介绍

//资源管理框架（mesos/YARN/coraca/Torca/Omega)分析http://mp.weixin.qq.com/s?
葡萄喃喃呓语·2019-12-06 21:11

Mesos1.0.1 安装指南

Mesos1.0.1安装指南1环境1.1操作系统：ubuntu16.04虚拟机ip主机名安装应用172.16.7.100test0Mesos-master172.16.7.101test1Mesos-masterzookeeper172.16.7.102test2Mesos-slavezookeeperdocker172.16.7.103test3Mesos-slavezookeeperdocke
这个名字帅气嘛·2019-12-02 08:39

Apache Mesos总体架构

1.前言同其他大部分分布式系统一样，ApacheMesos为了简化设计，也是采用了master/slave结构，为了解决master单点故障，将master做得尽可能地轻量级，其上面所有的元数据可以通过各个
宇信智臻sy·2019-12-02 02:47

如何利用Marathon标签改进运行分析能力

基于Mesos的数人云使用了Marathon技术，将它用于部署及监控长期运行及容器化应用程序，还会在不远的将来进行版本的更新，及时跟进国外的脚步，为大家提供更好的服务。
优云数智·2019-12-01 00:01

spark的资源分配策略及作业调度策略

Spark运行的集群管理器(clustermanager)(主要包括Standalone、Mesos和YARN这三种)为跨应用程序调度提供了便利，有静态分区方式和动态资源分配方式两种。
盗梦者_56f2·2019-11-30 22:17

我所知道的大数据技术

今天看到一篇有关云计算技术文章，把虚拟化和虚机集群管理OpenStack、容器Docker和容器集群管理Kubernetes、通用资源调度管理器Mesos和大数据处理调度管理器YARN、容器隔离微服务和
阿朱说·2019-11-30 16:35

CentOS7下安装Mesos教程

基于centos7，安装mesos以及相关示例运行的教程。
格子Lin·2019-11-30 09:20

后端技术杂谈5：云计算的前世今生

长期专注于kubernetes,OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件的企业级应用及产品化。曾出版《Lucene应用开发揭秘》。
黄小斜·2019-11-21 22:47

Spark源码分析：Spark运行模式及原理

Spark源码分析：Spark运行模式及原理1.运行模式概述spark运行模式多种多样，分为以下几种本地模式为分布式集群standalonemesoshadoopyarn基本框架：2.相关类介绍taskscheduler
raincoffee·2019-11-08 12:26

《Spark指南》三、 提交应用程序

位于bin目录的spark-submit脚本用来在集群中运行应用程序，它以统一的接口支持所有类型的clustermanagers（包括独立模式、ApacheMesos模式和HadoopYARN模式）。
Flowaway·2019-11-07 18:27

通过 Mesos、Docker 和 Go，使用 300 行代码创建一个分布式系统

【摘要】虽然Docker和Mesos已成为不折不扣的Buzzwords，但是对于大部分人来说它们仍然是陌生的，下面我们就一起领略Mesos、Docker和Go配合带来的强大破坏力，如何通过300行代码打造一个比特币开采系统
OneAPM·2019-11-05 00:13

主流云相关技术

ApacheMesos:开源分布式资源管理框架，它被称为是分布式系统的内核。Openstack:OpenStack是一个开源的云计算管理平台,旨在为公共及私有云的建设与管理提供软件的开源项目。
架构路上的一亩三分地·2019-11-03 21:45

【PPT已更新】360互联网技术训练营第九期——360容器技术解密与实践

：https://ppt.baomitu.com/conference/61PPT列表360在容器网络配置优化及自动化部署方面的实践https://ppt.baomitu.com/d/05450239Mesoscontainer
welefen·2019-11-03 21:15

spark on mesos Coarse Mode 调度模式的改变

在spark2.0以前，sparkonmesos粗粒度模式中，一个application不支持在一个slave上启动多个executor，因此会造成资源（cpu，memory）浪费的问题。
breeze_lsw·2019-11-03 14:42

How To Configure a Production-Ready Mesosphere Cluster on Ubuntu 14.04（2）

在Master服务器上配置Mesos下面，我们将开始在三台master服务器上配置Mesos。在每台master服务器上完成下列步骤。
乔伊斯·2019-11-03 10:18

Storm相关文章索（1）

StormOnYARNStormonMesos：使
司小幽·2019-11-03 02:02

Spark 运行部署

spark三种运行部署方式：1.yarn模式2.standalone3.Mesos============================================================
起个什么呢称呢·2019-11-02 01:07

Mesos 认证、授权

认证、授权用户:用于master对framework和slave的认证角色:将framework分类在框架注册时，必须指定框架注册的角色信息，在资源分配是作为框架的属性进行影响分配结果将用户分类用于定义某(些)用户对框架的操作信息,比如注册、下线等将资源分类在slave上配置,用于指定资源只能由某角色使用操作:主要用于限制framework的注册(register_frameworks)，运行(r
imsilence·2019-11-01 19:44

使用Docker、CoreOS、Mesos部署可扩展的Web应用（二）

为我的Web应用程序创建Docker镜像这里是我用来构建Docker镜像的Dockerfile：FROMgolangWORKDIR/RUNgitclonehttps://djannot:[email protected]/djannot/s3pics.gitWORKDIR/s3picsRUNgobuildEXPOSE8080构建镜像时我使用了--no-cache参数，以确保最新的源代码是从GitHub
咖灰·2019-11-01 09:52

StuQ 大数据工程师技能图谱

大数据工程师技能图谱大数据通用处理平台SparkFlinkHadoop分布式存储HDFS资源调度YarnMesos机器学习工具MahoutSparkMlibTensorFlow
Albert陈凯·2019-10-31 07:57

centos7搭建flink-1.7.2-bin-hadoop27-scala_2.12 yarn模式集群

目前比较流行的第三方资源管理器包括HadoopYarn，ApacheMesos，Kubernetes等。
ASN_forever·2019-10-20 00:22

Flink on YARN（下）：常见问题与排查思路

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
大涛学长·2019-10-15 05:54

PaaS实现与运维管理：基于Mesos +Docker+ELK的实战指南

网站更多书籍点击进入>>CiCi岛下载电子版仅供预览及学习交流使用，下载后请24小时内删除，支持正版，喜欢的请购买正版书籍电子书下载(皮皮云盘-点击“普通下载”)购买正版封页编辑推荐本书从技术和管理两个角度详解分布式PaaS平台的实现与运维，主要涉及：◎概念模型：引入PaaS平台◎基础资源：回归本真，理解三大基础资源——计算、存储、网络◎平台实现：构建完整的PaaS平台——基于容器的操作系统虚拟化
CiCi岛·2019-10-14 21:13

Flink on YARN（下）：常见问题与排查思路

作者：杨弢（搏远）Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
51小二·2019-10-14 16:29

Spark：spark在集群中的运行机制

1.Spark运行时架构  Spark可以在各种各样的集群管理器（HadoopYarn、ApacheMesos，还有spark自带的独立集群管理器）上运行。
乔治在哪里·2019-10-08 19:20

Spark中Standalone、Yarn和Mesos三种模式的对比

SparkonStandalone：Standalone是SparkCore自带的集群资源管理框架，类似于MRV1.0采用的模式（JobTracker），内部实现了容错性和资源管理。内部架构：Client、Master、WorkerSparkonStandalone的运行流程是将程序代码解析成DAG结构，并再细分到各个Executor和Task去进行并行计算。同时它具有Master的HA，对故障可
霈行千里·2019-09-27 12:44

yarn－cluster 和yarn－client区别

Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Cluster更适用于交互，调试模式，以下是它们的区别Spark插拨式资源管理Spark支持Yarn,Mesos
dufufd·2019-09-26 18:02

一张图轻松掌握 Flink on YARN 应用启动全流程（上）

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
独角的犀牛·2019-09-25 16:45

一张图轻松掌握 Flink on YARN 应用启动全流程（上）

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
独角的犀牛·2019-09-25 16:45

云原生Kubernetes日志落地方案

前言第一次听到Kubernetes的名字是在16年，那个时候Kubernetes还处于和DockerSwarm、Mesos方案的“三国鼎立时代”，Kubernetes由于一系列优势（可扩展、声明式接口、
大涛学长·2019-09-20 20:40

系列文章：云原生Kubernetes日志落地方案

阅读更多前言第一次听到Kubernetes的名字是在16年，那个时候Kubernetes还处于和DockerSwarm、Mesos方案的“三国鼎立时代”，Kubernetes由于一系列优势（可扩展、声明式接口
大涛学长·2019-09-18 15:00

系列文章：云原生Kubernetes日志落地方案

阅读更多前言第一次听到Kubernetes的名字是在16年，那个时候Kubernetes还处于和DockerSwarm、Mesos方案的“三国鼎立时代”，Kubernetes由于一系列优势（可扩展、声明式接口
大涛学长·2019-09-18 15:00

系列文章：云原生Kubernetes日志落地方案

阅读更多前言第一次听到Kubernetes的名字是在16年，那个时候Kubernetes还处于和DockerSwarm、Mesos方案的“三国鼎立时代”，Kubernetes由于一系列优势（可扩展、声明式接口
大涛学长·2019-09-18 15:00
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他