E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
mesos
Docker系列之(二):使用
Mesos
管理Docker集群(
Mesos
+ Marathon + Chronos + Docker)
Mesos
简介1.1
Mesos
Apache
Mesos
是一个分布式系统的管理软件,对集群的资源进行分配和管理。
ee900222
·
2016-02-03 14:00
spark on yarn作业执行流程
Spark的计算调度方式,从
Mesos
到Standalone,即自建Spark计算集群。虽然Standalone方式性能与稳定性都得到了提升,但自建集群
继续微笑lsj
·
2016-02-01 23:59
分布式系统
11.Spark之运行模式及原理
底层的资源调度既可以依赖于外部的资源调度框架(
Mesos
、Yarn),也可以使用Spark内建的Standalone模式。 实际应用中,Spark应用程序的运行模式取决于传递给Spar
鞋底留个洞
·
2016-02-01 18:00
Spark:Yarn-cluster和Yarn-client区别与联系
Spark支持可插拔的集群管理模式(Standalone、
Mesos
以及YARN),集群管理负责启动executor进程,编写Sparkapplication的人根本不需要知道Spark用的是什么集群管理
OiteBody
·
2016-01-31 13:26
Spark-Core源码阅读
Spark的部署方式Standalone、YARN、
Mesos
.21. Standalone.22.
Mesos
.33. YARN..3二.
wl044090432
·
2016-01-29 17:00
源码
spark
阅读
单机系统和分布式系统相关概念对比
1.资源管理-ResourceManagement单机:LinuxKernel集群:
Mesos
2.进程管理-ProcessManagement单机:LinuxKernel集群:Docker3.任务调度-
cjfeii
·
2016-01-28 10:37
业界综合
大数据
系统运维
单机系统和分布式系统相关概念对比
1.资源管理-ResourceManagement单机:LinuxKernel集群:
Mesos
2.进程管理-ProcessManagement单机:LinuxKernel集群:Docker3.任务调度-
cjfeii
·
2016-01-28 10:00
分布式
OS
系统
Marathon 0.14为容器环境带来更为出色的网络功能
Marathon是一个
Mesos
框架,能够支持运行长服务,比如Web应用等。
优云数智
·
2016-01-26 18:21
Spark架构模型介绍
这个对象一般在我们的main程序里面,通常称为驱动程序,特别的,为了能够在集群上运行,SparkContext对象支持集成了大多数集群调度比如,Spark自己的standalone,Hadoop2.x的Yarn以及
Mesos
qindongliang1922
·
2016-01-25 18:00
hadoop
spark
知名网络后端开源软件集合
CouchDB、Membase、CouchOne)http缓存:varnish、nginx、traficserver、squid负载均衡:lvs、f5、nginx代理:nginx集群操作系统(运行在单机系统上):
Mesos
ljy1988123
·
2016-01-25 16:00
Spark架构模型介绍
这个对象一般在我们的main程序里面,通常称为驱动程序,特别的,为了能够在集群上运行,SparkContext对象支持集成了大多数集群调度比如,Spark自己的standalone,Hadoop2.x的Yarn以及
Mesos
·
2016-01-25 10:00
spark
架构
模型
Mesos
入门介绍
2016年会火的技术之一,
Mesos
。花了一些时间,将
Mesos
相关的知识整理了一下,以做备忘。水平有限,如有疏漏或谬误之处,还望指出。
Mesos
是什么
Mesos
是一个集群管理平台。
hackstoic
·
2016-01-24 21:04
Docker
Mesos
入门介绍
2016年会火的技术之一,
Mesos
。花了一些时间,将
Mesos
相关的知识整理了一下,以做备忘。水平有限,如有疏漏或谬误之处,还望指出。
Mesos
是什么
Mesos
是一个集群管理平台。
hackstoic
·
2016-01-24 21:00
架构
概念
mesos
生态
高性能分布式PaaS解决方案
本次演讲,我主要介绍如何运用
Mesos
和Dock
王璞
·
2016-01-24 00:00
Spark on
Mesos
详解
Apache
Mesos
是一个资源管理系统,提供了伸缩和操作分布式系统的原语。在本次演讲中,我将分享
Mesos
和Docker集成的动机与架构,如何伸缩Docker容器,以及如何接入Apache
Mesos
Timothy Chen
·
2016-01-23 00:00
Spark on
Mesos
详解
Apache
Mesos
是一个资源管理系统,提供了伸缩和操作分布式系统的原语。在本次演讲中,我将分享
Mesos
和Docker集成的动机与架构,如何伸缩Docker容器,以及如何接入Apache
Mesos
Timothy Chen
·
2016-01-23 00:00
使用Apache
Mesos
伸缩Docker容器
Apache
Mesos
是一个资源管理系统,提供了伸缩和操作分布式系统的原语。在本次演讲中,我将分享
Mesos
和Docker集成的动机与架构,如何伸缩Docker容器,以及如何接入Apache
Mesos
Timothy Chen
·
2016-01-22 00:00
操作系统虚拟化解决方案
1.操作系统虚拟化解决方案有:VirtualMachine技术,例如Xen、VMware、KVM以及virtualBox等DockerBorg/Kubernetes
Mesos
.....
wangjianno2
·
2016-01-19 20:00
YARN中用的作业调度算法:DRF(Dominant Resource Fairness)
在
Mesos
和YARN中,都用到了dominantresourcefairness算法(DRF),它不同于hadoop基于slot-based实现的fairscheduler和capacityscheduler
流水殇
·
2016-01-17 15:00
探究AWS所提供的针对Docker的EC2容器服务
ECS是诸如DockerSwarm,Kubernetes,
Mesos
等工具的替代,它们工作在同一个层,除了作为一个服务来提供。这些工具和ECS不同的地方在于,前者需要你自己来部署和管理,而
Benjamin Wootton
·
2016-01-16 10:04
Spark集群安装
Spark三种集群Spark支持Standalone、HadoopYarn、
Mesos
三种集群方式。下面我只介绍Standalone的安装。
wb81074
·
2016-01-14 14:00
HA
spark集群安装
跟上大数据的步伐:快速搭建Spark集群
本文详细介绍了基于
Mesos
进行集群资源调度的数人云,如何部署Spark集群。Spark支持三种分布式部署方式,分别是S
shurenyun
·
2016-01-12 19:00
spark
大数据
分布式计算
mesos
集群架构
mesos
技术架构简图以下内容参考了别的内容:四个组件组成,分别是
Mesos
-master,
mesos
-slave,framework和executormaster主要负责管理各个framework和slave
雪地花露
·
2016-01-12 11:00
Spark概述
定义构建与计算集群之上支持大数据集的快速的通用的处理引擎a)快速:DAG、Memoryb)通用:集成SparkSQL、Streaming、Graphic、R、BatchProcessc)运行方式:StandAloneYARN
Mesos
AWSd
ilinux_one
·
2016-01-10 10:00
[置顶] YARN
1.YARN&
Mesos
,论集群资源管理所面临的挑战(1.4.0中,SparkonYARN的classpath问题)2.yarn默认配置3.杀掉YARN上面的SparkSubmit任务4.LostexecutoronYARN
power0405hf
·
2016-01-08 22:00
yarn
#研发解决方案#分布式并行计算调度和管理系统Summoner
郑昀创建于2015/11/10最后更新于2015/11/12关键词:佣金计算、定时任务、数据抽取、数据清洗、数据计算、Java、Redis、MySQL、Zookeeper、azkaban2、oozie、
mesos
Summoner
旁观者-郑昀
·
2016-01-08 10:00
分布式
并行计算
定时任务
集群调度
#研发解决方案#分布式并行计算调度和管理系统Summoner
郑昀创建于2015/11/10最后更新于2015/11/12关键词:佣金计算、定时任务、数据抽取、数据清洗、数据计算、Java、Redis、MySQL、Zookeeper、azkaban2、oozie、
mesos
旁观者
·
2016-01-08 10:00
初识数据中心
Mesos
Docker的飞速发展已经无需多言了,怎么管理Docker,编排Docker的也存在最够多的工具,但是总觉得没有触及痛点,所以才有数据中心
mesos
存在的必要,那么
mesos
是什么,以及
mesos
能做什么呢
youerning
·
2016-01-07 20:08
分布式
mesos
docker
自动化运维
初识数据中心
Mesos
Docker的飞速发展已经无需多言了,怎么管理Docker,编排Docker的也存在最够多的工具,但是总觉得没有触及痛点,所以才有数据中心
mesos
存在的必要,那么
mesos
是什么,以及
mesos
能做什么呢
youerning
·
2016-01-07 20:08
分布式
docker
mesos
初识数据中心
Mesos
Docker的飞速发展已经无需多言了,怎么管理Docker,编排Docker的也存在最够多的工具,但是总觉得没有触及痛点,所以才有数据中心
mesos
存在的必要,那么
mesos
是什么,以及
mesos
能做什么呢
youerning
·
2016-01-07 20:08
分布式
docker
mesos
Spark Standalone模式
Standalone集群手动启动集群集群创建脚本提交应用到集群创建Spark应用资源调度及分配监控与日志与Hadoop共存配置网络安全端口高可用性基于Zookeeper的Master本地系统的单节点恢复除了运行在
mesos
一路向前走
·
2016-01-05 22:00
DCOS到底是啥?看完这篇你就懂了
最近,该运营商凭借一条“DCOS发力双11”的新闻成功火了一把,主要是讲他们搭建了一套基于开源
Mesos
+Doker技术的DCOS(数据中心操作系统),而且很魄力地将一个服务于上千万用户的重要生产系统迁移其上
Bad_Taster
·
2016-01-05 10:04
大数据
后端
操作系统
译 | 像使用一台主机一样管理集群
作者:michaelmalak【编者的话】不论是YARN、
Mesos
还是Omega,都是某种意义上为集群设计的操作系统,让用户像使用一台单机一样来使用整个集群。
优云数智
·
2016-01-05 10:39
不可变层,不(仅仅)是基础设施
像Nomad、
Mesos
和Kubernetes这些调度器可
Kevin Fishner
·
2016-01-05 00:00
基于
Mesos
和Docker的分布式计算平台
本文将介绍数人科技基于
Mesos
和Doc
hshl1214
·
2015-12-29 10:25
cloud
基于
Mesos
和Docker的分布式计算平台
本文将介绍数人科技基于
Mesos
和Doc
hshl1214
·
2015-12-29 10:00
Docker Swarm与Apache
Mesos
的区别
DockerSwarm是目前Docker社区原生支持的集群工具,它通过扩展DockerAPI力图让用户像使用单机DockerAPI一样来驱动整个集群;而
Mesos
是Apache基金会下的集群资源管理工具
周伟涛
·
2015-12-28 00:00
为什么用Yarn来做Docker容器调度引擎
然而业界用的较多的是
Mesos
,这篇文章就是为了解释为什么选择用Yarn而不是
Mesos
来做。前言
Mesos
其实我不是非常熟悉,所以有些内容可能会有失偏颇,带有个人喜好。
祝威廉
·
2015-12-22 14:22
spark概述随笔 // todo
5、spark可以运行在yarn和
mesos
管理的集群上。6、spark核心由sparksql、sparkstream
逸新
·
2015-12-21 15:00
使用
Mesos
和Marathon管理Docker集群
分布式系统是难于理解、设计、构建和管理的,他们将比单个机器成倍还要多的变量引入到设计中,使应用程序的根源问题更难发现。SLA(服务水平协议)是衡量停机和/或性能下降的标准,大多数现代应用程序有一个期望的弹性SLA水平,通常按"9"的数量增加(如,每月99.9或99.99%可用性)。每个额外的9变得越来越难实现。分布式系统通常是以静态分区,比如Akka/Play、Spark/Hadoop
openthings
·
2015-12-18 15:00
docker
mesos
marathon
Mesos
在去哪儿网的应用
Mesos
在QunarDevOps团队内部的应用。平台介绍我们是在今年的5月份开始调研并尝试使用
Mesos
,第一个试点就是我们的日志平台,我们将日志分析全部托管在
Mesos
平台上。
openthings
·
2015-12-18 14:00
mesos
为什么私有云的定位应该是PaaS,而不是IaaS?
与此同时,围绕
Mesos
的私有云方案真正奏效了,基于
Mesos
构建私有PaaS不仅仅是大势所趋,它已经在很多公司证明了自己的价值。
openthings
·
2015-12-18 11:00
docker
mesos
私有云
Mesos
vs OpenStack,谁才是私有云的未来?
本文是Quora上的一个问题,提问者对于私有云未来的发展趋势感到疑惑,
Mesos
和OpenStack的关系是怎样的,它们之间是否可以相互替代?
openthings
·
2015-12-18 10:00
openstack
mesos
Mesos
框架对比:Marathon 和 Aurora
Marathon和Aurora都能在
Mesos
集群上调度和运行常驻服务。本文比较了两个框架的不同和优劣。问题Marathon框架和Aurora框架都能在
Mesos
集群上调度和运行常驻服务。
openthings
·
2015-12-18 10:00
mesos
marathon
Aurora
Singularity:基于
Mesos
的服务部署和作业调度平台
Singularity是一个在云基础设施中部署和运行服务和计划作业的平台,同时也是HubSpot PaaS的核心组件。它能够高效地管理底层进程的生命周期,并有效地利用集群资源。它可以作为持续部署基础设施的基本组成部分,而且是微服务部署的理想选择。它不仅能够管理数以百计的服务器上运行着的数以千计的进程,而且还提供了如下开箱即用的特性:丰富的RESTAPI,既有用于部署的,也有用于获取活动部署和历史部
openthings
·
2015-12-18 10:00
mesos
marathon
Aurora
在生产环境中使用Apache
Mesos
和Docker
在这篇文章里,我将会描述一个基于Apache
Mesos
的Docker架构。我认为,作为一个为Docker容器提供跨主机间
openthings
·
2015-12-18 10:00
nginx
docker
mesos
Mesos
配置(译)
Mesos
配置The
Mesos
masterandslavecantakeavarietyofconfigurationoptionsthroughcommand-linearguments,orenvironmentvariables.Alistoftheavailableoptionscanbeseenbyrunning
Rayn-瑞恩
·
2015-12-18 09:00
mesos
Mesos
上部署spark
还是回到之前一直持续的
Mesos
话题。在之前的环节里,我们已经尝试了
Mesos
的安装,Marathon守护服务以及相对比较主流的
Mesos
作为Hadoop的资源管理器的实际操作。
Litrin
·
2015-12-18 08:00
mesos
硬件相关
关于
Mesos
,你知道多少?
关于
mesos
你知道多少.png听过不少人在讨论
Mesos
,然而并不是很明白
Mesos
到底能够解决什么问题,使用场景是怎样的,周伟涛(国内较早一批接触使用Docker,
Mesos
等技术的开发者)用一句话形容它
优云数智
·
2015-12-16 19:41
Mesos
在去哪儿网的实践之路
背景业务线开发环境的困扰年初的时候机票的同事向我们反馈,希望可以提供Docker环境帮助他们快速构建开发环境,加速功能的迭代。正好我们OpsDev团队也在为容器寻找试点,双方一拍即合,立即开始了前期的调研工作。随着交流的深入,我们发现对于一个包含了几十个模块,快速迭代的系统,开发团队想要建立一个相对稳定的,能覆盖周边模块的开发和自测环境是非常困难的,除了要申请虚拟机外,还要新增profile,创建
徐磊
·
2015-12-14 00:00
上一页
25
26
27
28
29
30
31
32
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他