mesos

颠覆大数据分析之Mesos：集群调度及管理系统

正如前面“Mesos:动机”一节中所述，Mesos的主要目标就是去帮助管理不同框架（或者应用栈）间的集群资源。比如说，有一个业务需要在同一个物理集群上同时运行Hadoop，Storm及Spark。
douxn·2015-10-26 22:00

Spark源码分析之Worker

Spark支持三种模式的部署：YARN、Standalone以及Mesos。本篇说到的Worker只有在Standalone模式下才有。Worker节点是Spark的工作节点，用于执行提交的作业。
m635674608·2015-10-26 00:00

zookeeper in mesos

https://github.com/mesos/mesos/wiki/Using-ZooKeeper mesos好像主要用zookeeper做为master选举，然后保持唯一的master在线 http
·2015-10-23 08:36

SQL Server 性能调优（cpu）

研究cpu压力工具perfomSQL跟踪性能视图cpu相关的waiteventSignalwaittimeSOS_SCHEDULER_YIELD等待CXPACKET等待CMEMTHREAD等待调度队列cpu
dragon_ton·2015-10-22 09:36

spark-submit工具参数说明

Usage:spark-submit[options][appoptions]参数名称含义--masterMASTER_URL可以是spark://host:port,mesos
serenity·2015-10-20 16:00

Spark1.0.0 运行架构基本概念

SparkApplication一般都是在集群中运行，比如SparkStandalone、YARN、mesos，这些集群给SparkApplicaiton提供了计算资源和这些资源管理，这些资源既可以给executor
m635674608·2015-10-20 14:00

从0到1：Kubernetes实战

这一部分会涉及到Flynn、Deis、Fig、Swarm、Fleet、Mesos、Kubernetes等现有集群管理框架的综述和比较。2、容器集群管理面临的挑战：如何进一步提高性能和利用率？
张磊·2015-10-18 00:00

从0到1：Kubernetes实战

这一部分会涉及到Flynn、Deis、Fig、Swarm、Fleet、Mesos、Kubernetes等现有集群管理框架的综述和比较。2、容器集群管理面临的挑战：如何进一步提高性能和利用率？
张磊·2015-10-18 00:00

DRF算法

背景在Mesos和YARN中，都用到了dominantresourcefairness算法(DRF)，它不同于hadoop基于slot-based实现的fairscheduler和capacityscheduler
x_i_y_u_e·2015-10-16 15:00

mesos和Elasticsearch设计（Docker部署）（四）

这次用的版本是mesos-elasticsearch，基于Docker的安装及使用。
joosonmao·2015-10-16 09:00

Spark 独立部署模式

除了在Mesos或YARN集群上运行之外,Spark还提供一个简单的独立部署的模块。你通过手动开始master和workers来启动一个独立的集群。
m635674608·2015-10-16 00:00

【转】Singularity：基于Apache Mesos构建的服务部署和作业调度平台

Singularity是一个在云基础设施中部署和运行服务和计划作业的平台，同时也是HubSpot PaaS的核心组件。它能够高效地管理底层进程的生命周期，并有效地利用集群资源。它可以作为持续部署基础设施的基本组成部分，而且是微服务部署的理想选择。它不仅能够管理数以百计的服务器上运行着的数以千计的进程，而且还提供了如下开箱即用的特性：丰富的RESTAPI，既有用于部署的，也有用于获取活动部署和历史部
douxn·2015-10-15 22:00

深入浅出Mesos（六）：亲身体会Apache Mesos

关于下一代数据中心操作系统ApacheMesos的系列文章，已经完成的内容如下：深入浅出Mesos（一）：为软件定义数据中心而生的操作系统深入浅出Mesos（二）：Mesos的体系结构和工作流深入浅出Mesos
韩陆·2015-10-13 00:00

深入浅出Mesos（六）：亲身体会Apache Mesos

关于下一代数据中心操作系统ApacheMesos的系列文章，已经完成的内容如下：深入浅出Mesos（一）：为软件定义数据中心而生的操作系统深入浅出Mesos（二）：Mesos的体系结构和工作流深入浅出Mesos
韩陆·2015-10-13 00:00

centos7下安装 python2.7.10

    为了测试mesos，搞了一个centos7.1，使用最小化安装，然后自己安装了net-tools，“开发工具”集。后来想装一下DCOSCli工具，结果发现python的pip不可用。    
wangcong·2015-10-12 19:39

centos7下安装 python2.7.10

    为了测试mesos，搞了一个centos7.1，使用最小化安装，然后自己安装了net-tools，“开发工具”集。后来想装一下DCOSCli工具，结果发现python的pip不可用。    
wangcong·2015-10-12 19:39

打造敏捷工作空间

JamesOsgood是OfficeFinderLLC公司的创始人和董事长。他最近写了一篇关于建设敏捷工作空间的文章。他对敏捷工作空间的定义如下：敏捷工作空间可以根据组织的需要不断地变化、调整和响应。
Savita Pahuja·2015-10-10 00:00

Force12.io为Apache Mesos创建“微伸缩”框架

Force12.io日前发布了一款运行在ApacheMesos集群管理器之上的微伸缩容器原型示例。
Daniel Bryant·2015-10-10 00:00

打造敏捷工作空间

JamesOsgood是OfficeFinderLLC公司的创始人和董事长。他最近写了一篇关于建设敏捷工作空间的文章。他对敏捷工作空间的定义如下：敏捷工作空间可以根据组织的需要不断地变化、调整和响应。
Savita Pahuja·2015-10-10 00:00

Chronos

home： https://mesos.github.io/chronos/OverviewChronosisareplacementfor cron.Itisadistributedandfault-tolerantschedulerthatrunsontopof
开源中国大Boss·2015-10-06 14:00

Spark Deploy 模块

SparkScheduler模块的文章中，介绍到Spark将底层的资源管理和上层的任务调度分离开来，一般而言，底层的资源管理会使用第三方的平台，如YARN和Mesos。
徐软件·2015-10-06 13:00

Spark Scheduler 模块（下）

当master为local,spark,mesos时创建 TaskScheduler
徐软件·2015-10-04 20:00

mesos和Elasticsearch设计（Docker部署）（三）

建立本地仓库第一个方法不成功，就不提了。下面用另一个方法。1、如果本地没有拉取过docker-registry，则首次运行会pullregistry，运行时会映射路径和端口，以后就可以从/opt/data/registry下找到私有仓库都存在哪些镜像，通过主机的哪个端口可以访问。$dockerrun-d-eSETTINGS_FLAVOR=dev-eSTORAGE_PATH=/tmp/registr
joosonmao·2015-10-04 10:00

Spark环境安装－快速

Mac10.10.5下载spark:gitclonegit://github.com/mesos/spark.git编译：sbt/sbtupdatecompile进入交互控制台：.
啊莫·2015-09-26 12:00

mesos和Elasticsearch设计（Docker部署）（二）

前面提到Es部署的问题，不可能手动去在每个集群节点上安装Es，要实现自动化部署和运维的方法最好的就是利用docker的性能来实现。简单说下docker，里面有三个重要的概念：仓库、镜像、容器Docker镜像Docker镜像是一个只读的模板。举个例子，一个镜像可以包含一个运行在Apache上的Web应用和其使用的Ubuntu操作系统。镜像是用来创建容器的。Docker提供了简单的放来来建立新的镜像或
joosonmao·2015-09-25 11:00

Mesos上的复杂数据分析

本文节选自微软研究院研究员DharmeshKakadia著、DockOne社区刘梦馨和崔婧雯翻译的《Mesos：大数据资源调度与大规模容器运行最佳实践》中的章节“Mesos上的复杂数据分析”。
Dharmesh Kakadia·2015-09-24 00:00

mesos和Elasticsearch设计（一）

开源在https://github.com/mesos/elasticsearch先说下我们要安装mesos集群的实验环境，两个方法，一个是自己在vm虚拟机里建几
joosonmao·2015-09-23 16:00

Spark源码分析：多种部署方式之间的区别与联系(1)

从官方的文档我们可以知道，Spark的部署方式有很多种：local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的，但是如果我们从代码的角度来看，其实流程都差不多
Rayn-瑞恩·2015-09-02 14:00

Autodesk基于Mesos的可扩展事件系统

几个月前，我接到一个任务，要拿出一个集中式的事件系统，可以让我们的各种后端组件相互通信。我们讨论了后端活动流、渲染、数据转换、建筑信息模型（BIM）、个性身份（identity）、日志报表、分析等等。找寻其中是否有真正通用的可变负载、使用模式和扩展性配置。或许是其他的某样东西，能使我们的开发团队轻松接口。当然，系统的每个部分都应该具备自我扩展的能力。由于我没有时间写太多的代码，所以我选择了Kafk
Olivier Paugam·2015-08-31 00:00

技术文章聚类

机器学习数据平台Mesos资源调度与管理的深入分享与交流，基于Spark、Mesos、Hue、HDFS等开源技术的多租户通过Mesos、Docker和Go，使用300行代码创建一个分布式系统大数据架构师基础
haidao2009·2015-08-28 15:00

Docker周报：Windows Server将支持Mesos

新闻《ApacheMesos将登陆Windows平台》：8月20日在西雅图举行的MesosCon上，Mesosphere公开了在WindowsServer2016预览版本上运行Mesos的Demo。
郭蕾·2015-08-21 00:00

Docker周报：Windows Server将支持Mesos

新闻《ApacheMesos将登陆Windows平台》：8月20日在西雅图举行的MesosCon上，Mesosphere公开了在WindowsServer2016预览版本上运行Mesos的Demo。
郭蕾·2015-08-21 00:00

centOS6.6升级gcc4.8

最近想升级mesos0.23.0,结果编译mesos0.23.0需要gcc4.8+，可是centOS6.6最高版本的gcc也只到4.4.7版本,只好手动升级一下了。
lsshlsw·2015-08-20 23:00

Mesos + Docker Tutorial: How to Build Your Own Fra

IntroductiontoMesos+DockerApacheMesosisaclustermanagerthatsimplifiesthecomplexityofrunningtasksonasharedpoolofservers.Dockerisalightweightcontainerfordeployingpackagedservices
Endeavour·2015-08-13 17:00

使用Mesos和Marathon管理Docker集群

分布式系统是难于理解、设计、构建和管理的，他们将比单个机器成倍还要多的变量引入到设计中，使应用程序的根源问题更难发现。SLA(服务水平协议)是衡量停机和/或性能下降的标准，大多数现代应用程序有一个期望的弹性SLA水平，通常按"9"的数量增加(如,每月99.9或99.99%可用性)。每个额外的9变得越来越难实现。分布式系统通常是以静态分区，比如Akka/Play、Spark/Hadoop、Storm
Endeavour·2015-08-11 13:00

不能错过CNUTCon全球容器技术大会的十个理由

大会为期两天，共设置了多个会场，届时将会一一剖析Docker、CoreOS、Mesos、Ceph、Kubernetes等开源项目的应用场景以及
郭蕾·2015-08-06 00:00

Mesosphere为Mesos驱动的数据中心操作系统发布SDK

Mesosphere公司为创建数据中心服务，发布了Mesosphere软件开发套件（Mesospheresoftwaredevelopmentkit(SDK)），该套件将运行在Mesos驱动的数据中心操作系统
Daniel Bryant·2015-08-05 00:00

Mesosphere为Mesos驱动的数据中心操作系统发布SDK

Mesosphere公司为创建数据中心服务，发布了Mesosphere软件开发套件（Mesospheresoftwaredevelopmentkit(SDK)），该套件将运行在Mesos驱动的数据中心操作系统
Daniel Bryant·2015-08-05 00:00

exception in thread main org.apache.spark.sparkexception:A master URL must be set in your

mesos://HOST:PORT连接到指定的Meso
u012432611·2015-08-04 11:00

通过 Mesos、Docker 和 Go，使用 300 行代码创建一个分布式系统

【摘要】虽然Docker和Mesos已成为不折不扣的Buzzwords，但是对于大部分人来说它们仍然是陌生的，下面我们就一起领略Mesos、Docker和Go配合带来的强大破坏力，如何通过300行代码打造一个比特币开采系统
wangpeng198688·2015-08-03 21:00

时速云CEO：相对于IaaS和PaaS，未来CaaS将如何定位？

时速云就是这样的一家公司，他们基于Docker、Kubernetes、Mesos等开源技术实现了大规模容器集群的调度、部署和管理。目前他们的容器云平台上已经运行了上万个容器，并且非常稳定。
郭蕾·2015-07-30 00:00

一个cloudera的工程师写的比较mesos，borg和omega的文章

Googlerecentlyunveiledoneoftheircrownjewelsofsysteminfrastructure:Borg,theirclusterscheduler.Thispromptedmetore-readtheMesosandOmegapapers
guotong1988·2015-07-28 17:00

spark on mesos 两种运行模式

spark在mesos上有粗粒度(coarse-grained)和细粒度(fine-grained)两种运行模式。
lsshlsw·2015-07-28 14:00

mesos资源动态分配测试

测试集群配置60CPU,320GRAM测试内容：先运行一个需要60CPU的Application1,再运行一个需要50CPU的Application2。结果分析如果要等Application1全部执行完才执行Application2，说明资源是静态分配的（standalone模式就是静态分配）。如果Application1执行完部分task,释放出了空闲的cpu资源给Application2执行，
lsshlsw·2015-07-27 19:00

mesos概述

mesos解决的问题不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰
lsshlsw·2015-07-27 16:00

Spark运行模式（一）－－－－－Spark独立模式

除了可以在Mesos或者YARN集群管理器上运行Spark外，Spark还提供了独立部署模式。你可以通过手动启动一个master和workers,或者使用提供的脚本来手动地启动单独的集群模式。
self-motivation·2015-07-26 22:28

Spark运行模式（一）－－－－－Spark独立模式

除了可以在Mesos或者YARN集群管理器上运行Spark外，Spark还提供了独立部署模式。你可以通过手动启动一个master和workers,或者使用提供的脚本来手动地启动单独的集群模式。
happyAnger6·2015-07-26 22:00

spark submit参数说明

参数名称含义--masterMASTER_URL可以是spark://host:port,mesos://host:port,yarn,  yarn-cluster,yarn-client,local-
u010064842·2015-07-24 16:00

Spark on Mesos部署

一.Mesos的安装和部署1.下载mesos源码和依赖包部署环境centOS6.6mesos-0.21.0spark-1.4.1因为mesos官方只提供源码，所以必须要自己进行编译安装使用添加meven
weixin_30483495·2015-07-22 19:00

Spark on Mesos部署

一.Mesos的安装和部署1.下载mesos源码和依赖包部署环境centOS6.6mesos-0.21.0spark-1.4.1因为mesos官方只提供源码，所以必须要自己进行编译安装使用添加meven
lsshlsw·2015-07-22 19:00
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他