mesos

Spark优化之小文件是否需要合并?

我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone,yarn,mesos,k8s)的资源紧张，CPU，网络带宽，内存。
华为云·2020-08-14 00:35

Spark优化之小文件是否需要合并?

我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone,yarn,mesos,k8s)的资源紧张，CPU，网络带宽，内存。
华为云开发者社区·2020-08-13 19:39

Spark优化之小文件是否需要合并?

我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone,yarn,mesos,k8s)的资源紧张，CPU，网络带宽，内存。
华为云开发者社区·2020-08-13 11:00

2016年容器技术思考: Docker, Kubernetes, Mesos将走向何方?

导读：容器技术已经成了很多公司基础架构一部分，架构师是否已经清楚了解Docker,Swarm,K8S,Mesos，虚拟化等相关技术的未来走向？
高可用架构·2020-08-12 00:21

docker kubernetes 网络布局

2015~2017年，容器编排项目k8s，dockerswarm，mesos展开激烈竞争。2017年10月docker企业版内置k8s
user_9T8BhYy5·2020-08-11 19:38

左耳朵耗子论微服务 Serverless 及 FaaS | GIAC 访谈

GIAC于2016年12月成功举办了第一届，今年的GIAC已经有腾讯、阿里巴巴、百度、平安、饿了么、携程、七牛、蚂蚁金服、罗辑思维、摩拜、唯品会，LinkedIn,Pivotal,Mesosphere,
高可用架构·2020-08-11 00:14

GIAC全球互联网架构大会最新日程|第二弹

GIAC于2016年12月成功举办了第一届，而今年的GIAC已经有腾讯、阿里巴巴、百度、平安、饿了么、携程、七牛、蚂蚁金服、罗辑思维、摩拜、唯品会，LinkedIn,Pivotal,Mesosphere
高可用架构·2020-08-10 13:11

GIAC 2017全球互联网架构大会将于12月在上海举行

GIAC于2016年12月成功举办了第一届，而今年的GIAC已经有腾讯、阿里巴巴、百度、平安、饿了么、携程、七牛、蚂蚁金服、罗辑思维、摩拜、唯品会，LinkedIn,Pivotal,Mesosphere
高可用架构·2020-08-10 13:39

年底技术干货走一波|2017GIAC全球互联网架构大会最新日程

GIAC于2016年12月成功举办了第一届，而今年的GIAC已经有腾讯、阿里巴巴、百度、平安、饿了么、携程、七牛、蚂蚁金服、罗辑思维、摩拜、唯品会，LinkedIn,Pivotal,Mesospher
趣味科技v·2020-08-10 12:35

Kubernetes安装

DockerSwarm、GoogleKubernetes和ApacheMesos。各有千秋，同学们自行百度每个软件的区别，Kubernetes目前是使用最为广泛的容器编排软件。
吴小恒·2020-08-10 02:50

Kubernetes(K8S学习第一天)

目前市面上出现的资源管理器有ApacheMESOS、dockerSWARM、Kubernetes。为什么需要Kubernetes？分布式容器化的大趋势。
戏法师·2020-08-09 23:51

【原创】大数据基础之Airflow（2）生产环境部署airflow研究

scheduler单点通过在scheduler的dags目录变动dag文件来提交流程官方分布式部署方案多个webserver多个workerCeleryExecutor（依赖redis或rabbitmq）MesosExecutor
weixin_30642869·2020-08-09 13:20

五分钟体验SpringBoot+Skywalking

Skywalking是一个分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。SkyWalking是观察性分析平台和应用性能管理系统。
方志朋·2020-08-09 08:58

Spark面试题(一)

一、spark集群运算的模式Spark有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在Yarn和Mesos中，当然Spark还有自带的Standalone
InnerPeace_·2020-08-09 01:28

k8s 学习笔记

Kubernetes-组件介绍MESOSAPACHE分布式资源管理框架2019-5Twitter》KubernetesDockerSwarm2019-07阿里云宣布DockerSwarm剔除KubernetesGoogle10
weixin_30463341·2020-08-08 23:31

SparkStreaming算子操作，Output操作

WindowOperator一、SparkStreaming算子操作1.1foreachRDD1.2transform1.3updateStateByKey1.4操作窗口二、DriverHA（Standalone或者Mesos
爱是与世界平行·2020-08-08 12:01

Spark运行原理及任务调度源码解析(基于Spark3.0)

Spark运行模式可以在本地多线程运行伪分布式运行Yarn运行模式Mesos运行模式基本概念1.application也就是API用户编写的程序,这个程序是分为两部分执行的,一部分是放在Driver端执行的
白头搔更光·2020-08-07 23:42

Mesos + Marathon + Deimos + Docker 容器集群组建

今天用单机试验配置了Mesos+Marathon+Deimos+Docker容器集群环境，目的是为以后的搭建轻量级别PaaS平台先科普Mesos，是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核
CG李大仁·2020-08-07 22:52

关于DC/OS安装环境

2016年4月，Mesosphere开源了他们开发的DC/OS（数据中心操作系统），开源版本和他的企业版本存在一些差距，但是仍然可以从中领会核心DC/OS理念。
mesos·2020-08-07 15:18

Spark独立模式

Spark独立模式Spark除了可以在Mesos和YARN集群上运行之外，还支持一种简单的独立部署模式。
weixin_33779515·2020-08-07 10:32

spark10--资源调度模式, yarn的任务调度流程

文章目录资源调度模式yarn的任务调度流程资源调度模式SparkrunsonHadoop,ApacheMesos,Kubernetes,standalone,orinthecloud.local模式(本地模式
forever428·2020-08-05 18:22

Spring Cloud 整合Apache-SkyWalking实现链路跟踪的方法

什么是SkyWalking查看官网https://skywalking.apache.org/分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计
·2020-08-05 16:04

2019 年 Q1 全球云基础设施市场份额揭晓，AWS继续领跑市场；Mesos官方回应Twitter“抛弃”Mesos……...

重磅先知2019年Q1全球云基础设施市场份额揭晓Mesos官方回应Twitter“抛弃”Mesos国内唯一，阿里云论文连续两年入选国际数据库顶级会议SIGMOD甲骨文中国研发中心大裁员：离职赔偿N+6重磅快报
CSDN云计算·2020-08-05 08:01

实战分布式任务调度框架Elastic Job

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务；Elastic-Job-Cloud采用自研MesosFramework的解决方案，额外提供资源治理
猿天地·2020-08-04 21:19

分布式定时任务框架Elastic-Job的使用

Elastic-Job-Cloud使用Mesos+Docker的解决方案，额外提供资源治
dong_lxkm·2020-08-04 14:05

ansible 添加 cron 任务

/bin/bashservice=storm-mesosif(($(ps-ef|grep-vgrep|grep$service|wc-l)>3));thenecho"`date`:$servicearerunn
dengji8846·2020-08-04 13:49

基于K8S，spark访问hadoop集群的共享层hive表数据历险记

前言由于Spark的抽象设计，我们可以使用第三方资源管理平台调度和管理Spark作业，比如Yarn、Mesos和Kubernetes。
阿啄debugIT·2020-08-04 10:05

房价网是怎么使用分布式作业框架elastic-job

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务；Elastic-Job-Cloud采用自研MesosFram
猿天地·2020-08-03 20:24

Spark standalone cluster模式部署实践

Spark的部署模式分为基于Clustermanager（YARN/Mesos）的模式，独立模式(Standalone）。Standalone模式下又分成local模式和cluster模式。
hiphoon_sun·2020-08-03 17:14

开源云管理平台4大天王

其中可能包括开源容器编排工具，如Kubernetes和Mesos，或者面向DevOps的工具，如Ansible。但这里的重
开源云中文社区·2020-08-03 01:20

Coding and Paper Letter（七十五）

题目为“Thecontributionofsubmesoscaleov
胖胖雕·2020-08-02 16:15

Centos7使用yum安装Marathon

2019独角兽企业重金招聘Python工程师标准>>>官方提供了两种安装方式（http://mesosphere.github.io/marathon/docs/），一种是下载压缩包解压，一种是使用yum
weixin_33788244·2020-08-02 14:55

【原创】大数据基础之Mesos（1）简介、安装、使用

Mesos1.7.1官方：http://mesos.apache.org/一简介Programagainstyourdatacenterlikeit’sasinglepoolofresourcesmesos
weixin_30396699·2020-08-02 14:02

集群中关于mesos安装的步骤 总结

关于mesos安装的步骤总结在master和slaver上进行如下的操作：1.在安装mesos之前，先安装如下的工具[root@master~]#yuminstallgcc-c++[root@master
truirui·2020-08-02 14:04

Mesos集群yum安装部署

转载来自：http://3258715.blog.51cto.com/3248715/17578501ApacheMesos简介ApacheMesos据说是云计算的未来，利用Mesos可轻易实现一个PaaS
人蠢多读书·2020-08-02 13:29

Centos7上Mesos和Marathon的安装和配置

对Mesos和Marathon的安装官方文档有较详细的安装说明，但是英文的。
myjbase·2020-08-02 13:27

Mesos+Zookeeper+Marathon的Docker管理平台部署记录（1）

下面将记录使用Mesos+Zookeeper+Marathon+Docker分布式部署Paas云平台环境，其中：1）Mesos：Me
mnasd·2020-08-02 13:26

在Centos6上构建Mesos平台

我想对IDC、公有云资源进行统一管理，发现Mesos比较适合干这事。先整一个搞清楚它能做什么。
logosliu·2020-08-02 13:31

centos6安装mesos

mesos是一个开源的集群管理软件,支持Docker,mapreduce,storm等.今天学习一下mesos的安装官网开始教程[url]http://mesos.apache.org/gettingstarted
hapfish·2020-08-02 13:06

mesos 安装时，marathon 无法启动问题解决

servicemarathonstatus-lRedirectingto/bin/systemctlstatus-lmarathon.service●marathon.service-SchedulerforApacheMesosLoaded
hzhlog·2020-08-02 13:51

Centos7上Mesos和Marathon的安装

对Mesos和Marathon的安装官方文档有较详细的安装说明，但是英文的。
felix_yujing·2020-08-02 13:45

CentOS上安装mesos和实例测试

1安装Mesos在centOS上安装mesos，可以分为下面几个步骤。必要的系统工具和库，运行下面的命令即可。
John00000001·2020-08-02 12:12

centos7yum安装mesos(1.0.0)+marathon+zookeeper+docker

简介mesos+marathon+docker搭建的平台属于docker的集群管理，也属于资源调度管理平台，用于docker应用的集中化部署，云计算等。
码太狼·2020-08-02 12:32

centos7yum安装mesos(1.0.0)+marathon+zookeeper+docker

本文前半部分参考转载自centos7yum安装mesos(1.0.0)+marathon+zookeeper+docker。采用虚拟机建立一个master，一个slave进行学习。
chang_rj·2020-08-02 12:40

生产环境的开源容器管理平台--Rancher入门教程(2): Host

Rancher是一个用于部署和管理生产环境的容器的开源平台,它与Kubernetes/Mesos/DockerSwarm进行集成使得在任何硬件环境上容器化应用变得触手可及.在这个系列的教程中我们将会学习如何使用
liumiaocn·2020-08-01 13:07

比较Spark的三种集群部署模式

分别是standalone，YARN和Mesos。这三种模式其实都是master/slave模式。那么在实际的项目中，我们该如何对比选择呢?
程序の之道·2020-08-01 06:51

智能运维 | 如何做好持续集成——Jenkins on Mesos 实践

今天小数给大家带来的又是十足的干货：当运维遇到云计算，当Docker遇到Mesos和Jenkins，会擦出怎样的火花呢？
weixin_34185320·2020-08-01 04:25

Spark Windows 本地模式(LOCAL)搭建指南

spark在windows下本地模式的搭建Spark的运行模式基本可以分为两种：本地模式即Driver程序只在本机运行集群模式即Dirver程序会在集群中运行，具体到集群模式，又可以分为spark集群、MESOS
weixin_33834075·2020-08-01 04:35

Standalone 集群部署

其中集群层级调度是可配置的，Spark目前提供了Local，Standalone，YARN，Mesos。任务层级的任务管理就使用Driver-Executor架构来进行管理。
weixin_30947043·2020-08-01 03:38

Spark的StandAlone模式原理和安装、Spark-on-YARN的理解

Spark程序可以运行在Yarn、standalone、mesos等平台上，standalone是Spark提供的一个分布式运行平台，分为master和worker两个角色。
weixin_30791095·2020-08-01 03:36
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他