hadoopyarn

spark-submit local本地运行问题

今天碰到一个很奇怪的问题，关于spark-submit三种运行模式：（1）本地local模式（2）在HadoopYARN-client模式（3）StandaloneCluster模式1问题描述首先说明一下我的集群
RiverCode·2017-05-10 16:17

spark (java API) 在Intellij IDEA中开发并运行

分两部分，第一部分基于intellijidea开发Spark实例程序并在intellijIDEA中运行Spark程序.第二部分，将开发程序提交到Sparklocal或者hadoopYARN集群运行。
weixin_34406061·2017-02-07 20:00

spark (java API) 在Intellij IDEA中开发并运行

分两部分，第一部分基于intellijidea开发Spark实例程序并在intellijIDEA中运行Spark程序.第二部分，将开发程序提交到Sparklocal或者hadoopYARN集群运行。
dream_an·2017-02-07 20:00

Yarn多用户资源管理–Fair Scheduler介绍与配置

在一个公司内部的HadoopYarn集群，肯定会被多个业务、多个用户同时使用，共享Yarn的资源，如果不做资源的管理与规划，那么整个Yarn的资源很容易被某一个用户提交的Application占满，其它任务只能等待
孙张宾·2016-12-20 17:18

Language

TODOJava(jdk8),Scala,Spring,Spark,Python,Linux,C,Netty,HttpClient,HadoopYARN,RaspberryPiJetty,Tomcat,
_再见理想·2016-11-22 21:00

Scala2.11.8 + Sbt + Maven + IntelliJ Idea + Spark2.0开发环境搭建备忘

已有hadoopyarn和spark集群部署、运行在分布式环境中，程序开发编码在PC上，由于逐渐增多scala编写spark2.0程序，入乡随俗使用sbt和IntelliJIdea，顺便对PC上的Scala
bitbyteworld·2016-10-10 22:16

Hadoop多用户资源管理–Fair Scheduler介绍与配置

转:http://lxw1234.com/archives/2015/10/536.htm在一个公司内部的HadoopYarn集群，肯定会被多个业务、多个用户同时使用，共享Yarn的资源，如果不做资源的管理与规划
mllhxn·2016-07-27 10:50

MapReduce扩展：应用程序如何运行于Hadoop Yarn之上

1.背景“应用程序运行于HadoopYarn之上”的需求来源于微博运维数据平台中的调度系统，即调度系统中的任务需要运行于HadoopYarn之上。
demigelemiao·2016-07-18 17:00

spark 官方文档（1）——提交应用程序

Spark支持三种集群：Standalone、ApacheMesos和HadoopYarn。绑定应用程序依赖库如果你的应用程序依赖其他项目，需要将其一起打包，打包时需要包括依赖的第三方库。
bigbigtree·2016-07-14 11:00

yarn任务调度

yarn作为hadoop目前最新的调度工具，在其上面调度作业是非常重要的HadoopYARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍
Wei-L·2016-07-05 08:47

Spark

对于外部资源调度框架的支持，包括Mesos模式，以及HadoopYARN模式。
kimibob·2016-05-25 15:54

Spark Runtime内幕

一、HadoopYarn解析1，Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark、MapReduce
sundujing·2016-05-15 16:00

Hadoop2.6.0的事件分类与实现

前言说实在的，在阅读HadoopYARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。
beliefer·2016-04-26 10:00

Hadoop2.x的解析和Yarn模块解析

本章小结12Hadoop的简介22.1Hadoop的介绍22.2本章小结.23Hadoop2.x33.1Hadoop2.x的四大模块33.1.1HadoopCommon33.1.2HDFS33.1.3HadoopYarn43.1.4HadoopMapReduce43.2
cloud_510·2016-04-23 09:56

Yarn

ThecommonutilitiesthatsupporttheotherHadoopmodules.HadoopDistributedFileSystem(HDFS™):Adistributedfilesystemthatprovideshigh-throughputaccesstoapplicationdata.HadoopYARN
MyArrow·2016-03-28 09:00

Hadoop书籍和网络资源介绍

（0）Hadoop技术内幕:深入解析YARN架构设计与实现原理从原理和源代码角度深入剖析HadoopYARN（Hadoop2.0新
GarfieldEr007·2016-03-25 13:00

深入理解Hadoop YARN中的Container概念

在学习HadoopYARN—Hadoop2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。
garfielder007·2016-03-20 14:00

Hadoop YARN配置参数剖析

本文部分转自HadoopYARN配置参数剖析(1)—RM与NM相关参数本文部分转自HadoopYARN中内存的设置一ResourceManager相关配置参数1通信配置参数2调度器配置参数3内存和CPU
lqf1403·2016-03-10 14:28

Hadoop YARN配置参数剖析

本文部分转自 HadoopYARN配置参数剖析(1)—RM与NM相关参数 本文部分转自 HadoopYARN中内存的设置一ResourceManager相关配置参数1通信配置参数2调度器配置参数3内存和
GYQJN·2016-03-10 14:00

Hadoop YARN在Hulu的成功实践

1.HadoopYARN生态系统介绍为了能够对集群中的资源
董西成·2016-03-10 00:00

阿里搜索实时计算和在线学习系统PORA介绍

概要阿里搜索实时计算和在线学习系统PORA介绍——PORA是阿里搜索基于iStream（自主研发的运行在HadoopYARN上的实时计算引擎）+HBase基础平台打造的一套实时计算和在线学习系统，支持在秒级别内对淘宝海量用户行为及其相关联的海量商品大数据作实时分析处理
梁义·2016-03-08 00:00

day27：Spark on Yarn彻底解密

以下内容整理来源于DT大数据梦工厂：本期内容：1、HadoopYarn的工作流程2、SparkonYarn两种运行模式3、SparkonYarn工作流程4、SparkonYarn 工作内幕5、SparkonYarn
·2016-03-02 23:00

Spark on Yarn彻底解密(DT大数据梦工厂)

内容：1、HadoopYarn的工作流程解密；2、SparkonYarn两种运行模式实战；3、SparkonYarn工作流程解密；4、SparkonYarn工作内幕解密；5、SparkonYarn最佳实践
feiweihy·2016-02-20 13:03

Hadoop YARN学习之重要术语总结（6）

HadoopYARN学习之重要术语总结（6）-SLA服务等级-RM(ResourceManager)-AM(ApplicationMaster)-NM(NodeMaster)-MPI(MessagePassingInterface
dream_an·2016-01-21 17:00

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

HadoopYARN学习监控JVM和实时监控Ganglia、Ambari（5）1.0监控ResourceManager进程Java虚拟机中堆空间的特定部分。
dream_an·2016-01-21 17:00

Hadoop YARN学习之组件功能简述（3）

HadoopYARN学习之组件功能简述（3）1.YARN的三大组件功能简述：ResourceManager（RM）是集群的资源的仲裁者，它有两部分：一个可插拔的调度器和一个ApplicationManager
dream_an·2016-01-21 16:00

Hadoop YARN学习之核心概念（2）

HadoopYARN学习之核心概念（2）1.Hadoop2.XYARN引入的新服务1.1新的ResourceManager纯碎作为资源调度器，是集群资源的唯一仲裁者；1.2用户应用程序（包括MapReduce
dream_an·2016-01-21 16:00

Spark集群安装

Spark三种集群Spark支持Standalone、HadoopYarn、Mesos三种集群方式。下面我只介绍Standalone的安装。
wb81074·2016-01-14 14:00

Spark on Yarn 架构解析

一、HadoopYarn组件介绍:我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器和任务调度监控分离成单独的组件。
超大的雪童子·2016-01-10 11:00

Spark On Yarn：提交Spark应用程序到Yarn

07/416.htm关键字：SparkOnYarn、SparkYarnCluster、SparkYarnClientSparkOnYarn模式配置非常简单，只需要下载编译好的Spark安装包，在一台带有HadoopYarn
ggzone·2016-01-01 21:37

Spark On Yarn：提交Spark应用程序到Yarn

07/416.htm关键字：SparkOnYarn、SparkYarnCluster、SparkYarnClientSparkOnYarn模式配置非常简单，只需要下载编译好的Spark安装包，在一台带有HadoopYarn
ggz631047367·2016-01-01 21:00

在Yarn上运行spark-shell和spark-sql命令行

转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的HadoopYarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark
ggz631047367·2016-01-01 21:00

Hadoop YARN配置参数剖析

本文部分转自HadoopYARN配置参数剖析(1)—RM与NM相关参数本文部分转自HadoopYARN中内存的设置一ResourceManager相关配置参数1通信配置参数2调度器配置参数3内存和CPU
u011414200·2016-01-01 11:00

Hadoop Yarn内存资源隔离实现原理——基于线程监控的内存隔离方案

HadoopYarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源，以避免它们之间相互干扰。
yurun·2015-12-23 16:00

Hadoop Yarn内存资源隔离实现原理——基于线程监控的内存隔离方案

HadoopYarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源，以避免它们之间相互干扰。
yurun·2015-12-23 16:00

Hadoop Yarn内存资源隔离实现原理——基于线程监控的内存隔离方案

HadoopYarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源，以避免它们之间相互干扰。
demigelemiao·2015-12-23 16:00

cloudera manager资源管理

最近工作中，正在将mapreduce计算框架向spark迁移，这个时候mapreduce和spark应用是并存的，都基于hadoopyarn进行计算任务管理。
OiteBody·2015-11-27 15:00

Hadoop YARN架构设计要点

HadoopYARN架构设计要点2015-06-0122:57:15  Yanjun原网址：由于图片不能复制http://shiyanjun.cn/archives/1119.html?
javastart·2015-10-04 10:00

hadoop-yarn启动流程分析

HadoopYARN启动流程一YARN的启动流程YARN启动流程1.提交应用及其使用到的资源用户向YARN中（RM）提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster
郭彩峰·2015-09-25 16:33

hadoop-yarn启动流程分析

HadoopYARN启动流程一YARN的启动流程 YARN启动流程 1.提交应用及其使用到的资源用户向YARN中（RM）提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster
郭彩峰·2015-09-25 16:33

深入理解hadoop yarn

在学习HadoopYARN—Hadoop2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。
郭彩峰·2015-09-25 16:21

Yarn 内存分配管理机制及相关参数配置

关于Yarn的详细介绍请参考【HadoopYarn详解】一、相关配置情况关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念
suifeng3051·2015-09-08 11:00

hadoop -- introduction

HadoopArchitectureHDFSMapReduceWorkStagesHadoopArchitecture用下图描述hadoop的四元素hadoopcommom:其他hadoopmodules所需要的java库和工具；hadoopYARN
light_lj·2015-08-25 17:00

hadoop2.x的配置二

三、yarn-site.xml1.ResourceManager的配置，参考：HadoopYARN配置参数剖析(1)—RM与NM相关参数1.1.yarn.resourcemanager.hostname
cjun1990·2015-08-24 11:00

google集群操作系统borg

                                            google集群操作系统borgborg是google服务器集群的管理系统，类似于百度的Matrix，阿里的fuxi，腾讯的台风平台等等，还有开源的HadoopYARN
sx053800·2015-06-25 23:08

在使用windows调用Hadoop 错误 /bin/bash: line 0: fg: no job control一般解决方法[将windows中的任务提交到linux中出错]

文章来源：http://www.360doc.com/content/14/0728/11/597197_397616444.shtml在使用windows调用Hadoopyarn平台的时候，一般都会遇到如下的错误
buster2014·2015-05-27 18:00

Mesos：一个开源的分布式弹性资源管理系统

目前看来，HadoopYARN要比Mesos更主流，前景更广阔。
散关清渭·2015-05-03 20:00

Spark internal - 多样化的运行模式（上）

而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos或者是HadoopYarn，也可以使用Spark自带的StandaloneDeploy模式Spark处于活跃的开发过程中，
dannyhe·2015-04-01 16:00

Hadoop YARN资源隔离技术

HadoopYARN资源隔离技术YARN对内存资源和CPU资源采用了不同的资源隔离方案。
chenglinhust·2014-12-07 16:00

Hadoop——Hadoop Yarn

HadoopYarn简介HadoopYarn是Hadoop0.23的资源管理系统，Hadoop0.23对Hadoop的架构进行了重大改造，将MapReduce编程模型与运行时系统解耦，即MRv2与Yarn
ldds_520·2014-11-25 14:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他