hadoopyarn

黑猴子的家：Hadoop 组成

3）HadoopYARN：作业调度与集群资源管理的框架。4）HadoopCommon：支持其他模块的工具模块。
黑猴子的家·2018-09-20 16:03

挖矿木马 sustes 追踪溯源分析

位于/var/tmp/目录下l继续执行$hadoopversion命令，检查Hadoop版本，当前Linux服务器上安装的Hadoop版本号为2.6.0（此版本支持认证服务，但若未开启，攻击者则可通过HadoopYarn
Mumunu-·2018-09-05 14:29

Hadoop简介

/计算层(MapReduce)存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件，Hadoop的框架还包括以下两个模块：Hadoop通用：这是Java库和其他Hadoop组件所需的实用工具HadoopYARN
小黄鸭and小黑鸭·2018-09-04 18:00

Spark on Yarn 解惑

一：HadoopYarn解析1，Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark、MapReduce
DPnice·2018-08-21 11:24

Hadoop是什么？基本概念

HadoopYARN：
大数据专家·2018-07-31 19:55

Python Spark的介绍与安装

PythonSpark的介绍与安装1.Spark的Cluster模式架构图2.ClusterManager的运行模式（1）本地运行（LocalMachine）（2）SparkStandaloneCluster（3）HadoopYARN
笨笨的企鹅·2018-07-22 10:42

Hadoop Yarn REST API未授权漏洞利用挖矿分析

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~一、背景情况5月5日腾讯云安全曾针对攻击者利用HadoopYarn资源管理系统RESTAPI未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警
腾讯云加社区·2018-06-12 00:00

Apache Hadoop-2.7.3伪分布式搭建详细步骤

HadoopCommon：支持其他hadoop模块的常用工具HDFS(HadoopDistributedFileSystem):一种分布式文件系统，可提供对应用程序数据的高吞吐量访问HadoopYARN
赞神天降·2018-05-22 10:21

Hadoop Yarn资源管理——Hadoop1.0与Hadoop2.0对比

相关链接：HadoopYarn资源管理——核心组件详解Yarn（YetAnotherResourceNegotiator）是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率（内存、IO、
雾幻·2018-04-12 20:32

spark on yarn集群搭建

Hadoopyarn集群搭建1.修改host主节点：192.168.3.187L-AP-3-187从节点：192.168.3.188L-AP-3-188从节点：192.168.3.189L-AP-3-1892
Josen_Qu·2017-11-28 09:01

hadoop知识点汇总

一、Hadoop的主要模块HadoopCommon:基础模块HadoopDistributedFileSystem(HDFS):分布式文件系统HadoopYARN:hadoop的资源管理平台[YetAnotherResourceNegotiator
which丶number·2017-11-10 15:20

Hadoop Yarn Capacity调度器之ACL的一个坑

1、背景HadoopYarn集群使用队列进行任务调度和资源分配，同时支持使用ACL控制队列允许指定用户提交，本文介绍关于yarncapacityscheduler在使用ACL时的一个坑。
opensure·2017-10-20 16:34

辅助线——hadoop

如果Spark与其它资源需求型服务一同运行在HadoopYARN上，又或者数据块太大
hallao0·2017-08-23 22:34

spark集群

hadoopYARN-Hadoop2中的资源管理器。
Knuth1989·2017-08-16 16:33

spark

07/416.htm关键字：SparkOnYarn、SparkYarnCluster、SparkYarnClientSparkOnYarn模式配置非常简单，只需要下载编译好的Spark安装包，在一台带有HadoopYarn
远永201314·2017-07-13 10:11

数据中心的Yarn on Docker集群方案

彻底隔离队列为了合理利用Hadoopyarn的资源，队列间会互相抢占计算资源，造成重要任务阻塞根据部门申请的机器数量划分Yarn集群方便财务管理更细粒度的资源分配统一的资源分配每个Node
立喆·2017-07-03 16:06

spark-submit local本地运行问题

今天碰到一个很奇怪的问题，关于spark-submit三种运行模式：（1）本地local模式（2）在HadoopYARN-client模式（3）StandaloneCluster模式1问题描述首先说明一下我的集群
RiverCode·2017-05-10 16:17

spark (java API) 在Intellij IDEA中开发并运行

分两部分，第一部分基于intellijidea开发Spark实例程序并在intellijIDEA中运行Spark程序.第二部分，将开发程序提交到Sparklocal或者hadoopYARN集群运行。
weixin_34406061·2017-02-07 20:00

spark (java API) 在Intellij IDEA中开发并运行

分两部分，第一部分基于intellijidea开发Spark实例程序并在intellijIDEA中运行Spark程序.第二部分，将开发程序提交到Sparklocal或者hadoopYARN集群运行。
dream_an·2017-02-07 20:00

Yarn多用户资源管理–Fair Scheduler介绍与配置

在一个公司内部的HadoopYarn集群，肯定会被多个业务、多个用户同时使用，共享Yarn的资源，如果不做资源的管理与规划，那么整个Yarn的资源很容易被某一个用户提交的Application占满，其它任务只能等待
孙张宾·2016-12-20 17:18

Language

TODOJava(jdk8),Scala,Spring,Spark,Python,Linux,C,Netty,HttpClient,HadoopYARN,RaspberryPiJetty,Tomcat,
_再见理想·2016-11-22 21:00

Scala2.11.8 + Sbt + Maven + IntelliJ Idea + Spark2.0开发环境搭建备忘

已有hadoopyarn和spark集群部署、运行在分布式环境中，程序开发编码在PC上，由于逐渐增多scala编写spark2.0程序，入乡随俗使用sbt和IntelliJIdea，顺便对PC上的Scala
bitbyteworld·2016-10-10 22:16

Hadoop多用户资源管理–Fair Scheduler介绍与配置

转:http://lxw1234.com/archives/2015/10/536.htm在一个公司内部的HadoopYarn集群，肯定会被多个业务、多个用户同时使用，共享Yarn的资源，如果不做资源的管理与规划
mllhxn·2016-07-27 10:50

MapReduce扩展：应用程序如何运行于Hadoop Yarn之上

1.背景“应用程序运行于HadoopYarn之上”的需求来源于微博运维数据平台中的调度系统，即调度系统中的任务需要运行于HadoopYarn之上。
demigelemiao·2016-07-18 17:00

spark 官方文档（1）——提交应用程序

Spark支持三种集群：Standalone、ApacheMesos和HadoopYarn。绑定应用程序依赖库如果你的应用程序依赖其他项目，需要将其一起打包，打包时需要包括依赖的第三方库。
bigbigtree·2016-07-14 11:00

yarn任务调度

yarn作为hadoop目前最新的调度工具，在其上面调度作业是非常重要的HadoopYARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍
Wei-L·2016-07-05 08:47

Spark

对于外部资源调度框架的支持，包括Mesos模式，以及HadoopYARN模式。
kimibob·2016-05-25 15:54

Spark Runtime内幕

一、HadoopYarn解析1，Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark、MapReduce
sundujing·2016-05-15 16:00

Hadoop2.6.0的事件分类与实现

前言说实在的，在阅读HadoopYARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。
beliefer·2016-04-26 10:00

Hadoop2.x的解析和Yarn模块解析

本章小结12Hadoop的简介22.1Hadoop的介绍22.2本章小结.23Hadoop2.x33.1Hadoop2.x的四大模块33.1.1HadoopCommon33.1.2HDFS33.1.3HadoopYarn43.1.4HadoopMapReduce43.2
cloud_510·2016-04-23 09:56

Yarn

ThecommonutilitiesthatsupporttheotherHadoopmodules.HadoopDistributedFileSystem(HDFS™):Adistributedfilesystemthatprovideshigh-throughputaccesstoapplicationdata.HadoopYARN
MyArrow·2016-03-28 09:00

Hadoop书籍和网络资源介绍

（0）Hadoop技术内幕:深入解析YARN架构设计与实现原理从原理和源代码角度深入剖析HadoopYARN（Hadoop2.0新
GarfieldEr007·2016-03-25 13:00

深入理解Hadoop YARN中的Container概念

在学习HadoopYARN—Hadoop2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。
garfielder007·2016-03-20 14:00

Hadoop YARN配置参数剖析

本文部分转自HadoopYARN配置参数剖析(1)—RM与NM相关参数本文部分转自HadoopYARN中内存的设置一ResourceManager相关配置参数1通信配置参数2调度器配置参数3内存和CPU
lqf1403·2016-03-10 14:28

Hadoop YARN配置参数剖析

本文部分转自 HadoopYARN配置参数剖析(1)—RM与NM相关参数 本文部分转自 HadoopYARN中内存的设置一ResourceManager相关配置参数1通信配置参数2调度器配置参数3内存和
GYQJN·2016-03-10 14:00

Hadoop YARN在Hulu的成功实践

1.HadoopYARN生态系统介绍为了能够对集群中的资源
董西成·2016-03-10 00:00

阿里搜索实时计算和在线学习系统PORA介绍

概要阿里搜索实时计算和在线学习系统PORA介绍——PORA是阿里搜索基于iStream（自主研发的运行在HadoopYARN上的实时计算引擎）+HBase基础平台打造的一套实时计算和在线学习系统，支持在秒级别内对淘宝海量用户行为及其相关联的海量商品大数据作实时分析处理
梁义·2016-03-08 00:00

day27：Spark on Yarn彻底解密

以下内容整理来源于DT大数据梦工厂：本期内容：1、HadoopYarn的工作流程2、SparkonYarn两种运行模式3、SparkonYarn工作流程4、SparkonYarn 工作内幕5、SparkonYarn
·2016-03-02 23:00

Spark on Yarn彻底解密(DT大数据梦工厂)

内容：1、HadoopYarn的工作流程解密；2、SparkonYarn两种运行模式实战；3、SparkonYarn工作流程解密；4、SparkonYarn工作内幕解密；5、SparkonYarn最佳实践
feiweihy·2016-02-20 13:03

Hadoop YARN学习之重要术语总结（6）

HadoopYARN学习之重要术语总结（6）-SLA服务等级-RM(ResourceManager)-AM(ApplicationMaster)-NM(NodeMaster)-MPI(MessagePassingInterface
dream_an·2016-01-21 17:00

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

HadoopYARN学习监控JVM和实时监控Ganglia、Ambari（5）1.0监控ResourceManager进程Java虚拟机中堆空间的特定部分。
dream_an·2016-01-21 17:00

Hadoop YARN学习之组件功能简述（3）

HadoopYARN学习之组件功能简述（3）1.YARN的三大组件功能简述：ResourceManager（RM）是集群的资源的仲裁者，它有两部分：一个可插拔的调度器和一个ApplicationManager
dream_an·2016-01-21 16:00

Hadoop YARN学习之核心概念（2）

HadoopYARN学习之核心概念（2）1.Hadoop2.XYARN引入的新服务1.1新的ResourceManager纯碎作为资源调度器，是集群资源的唯一仲裁者；1.2用户应用程序（包括MapReduce
dream_an·2016-01-21 16:00

Spark集群安装

Spark三种集群Spark支持Standalone、HadoopYarn、Mesos三种集群方式。下面我只介绍Standalone的安装。
wb81074·2016-01-14 14:00

Spark on Yarn 架构解析

一、HadoopYarn组件介绍:我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器和任务调度监控分离成单独的组件。
超大的雪童子·2016-01-10 11:00

Spark On Yarn：提交Spark应用程序到Yarn

07/416.htm关键字：SparkOnYarn、SparkYarnCluster、SparkYarnClientSparkOnYarn模式配置非常简单，只需要下载编译好的Spark安装包，在一台带有HadoopYarn
ggzone·2016-01-01 21:37

Spark On Yarn：提交Spark应用程序到Yarn

07/416.htm关键字：SparkOnYarn、SparkYarnCluster、SparkYarnClientSparkOnYarn模式配置非常简单，只需要下载编译好的Spark安装包，在一台带有HadoopYarn
ggz631047367·2016-01-01 21:00

在Yarn上运行spark-shell和spark-sql命令行

转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的HadoopYarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark
ggz631047367·2016-01-01 21:00

Hadoop YARN配置参数剖析

本文部分转自HadoopYARN配置参数剖析(1)—RM与NM相关参数本文部分转自HadoopYARN中内存的设置一ResourceManager相关配置参数1通信配置参数2调度器配置参数3内存和CPU
u011414200·2016-01-01 11:00

Hadoop Yarn内存资源隔离实现原理——基于线程监控的内存隔离方案

HadoopYarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源，以避免它们之间相互干扰。
yurun·2015-12-23 16:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他