hadoop2.X

Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)-张勇-专题视频课程

Hadoop2.x初级入门到精通(全面深入的Hadoop实战教程)—756人已学习课程介绍以ApacheHadoop2.5.0为准，进行深入浅出的讲解各个模块的功能、架构、使用，主要四个方面内容：模块一
sundaytian·2022-02-28 10:27

资源管理系统模块yarn

前言yarn是hadoop集群当中的资源管理系统模块，从hadoop2.x开始引入yarn来进行管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及运行在yarn上面的各种任务
康俊1024·2022-02-21 17:08

Hadoop相关文章索引（3）

环境部署hadoop-2.7.0.tar.gzhadoop2.6.0单节点-伪分布式模式安装hadoop2.x配置jobHistoryserver（转）Hadoop2.7.2集群搭建详解（三台）基本常识
司小幽·2022-02-21 07:43

浅析Hadoop完全分布式集群搭建问题

目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x三、Hadoop集群搭建所需工具（链接如下，自行下载）四、Hadoop集群配置前期准备五、Hadoop运行环境搭建六
·2021-11-30 17:18

Hadoop 入门笔记—核心组件 YARN

作者：幻好来源：恒生LIGHT云社区基本概述ApacheYARN(YetAnotherResourceNegotiator)是Hadoop中的资源管理和作业调度系统，在Hadoop2.x时才被引入。
·2021-11-22 09:35

Hadoop：为什么集群默认块大小是128MB

128MB，突然联想到在HDFS中的块大小也是128MBblock块大小的设置:HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在Hadoop2
小赵呢·2021-10-30 16:48

Hadoop生产调优手册

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode
song_quan_·2021-10-27 11:15

【填坑之旅-hadoop】centos7安装hadoop2.10.1 hive 1.2.2 / hdfs 文件上传写入流程 / MapReduce Yarn 流程/zookeeper/hive

hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示第二天hdfs的原理和使用操作、编程第三天mapreduce的原理和编程第四天常见mr算法实现和shuffle的机制第五天hadoop2
alwarse·2021-10-22 11:24

详细讲解HDFS的高可用机制

目录互斥机制写流程读流程恢复流程在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态
·2021-08-23 18:58

【hadoop-部署】Hadoop2.x HA集群搭建

一、安装环境准备操作系统：centos7三台主机hdc-data4：192.168.163.54hdc-data5：192.168.163.55hdc-data6：192.168.163.56【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】0、创建新的虚拟机【可选】根据安装向导创建一台虚拟机主机(其他主机使用克隆)。然后配置静态ip和主机名。重启网络服务。step1:配置IPvi/e
粮忆雨·2021-06-24 20:19

Hadoop - YARN

YARN-资源管理Hadoop-MapReduceHadoop-HDFS导读一.Hadoop1.x介绍二.Hadoop2.x介绍-重点三.yarn的产生四.YARN各个组件的作用五.YARN的工作原理六
smart_Xu·2021-06-23 07:26

Yarn

5.1Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
码农GG·2021-06-21 12:15

Hadoop的高可用（HA）

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
小小少年Boy·2021-06-18 21:24

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
数据萌新·2021-06-14 02:22

yarn资源优化

yarn概念yarn是hadoop2.X分离出的资源调度平台，将任务的资源分配单独抽离，以适应在此平台上的其他类型任务的扩展。
丁钰铭·2021-06-13 13:54

hadoop日志

2.Hadoop2.x版本Hadoop2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下：ResourceManager日志存放位置是
sleepySnail·2021-06-07 19:41

hadoop2.x单节点安装

https://my.oschina.net/jackieyeah/blog/657032正在运行的任务hadoopjob-list杀掉任务hadoopjob-killjob_1528518736003_0011给文件加权限hadoopfs-chmod-R755/*.datajava-versionbashrcexportJAVA_HOME=/usr/local/src/jdk1.7.0_79ex
楼剑波_1654·2021-06-06 17:23

(03)Spark学习知识储备

1）、JaveSE基础，Scala语言2）、Hadoop2.x有所认识，有一定的基础，会一些基本东西3）、英语的要求
KyleHai·2021-06-06 04:24

每日一读 11.03

hadoop2.x基于QJM的NameNode共享存储方案分析http://www.aboutyun.com/forum.php?
Vicor·2021-05-02 21:31

HDAS HA 高可用

HDFS高可用一、高可用存在背景在Hadoop2.x之前，HDFS集群中只有一个NameNode节点，而NameNode节点可能会发生单点故障，一旦NameNode节点发生单点故障，整个集群都将处于不可用状态
Vince1958·2021-04-21 14:52

hadoop2.x伪分布式搭建

【前言】之前搭建了hadoop1.x的伪分布式与全分布式，由于hadoop2.x与hadoop1.x在安装和配置上有较大的区别，所以对hadoop2.x的安装也做一个笔记以便日后学习。
先生_吕·2021-03-10 17:26

Hadoop Web控制台添加身份验证

我们在安装完hadoop2.x版本之后，默认情况下，可以通过http://ip:50070/dfshealth.html访问hdfs页面，查看namenode和datanode状态，以及hdfs的相关文件等
xiaokebiubiubiu·2021-03-08 00:23

大数据技术原理与应用：期末考点总结

目录第一章大数据概述第二章Hadoop第三章HDFS第四章HBase第五章NoSQL第六章云数据库第七章MapReduce第八章Hadoop2.x第九章Spark第十章流计算第一章大数据概述1.大数据的
虾米奥·2021-02-18 22:37

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:07

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:52

Hadoop基础（三）：分布式资源调度框架YARN

1.ResourceManager2.NodeManager3.ApplicationMaster4.Container三、Yarn执行流程四、Yarn资源调度器五、Yarn常用命令一、Yarn简介在Hadoop2
XavierYen·2020-12-17 08:40

yarn-资源管理container容器配置详解

开题引文:yarn是hadoop2.x引入的概念,hadoop1.x这个工作是MapReduce做的,在2.x引入了yarn,yarn是用来做资源管理和任务调度,本文详细介绍了yarn在生产上如何资源管理
BABA_777·2020-12-06 15:16

Yarn(Hadoop2.0)学习笔记(一)

简介1.0跟2.0的区别在Yarn中我们把job的概念换成了application，因为在新的Hadoop2.x中，运行的应用不只是MapReduce了，还有可能是其它应用如一个DAG（有向无环图DirectedAcyclicGraph
武小寺·2020-12-01 16:12

大数据环境搭建hadoop，hive，spark，Python，anaconda

如何在自己的电脑搭建一个虚拟的集群环境：1、安装虚拟机（包括linux系统：笔者使用ubantu16.04）http://dblab.xmu.edu.cn/blog/2760-2/#more-27602、安装hadoop2
君_临_天_下·2020-11-21 19:56

大数据-Hadoop文件系统- 学习笔记 -BH2

它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色重要特性如下：HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2
SoFeelLove·2020-09-15 23:02

hadoop2.x 伪分布式环境搭建 | 适用于hadoop伪分布式集群环境搭建

转载请注明出处：http://blog.csdn.net/coder__cs/article/details/78372646本文出自【elon33的博客】通过详细介绍Hadoop2.4版本的伪分布环境搭建，来阐述适用于hadoop伪分布式集群环境搭建的具体步骤。1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-on
gamedev˚·2020-09-14 10:11

HAOOP完全分布式

一、Hadoop介绍**HDFS:分布式存储文件//用来存数据角色：NameNode和DataNode**YARN：分布式资源调度框架（Hadoop2.x以上才引用）//调用计算机资源来进行操作角色：ResourceManager
浪里小菜鸟·2020-09-14 08:33

如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题

虚拟出了三台集群机器,分别是master-->ip:192.168.153.10,slave1-->ip:192.168.153.11,slave2-->190.168.153.12；在这三台机器上我分别搭建了Hadoop2
Andy-ZHA·2020-09-14 07:58

hadoop2.x 如何解决NameNode单节点故障问题？

在Hadoop2.x中有两个NameNode,一个是activenamenode状态是active，另一个是standynamenode状态是standy两者是进行切换的，但是有且只有一个active！
suibianshen2012·2020-09-14 05:57

Hadoop2.x Yarn作业提交（客户端）

YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考http://blog.csdn.net/lihm0_1/article/details/13629375在1.x中是向JobTracker提交，而在2.x中换成了ResourceManager，客户端的代理对象也有所变动，换成了YarnRunner，但大致流程和1类似，主要的流程集中在JobSubmitter.submitJob
__海盗__·2020-09-14 02:10

Hadoop2.x NodeManager启动之服务启动

在NM各服务初始化完毕之后，会进入启动阶段，该阶段的调用栈如下由于NM也是一个综合服务类，所以他会进入CompositeService的serviceStart循环启动各个服务，代码如下：protectedvoidserviceStart()throwsException{//获得服务列表Listservices=getServices();if(LOG.isDebugEnabled()){LOG
__海盗__·2020-09-14 02:10

hadoop面对大量的小文件处理

小文件在HDFS中HDFS块大小默认是128m(hadoop2.x默认是128),若是存储了很多这种小文件每个小文件占了一个block而每个block的文件,目录在namenode里以对像(元数据)形式存储
cyclebozhou·2020-09-14 00:36

HDFS存储文件的特点

所以HDFS最主要的特点是存储的方式上：1.HDFS是对数据进行分块存储，块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，之前的版本中是64M
kangshuangzhu·2020-09-14 00:03

在Ubuntu下对hadoop2.x进行64位编译出错原因

由于hadoop2.x后，在lib/native/目录下面的libhadoop.so.1.0.0文件是32位的，所以如果在64位的linux上安装官方提供的hadoop2.x，肯定不能运行，就需要对其进行编译
xjnine·2020-09-13 23:51

hadoop-Hadoop 2.x与3.x 22点比较：3.x将节省大量存储空间

Hadoop2.x与3.x22点比较：3.x将节省大量存储空间问题导读1.Hadoop3.x通过什么方式来容错？2.Hadoop3.x存储开销减少了多少？
lisery_nj·2020-09-13 19:49

Hadoop伪分布式下——Hadoop2.x运行自带的WordCount报错Container exited with a non-zero exit code 1.

Hadoop伪分布式下——Hadoop2.x运行自带的WordCount报错Containerexitedwithanon-zeroexitcode1.问题伪分布式模式配置文件解决方法问题今天，基于Hadoop2.5.0
wanghuan524·2020-09-13 13:25

hadoop系列之伪分布式环境搭建及测试验证

Hadoop2.x伪分布式环境搭建及测试验证作者：Dennis日期：2018-08-09前置条件：Linux虚拟机一台，版本为CentOS7.4，假设IP地址为192.168.159.181，并修改如下
搬砖学习·2020-09-13 07:53

hadoop2.x配置 - RM与NM相关参数

REFER：http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/--------------------------------------------------------------------------------------------------
迷途小码·2020-09-11 19:47

hadoop3.x教程_Hadoop安装教程（Hadoop 1.x）

Update:IfyouarenewtoHadoopandtryingtoinstallone.Pleasecheckthenewerversion:HadoopInstallationTutorial(Hadoop2
cuma2369·2020-09-11 14:31

MapReduce过程详解(基于hadoop2.x架构)

本文基于hadoop2.x架构详细描述了mapreduce的执行过程，包括partition，combiner，shuffle等组件以及yarn平台与mapreduce编程模型的关系。
weixin_30699443·2020-09-11 04:08

分布式资源调度管理框架：YARN的架构及工作原理

目录简介基础架构高可用架构联邦机制调度器简介Hadoop2.x引入了一个新的组件：YARN，它作为hadoop集群中的资源管理模块，为各类计算框架提供资源的管理和调度。
王义凯_Rick·2020-09-10 21:25

史上最详细、最全面的Hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。
民工哥·2020-08-24 17:10

Hadoop 2.x 原理详解

在Hadoop2.x结构解决上述两个的问题：1）解决单点故障：通过HA高可用，主备Namenode切换解决。
shenming98·2020-08-24 15:47

YARN and MapReduce的【内存】优化配置详解

在Hadoop2.x中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container。
anbashi7271·2020-08-24 13:26

MapReduce工作机制

首先遍历第一个文件获取文件的大小获取切片大小上面的源码就是切片大小的计算公式，blocksize为块的大小；如果job运行在本地，默认块大小是32M；如果job运行在yarn上，hadoop1.x默认块大小是64M；hadoop2
TmisuCno·2020-08-23 03:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他