hadoop2.x

大数据的框架及基础认识

MySQL：SQLLinux：大数据技术框架都是部署在Linux系统上需要学习什么第一方面：大数据离线分析Hadoop2.x(Common、HDFS、MapReduce、Yarn)：存储、分析环境搭建处理数据思想
leson-xu·2022-02-28 11:41

Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)-张勇-专题视频课程

Hadoop2.x初级入门到精通(全面深入的Hadoop实战教程)—756人已学习课程介绍以ApacheHadoop2.5.0为准，进行深入浅出的讲解各个模块的功能、架构、使用，主要四个方面内容：模块一
sundaytian·2022-02-28 10:27

资源管理系统模块yarn

前言yarn是hadoop集群当中的资源管理系统模块，从hadoop2.x开始引入yarn来进行管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及运行在yarn上面的各种任务
康俊1024·2022-02-21 17:08

Hadoop相关文章索引（3）

环境部署hadoop-2.7.0.tar.gzhadoop2.6.0单节点-伪分布式模式安装hadoop2.x配置jobHistoryserver（转）Hadoop2.7.2集群搭建详解（三台）基本常识
司小幽·2022-02-21 07:43

浅析Hadoop完全分布式集群搭建问题

目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x三、Hadoop集群搭建所需工具（链接如下，自行下载）四、Hadoop集群配置前期准备五、Hadoop运行环境搭建六
·2021-11-30 17:18

Hadoop 入门笔记—核心组件 YARN

作者：幻好来源：恒生LIGHT云社区基本概述ApacheYARN(YetAnotherResourceNegotiator)是Hadoop中的资源管理和作业调度系统，在Hadoop2.x时才被引入。
·2021-11-22 09:35

Hadoop：为什么集群默认块大小是128MB

128MB，突然联想到在HDFS中的块大小也是128MBblock块大小的设置:HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在Hadoop2
小赵呢·2021-10-30 16:48

Hadoop生产调优手册

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode
song_quan_·2021-10-27 11:15

【填坑之旅-hadoop】centos7安装hadoop2.10.1 hive 1.2.2 / hdfs 文件上传写入流程 / MapReduce Yarn 流程/zookeeper/hive

hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示第二天hdfs的原理和使用操作、编程第三天mapreduce的原理和编程第四天常见mr算法实现和shuffle的机制第五天hadoop2
alwarse·2021-10-22 11:24

详细讲解HDFS的高可用机制

目录互斥机制写流程读流程恢复流程在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态
·2021-08-23 18:58

【hadoop-部署】Hadoop2.x HA集群搭建

一、安装环境准备操作系统：centos7三台主机hdc-data4：192.168.163.54hdc-data5：192.168.163.55hdc-data6：192.168.163.56【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】0、创建新的虚拟机【可选】根据安装向导创建一台虚拟机主机(其他主机使用克隆)。然后配置静态ip和主机名。重启网络服务。step1:配置IPvi/e
粮忆雨·2021-06-24 20:19

Hadoop - YARN

YARN-资源管理Hadoop-MapReduceHadoop-HDFS导读一.Hadoop1.x介绍二.Hadoop2.x介绍-重点三.yarn的产生四.YARN各个组件的作用五.YARN的工作原理六
smart_Xu·2021-06-23 07:26

Yarn

5.1Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
码农GG·2021-06-21 12:15

Hadoop的高可用（HA）

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
小小少年Boy·2021-06-18 21:24

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
数据萌新·2021-06-14 02:22

yarn资源优化

yarn概念yarn是hadoop2.X分离出的资源调度平台，将任务的资源分配单独抽离，以适应在此平台上的其他类型任务的扩展。
丁钰铭·2021-06-13 13:54

hadoop日志

2.Hadoop2.x版本Hadoop2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下：ResourceManager日志存放位置是
sleepySnail·2021-06-07 19:41

hadoop2.x单节点安装

https://my.oschina.net/jackieyeah/blog/657032正在运行的任务hadoopjob-list杀掉任务hadoopjob-killjob_1528518736003_0011给文件加权限hadoopfs-chmod-R755/*.datajava-versionbashrcexportJAVA_HOME=/usr/local/src/jdk1.7.0_79ex
楼剑波_1654·2021-06-06 17:23

(03)Spark学习知识储备

1）、JaveSE基础，Scala语言2）、Hadoop2.x有所认识，有一定的基础，会一些基本东西3）、英语的要求
KyleHai·2021-06-06 04:24

每日一读 11.03

hadoop2.x基于QJM的NameNode共享存储方案分析http://www.aboutyun.com/forum.php?
Vicor·2021-05-02 21:31

HDAS HA 高可用

HDFS高可用一、高可用存在背景在Hadoop2.x之前，HDFS集群中只有一个NameNode节点，而NameNode节点可能会发生单点故障，一旦NameNode节点发生单点故障，整个集群都将处于不可用状态
Vince1958·2021-04-21 14:52

hadoop2.x伪分布式搭建

【前言】之前搭建了hadoop1.x的伪分布式与全分布式，由于hadoop2.x与hadoop1.x在安装和配置上有较大的区别，所以对hadoop2.x的安装也做一个笔记以便日后学习。
先生_吕·2021-03-10 17:26

Hadoop Web控制台添加身份验证

我们在安装完hadoop2.x版本之后，默认情况下，可以通过http://ip:50070/dfshealth.html访问hdfs页面，查看namenode和datanode状态，以及hdfs的相关文件等
xiaokebiubiubiu·2021-03-08 00:23

大数据技术原理与应用：期末考点总结

目录第一章大数据概述第二章Hadoop第三章HDFS第四章HBase第五章NoSQL第六章云数据库第七章MapReduce第八章Hadoop2.x第九章Spark第十章流计算第一章大数据概述1.大数据的
虾米奥·2021-02-18 22:37

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:07

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:52

Hadoop基础（三）：分布式资源调度框架YARN

1.ResourceManager2.NodeManager3.ApplicationMaster4.Container三、Yarn执行流程四、Yarn资源调度器五、Yarn常用命令一、Yarn简介在Hadoop2
XavierYen·2020-12-17 08:40

yarn-资源管理container容器配置详解

开题引文:yarn是hadoop2.x引入的概念,hadoop1.x这个工作是MapReduce做的,在2.x引入了yarn,yarn是用来做资源管理和任务调度,本文详细介绍了yarn在生产上如何资源管理
BABA_777·2020-12-06 15:16

Yarn(Hadoop2.0)学习笔记(一)

简介1.0跟2.0的区别在Yarn中我们把job的概念换成了application，因为在新的Hadoop2.x中，运行的应用不只是MapReduce了，还有可能是其它应用如一个DAG（有向无环图DirectedAcyclicGraph
武小寺·2020-12-01 16:12

大数据环境搭建hadoop，hive，spark，Python，anaconda

如何在自己的电脑搭建一个虚拟的集群环境：1、安装虚拟机（包括linux系统：笔者使用ubantu16.04）http://dblab.xmu.edu.cn/blog/2760-2/#more-27602、安装hadoop2
君_临_天_下·2020-11-21 19:56

大数据-Hadoop文件系统- 学习笔记 -BH2

它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色重要特性如下：HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2
SoFeelLove·2020-09-15 23:02

hadoop2.x 伪分布式环境搭建 | 适用于hadoop伪分布式集群环境搭建

转载请注明出处：http://blog.csdn.net/coder__cs/article/details/78372646本文出自【elon33的博客】通过详细介绍Hadoop2.4版本的伪分布环境搭建，来阐述适用于hadoop伪分布式集群环境搭建的具体步骤。1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-on
gamedev˚·2020-09-14 10:11

HAOOP完全分布式

一、Hadoop介绍**HDFS:分布式存储文件//用来存数据角色：NameNode和DataNode**YARN：分布式资源调度框架（Hadoop2.x以上才引用）//调用计算机资源来进行操作角色：ResourceManager
浪里小菜鸟·2020-09-14 08:33

如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题

虚拟出了三台集群机器,分别是master-->ip:192.168.153.10,slave1-->ip:192.168.153.11,slave2-->190.168.153.12；在这三台机器上我分别搭建了Hadoop2
Andy-ZHA·2020-09-14 07:58

hadoop2.x 如何解决NameNode单节点故障问题？

在Hadoop2.x中有两个NameNode,一个是activenamenode状态是active，另一个是standynamenode状态是standy两者是进行切换的，但是有且只有一个active！
suibianshen2012·2020-09-14 05:57

Hadoop2.x Yarn作业提交（客户端）

YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考http://blog.csdn.net/lihm0_1/article/details/13629375在1.x中是向JobTracker提交，而在2.x中换成了ResourceManager，客户端的代理对象也有所变动，换成了YarnRunner，但大致流程和1类似，主要的流程集中在JobSubmitter.submitJob
__海盗__·2020-09-14 02:10

Hadoop2.x NodeManager启动之服务启动

在NM各服务初始化完毕之后，会进入启动阶段，该阶段的调用栈如下由于NM也是一个综合服务类，所以他会进入CompositeService的serviceStart循环启动各个服务，代码如下：protectedvoidserviceStart()throwsException{//获得服务列表Listservices=getServices();if(LOG.isDebugEnabled()){LOG
__海盗__·2020-09-14 02:10

hadoop面对大量的小文件处理

小文件在HDFS中HDFS块大小默认是128m(hadoop2.x默认是128),若是存储了很多这种小文件每个小文件占了一个block而每个block的文件,目录在namenode里以对像(元数据)形式存储
cyclebozhou·2020-09-14 00:36

HDFS存储文件的特点

所以HDFS最主要的特点是存储的方式上：1.HDFS是对数据进行分块存储，块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，之前的版本中是64M
kangshuangzhu·2020-09-14 00:03

在Ubuntu下对hadoop2.x进行64位编译出错原因

由于hadoop2.x后，在lib/native/目录下面的libhadoop.so.1.0.0文件是32位的，所以如果在64位的linux上安装官方提供的hadoop2.x，肯定不能运行，就需要对其进行编译
xjnine·2020-09-13 23:51

hadoop-Hadoop 2.x与3.x 22点比较：3.x将节省大量存储空间

Hadoop2.x与3.x22点比较：3.x将节省大量存储空间问题导读1.Hadoop3.x通过什么方式来容错？2.Hadoop3.x存储开销减少了多少？
lisery_nj·2020-09-13 19:49

Hadoop伪分布式下——Hadoop2.x运行自带的WordCount报错Container exited with a non-zero exit code 1.

Hadoop伪分布式下——Hadoop2.x运行自带的WordCount报错Containerexitedwithanon-zeroexitcode1.问题伪分布式模式配置文件解决方法问题今天，基于Hadoop2.5.0
wanghuan524·2020-09-13 13:25

hadoop系列之伪分布式环境搭建及测试验证

Hadoop2.x伪分布式环境搭建及测试验证作者：Dennis日期：2018-08-09前置条件：Linux虚拟机一台，版本为CentOS7.4，假设IP地址为192.168.159.181，并修改如下
搬砖学习·2020-09-13 07:53

hadoop2.x配置 - RM与NM相关参数

REFER：http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/--------------------------------------------------------------------------------------------------
迷途小码·2020-09-11 19:47

hadoop3.x教程_Hadoop安装教程（Hadoop 1.x）

Update:IfyouarenewtoHadoopandtryingtoinstallone.Pleasecheckthenewerversion:HadoopInstallationTutorial(Hadoop2
cuma2369·2020-09-11 14:31

MapReduce过程详解(基于hadoop2.x架构)

本文基于hadoop2.x架构详细描述了mapreduce的执行过程，包括partition，combiner，shuffle等组件以及yarn平台与mapreduce编程模型的关系。
weixin_30699443·2020-09-11 04:08

分布式资源调度管理框架：YARN的架构及工作原理

目录简介基础架构高可用架构联邦机制调度器简介Hadoop2.x引入了一个新的组件：YARN，它作为hadoop集群中的资源管理模块，为各类计算框架提供资源的管理和调度。
王义凯_Rick·2020-09-10 21:25

史上最详细、最全面的Hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。
民工哥·2020-08-24 17:10

Hadoop 2.x 原理详解

在Hadoop2.x结构解决上述两个的问题：1）解决单点故障：通过HA高可用，主备Namenode切换解决。
shenming98·2020-08-24 15:47

YARN and MapReduce的【内存】优化配置详解

在Hadoop2.x中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container。
anbashi7271·2020-08-24 13:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他