Hadoop2.x

Hadoop2.x三节点大数据环境安装教程

说明:1.教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.2.本教程主要引导同学进行hadoop2
队列人生·2020-06-21 23:43

hadoop2.x安装maven SVN gcc等步骤

1、下载mavenhttp://mirror.bit.edu.cn/apache/maven/maven-3/到该地址下下载tar.gz文件将该文件解压tar-zxf.....tar.gzmvapache-maven-3.3.9//app/lib/(或者/usr/lib/下，没有测试)2、修改系统变量的配置文件profilesudo/etc/profile在JDK配置文件下方添加如下命令expor
supory·2020-06-21 23:54

Hadoop 之 yarn 笔记整理

YARN概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性
夜古诚·2020-06-21 22:35

Hadoop完全分布式集群搭建+Centos7配置连通外网和主机

文章目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x四、Hadoop集群搭建所需工具（链接如下，自行下载）三、Hadoop集群配置前期准备四、Hadoop运行环境搭建五
IronmanJay·2020-06-21 22:59

大数据Hadoop2.x与Hadoop3.x相比较有哪些变化

我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop2程序，Hadoop2和Hadoop3有什么区别？
honesty_zhang·2020-06-21 20:26

Hadoop学习之yarn

YARN是Hadoop2.x版本中的一个新特性。是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，使
Quinto0·2020-06-21 13:33

Yarn学习（一）YARN的资源调度

Yarn是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括
匿名啊啊啊·2020-06-21 06:29

大数据学习02之基于vbox 6.0搭建ubuntu 18.04伪分布式Hadoop 2.9.2集群

下载hadoop去Apache官网下载hadoop2.x的最新版hadoop-2.9.2.tar.gz，现在hadoop3.x已经发布了，但是业界大部分还是2.x
moble_xie·2020-06-21 03:04

搭建Hadoop HA 高可用集群——四台虚拟机（CentOS）

一、Hadoop系统架构1.Hadoop1.x和Hadoop2.x  hadoop1.x是由分布式计算框架MapReduce和分布式存储系统HDFS两个分支构成的。
Luck_Vera·2020-06-17 20:56

hdfs入门学习

由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；重要特性如下：（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2
鄙人不善奔跑0·2020-06-02 10:49

hadoop2.x全分布式集群搭建（一主二从）

推荐大家看完上一篇伪分布搭建，在上一篇中，基础条件都有详细配置过程，本次全分布式搭建只是在伪分布的基础上有所加深。相较于伪分布，多了以下内容第一步：添加主机名与IP映射（每个节点都要配置）vi/etc/hosts，增加以下内容：192.168.154.110master192.168.154.111slvae1192.168.154.112slave2第二步：主从节点免密登陆在每个用户的家目录下的
孙晨c·2020-05-17 20:00

Hadoop2.x伪分布式集群搭建

第一步：配置网络（静态IP）vi/etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同）修改：将该配置文件中的ONBOOT=no修改为yes（网络开机自启）将BOOTPROTO=dhcp修改为static（将ip设置为静态ip）为了能够通过外部访问到虚拟机，增加：IPADDR=192.168.154.110（110是自己设置的，154是VMnet8的
孙晨c·2020-05-17 20:00

最详细的Hadoop安装教程

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通
大火yzs·2020-04-15 13:05

Hadoop2x的体系架构

DataNodeNameNode:（a）负责接受客户端的请求（b）负责元信息的维护（c）HDFS的管理员DataNode：（a）保存数据（b）block数据块：hadoop1.x的block是64M；hadoop2
陈超Terry的技术屋·2020-04-09 08:10

每日一读 10.18 精华

hadoop生态系统零基础入门【新增人工智能】深入理解HadoopHA机制http://www.aboutyun.com/thread-22935-1-1.html1、Hadoop1.x和Hadoop2
Vicor·2020-03-30 08:38

Hadoop实战（5）_Hadoop的运维经验

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2020-03-29 04:00

HDFS HA 原理

HDFSHA原理标签：HDFSHA概述在Hadoop2.x版本中，Hadoop实现了HDFS的HA功能，从而解决了HDFS中NameNode单点问题。
神仙CGod·2020-03-28 17:33

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2020-03-25 18:46

HDFS详解

Hadoop2.X后可以划分为三部分：HDFS、MapReduce和Yarn，本篇主要看一下HDFS。
忘净空·2020-03-22 16:45

Hadoop2.x的集群搭建与配置（七）——Hadoop安装与配置

这一步开始正式搭建hadoop，但是要确保前面的每一步都完成首先要下载一个一些工具：1.hadoop的安装包，linux版本的，后缀名市是tar.gz的这种2.跨平台数据传输工具，这里推荐使用xshell和xftp，xshell用来链接linux，而xftp则用来将一些文件从本机传到linux中（这个是在本机安装的，不要放到虚拟机里）第一步：将hadoop的安装包传输到master中，然后解压：t
铭chen·2020-03-21 14:00

配置 Hadoop 时遇到的一些问题

hadoop安装/启动步骤中常见问题Hadoop2.x命令及可执行文件目录的变化：在1.x中，所有的命令文件，都是放在bin目录下，没有区分客户端和服务端命令，并且最终命令的执行都会调用hadoop去执行
阿群1986·2020-03-19 08:22

Hadoop实战（7）_Apache Hadoop安装和配置Hue

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2020-03-18 07:34

1.3.4HADOOP-HA理论篇

2.Hadoop1.X和Hadoop2.X的区别Hadoop1.X就是一个老大，一帮
寒暄_HX·2020-03-16 18:32

Hadoop HA及Failover搭建

基于以上致命的缺点，Hadoop2.X提出了HA（HighAvailable）来改进单点故障；另外，通过使用Zookeeper的分布式通知协调功能实现HA
z小赵·2020-03-15 23:33

Hadoop从入门到精通1：Hadoop2.x环境搭建之本地模式

Hadoop有三种工作方式：本地模式，伪分布模式和全分布模式。它们三者的特点分别是：本地模式只需要一台机器，使用的是本地文件系统而不是HDFS文件系统，功能是用于测试MapReduce程序；伪分布模式也只需要一台机器，使用的是HDFS文件系统，在一台机器上模拟全分布模式的全部功能，用于开发测试Hadoop程序；全分布模式需要多台机器，基于HDFS文件系统的主从分布式架构，用于实际的生产环境。本节就
金字塔下的小蜗牛·2020-03-13 08:23

1 Hadoop简介和编译 2018-05-11

.Hadoop官网http://hadoop.apache.org/2.hadoop版本说明①.hadoop1.x：HDFS：分布式文件系统，存储MapReduce：分布式计算+资源调度和作业调度②.hadoop2
lizhigang·2020-03-09 23:27

3 HDFS详解 2018-05-24

SecondaryNameNode(SNN)：第二名称节点；2.Block数据块大小：旧版本：64M新版本：128M参数：dfs.blocksize3.副本数dfs.replication:3一个块会变为3个块hadoop2
lizhigang·2020-03-07 00:46

深入理解MapReduce原理

在这篇文章中我们会对MapReduce（Hadoop2.x的版本）的概念、执行流程、工作原理进行深入探讨。
杨赟快跑·2020-03-05 21:37

Hadoop实战（3）_虚拟机搭建CDH的全分布模式

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式建立Linux虚拟机(全节点)客户机操作系统：rhel-server
padluo·2020-03-04 00:42

Sqoop2安装

再者，其对Hadoop的支持版本有些特别要求，比如Hadoop1和Hadoop0.x还有Hadoop2.x的兼容性等。在下载时一般要注意其兼容的Hadoop版本（Sqoop官网
insoPlus·2020-03-01 13:27

Hadoop HA高可用解析以及脑裂问题

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
Mervyn_2014·2020-02-28 17:29

11. HDFS主要流程之HA切换流程

在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，即每个HDFS集群中只有一个Namenode，一旦这个节点不可用，整个HDFS集群就将处于不可用状态。
ZFH__ZJ·2020-02-10 00:18

hadoop(16)--Hbase集群搭建

Hbase的集群比Hadoop的集群简单很多，话不多说1,解压我用的Hbase还是很早的版本,只要和hadoop相匹配就行，主要匹配hadoop2.x就可以tar-zxvfhbase-0.96.2-hadoop2
ROCK_杰哥·2020-02-07 04:41

如何搭建高可用Hadoop集群

介绍为了解决Hadoop1.x的单点故障问题，Hadoop2.x引入了高可用集群的概念。HDFS架构遵从Master/Slave拓扑，
alvin_wang·2020-02-06 02:29

HDFS详解

重要特征：1.HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。
卡卡xx·2020-02-01 06:15

hive

hive基础大数据特性与应用分布式架构概念Hadoop2.x系统介绍掌握hive基础建表，以及表格式了解hive查询了解正则表达式1、hive的简介‘’hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表
foremost·2020-01-11 21:00

Hadoop2.X YARN模块基本认知--基于《Hadoop技术内幕深入解析YARN架构设计与实现原理》

HadoopYARN源码组织结构YARNAPI(对应hadoop-yarn-api目录):给出了YARN内部涉及的4个主要RPC协议的Java声明和ProtocolBuffers定义YARNCommon(hadoop-yarn-common):包含了YARN的底层库实现YARNApplications(hadoop-yarn-applications):包含了两个Application编程实例,分
K也许K·2019-12-30 16:59

Hadoop实战（4）_Hadoop的集群管理和资源分配

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式DataNode
padluo·2019-12-26 06:38

大数据入门(四) - 分布式资源调度——YARN框架

1YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展1.1MapReduce1.x时的架构可以看到
JavaEdge·2019-12-25 00:49

secondary namenode，checkpoint新旧版本配置对比

core-site.xml：fs.checkpoint.period3600两次checkpoint的时间间隔为3600秒fs.checkpoint.size67108864edtis文件大小达到64M时hadoop2
博弈史密斯·2019-12-24 05:00

10. Sqoop介绍

1.大数据协作框架：大数据协作框架是Hadoop2.x生态系统中几个辅助框架。
奉先·2019-12-20 22:53

MapReduce

MapReduce简写MR本文主要概述了hadoop1.x与hadoop2.x区别  HDFS区别federation  MR区别yarnMR的shuffle过程image.pnghadoop1.ximage.pnghadoop
爱老虎油王可爱·2019-12-19 04:04

Hadoop - yarn notes2

这里描述的是一个256M的文件上传过程①由客户端向NameNode节点节点发出请求②NameNode向Client返回可以可以存数据的DataNode这里遵循机架感应原则③客户端首先根据返回的信息先将文件分块（Hadoop2
raincoffee·2019-12-18 19:24

hadoop2.x 远程调试

hadoop要实现远程调试需要在配置文件添加参数【1】添加参数,$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件#远程调试namenodeexportHADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"#远程调试datanodeexportHA
先生_吕·2019-12-17 04:20

Hadoop生态架构之Hadoop2.7.3全分布式集群搭建

本节将来介绍一下Hadoop2.x全分布模式的环境搭建过程。
勇于自信·2019-12-13 02:38

大数据入门(四) - 分布式资源调度——YARN框架

1YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展1.1MapReduce1.x时的架构可以看到
金光闪闪耶·2019-12-12 23:19

《Hadoop》大数据技术开发实战学习笔记（二）

搭建Hadoop2.x分布式集群1、Hadoop集群角色分配2、上传Hadoop并解压在centos01中，将安装文件上传到/opt/softwares/目录，然后解压安装文件到/opt/modules
zonkidd·2019-11-24 14:00

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
__豆约翰__·2019-11-03 07:31

Hadoop 入门系列：Hadoop 简介

Hadoop框架中最核心设计就是：HDFS和MapReduce，以及Hadoop2.x的YARNHadoop核心核心组件就是HDFS和MapReduceHDFS（HadoopDistributedFileSy
Alex90·2019-11-03 00:57

七、yarn基本原理

[TOC]一、Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x中，MapReduce中本身负责资源的调度以及业务逻辑运算，耦合度较大，而且当时只支持MapReduce一个框架。
隔壁小白·2019-10-24 12:36
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他