Hadoop-2.x

hadoop64位编译

官方提供的hadoop-2.x版本貌似都是32位的，在64位机子下使用可能会报错，最好使用官方提供的源码进行本地编译，编译成适合本地硬件环境的64位软件包。
不会编程的码农·2023-10-11 16:47

HDFS NameNode重启优化

本文基于Hadoop-2.x和HAwithQJM社区架构和系统设计（如图1所示），通过梳理NameNode重启流程，并在此基础上，阐述对NameNode重启优化实践。HDFSHAwith
shining_yyds·2023-06-21 04:48

hadoop-2.x高可用集群搭架

一、规划1、硬件资源ip6:centos-node6ip7:centos-node7ip8:centos-node8ip9:centos-node92、配置环境变量：exportJAVA_HOME=/usr/local/java/jdk1.7.0_79exportPATH=.:$JAVA_HOME/bin:$PATH二、环境配置1、修改/etc/hostsip6:centos-node6ip7:c
_kairui·2022-12-10 22:38

HDFS NameNode重启优化

本文基于Hadoop-2.x和HAwithQJM社区架构和系统设计（如图1所示），通过梳理NameNode重启流程，并在此基础上，阐述对NameNode重启优化实践。二、NameNode
赶路人儿·2022-08-22 23:04

Apache Hadoop 3.0.0-alpha1 初识

ApacheHadoop3.0.0-alpha1incorporatesanumberofsignificantenhancementsoverthepreviousmajorreleaseline(hadoop
kidinamoto·2021-05-11 12:37

Hadoop-2.X HA模式下的FSImage和EditsLog合并过程

HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。随着存储文件的增多，NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢？在HDFS中主要是通过两个组件FSImage和EditsLog来实现metadata的更新。在某次
翔战士·2021-04-29 23:45

Hadoop-2.x 学习笔记（8） —— 集群基准测试

1集群基准测试1.1基本测试服务启动，是否可用，简单的应用测试hdfs-hdfsdfs-mkdir-p/user/tmpyarn:runjarmapreduce:yarnjar1.2基准测试测试集群的性能hdfs读、写数据监控集群ClouderaManager:部署安装集群，配置同步，预警2内网集群的时间同步找一台机器：时间服务器所以机器与这台机器进行时间同步1.rpm-qa|grepntp2.v
一角残叶·2020-09-14 01:34

hadoop-2.x安装一套完整教程，亲自测试可行

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###虚拟机名称1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->
小周先森·2020-08-24 15:36

黑猴子的家：Hadoop-2.X HA模式下的FSImage和EditsLog合并过程

集群HDFS启动缓慢的问题，集群为Hadoop-2.5.0版本，做了HDFS的HA。在某次故障后重启HDFS集群，发现启动超慢，积累了100多个EditsLog，整个启动过程持续了近六个小时。为了总结这次的经验教训，补充了一下NameNode启动过程中有关FSImage与EditsLog的相关知识。1、什么是FSImage和EditsLoghttps://www.jianshu.com/p/494
黑猴子的家·2020-08-23 00:43

Apache Hadoop 3.0.0 GA 版本终于发布

ApacheHadoop3.0.0ApacheHadoop3.0.0incorporatesanumberofsignificantenhancementsoverthepreviousmajorreleaseline(hadoop
中琦2513·2020-08-21 12:33

Hadoop-2.X HA模式下的FSImage和EditsLog合并过程

最近遇到集群HDFS启动缓慢的问题，集群为Hadoop-2.5.0版本，做了HDFS的HA。在某次故障后重启HDFS集群，发现启动超慢，积累了100多个EditsLog，整个启动过程持续了近六个小时。为了总结这次的经验教训，补充了一下NameNode启动过程中有关FSImage与EditsLog的相关知识。一、什么是FSImage和EditsLog我们知道HDFS是一个分布式文件存储系统，文件分布
weixin_30362083·2020-08-18 04:34

HDFS NameNode重启优化

本文基于Hadoop-2.x和HAwi
wzw12315·2020-07-09 09:14

Hadoop-2.4.1学习之SecondaryNameNode、CheckpointNode、BackupNode

在Hadoop-2.x版本之前只存在SecondaryNameNode，没有CheckpointNode、BackupNode的概念，在2.x版本中引入了后两者，增强了对NameNode的同步和备份。
skyWalker_ONLY·2020-07-05 12:15

Hadoop3.0稳定版的安装部署

ApacheHadoop3.0.0在前一个主要发行版本（hadoop-2.x）中包含了许多重要的增强功能。这个版本通常是可用的（GA），api稳定性和质量已经到了可以再生成中使用的步骤。
大数据星球-浪尖·2020-07-05 11:13

hadoop学习--hbase0.96整合到hadoop2.3.0安装过程

Hbase集群安装前注意1）Java：（hadoop已经安装了），2）Hadoop0.20.x/Hadoop-2.x已经正确安装（hadoop安装参考hadoop2完全分布式最新高可靠安装文档），并且可以
奋斗的鱼·2020-07-04 19:51

Hadoop3.0.0-beta1的一些特性

ApacheHadoop3.0.0-beta1在前一个主要发布版本（hadoop-2.x）中包含了许多重要的增强功能。这是一个测试版本。这个版本是API稳定，但没有质量保证。
ghwolf1124·2020-02-09 04:40

Hadoop的资源调度器-Yarn的资源调度器的探索（一）

要去阐述Yarn的任务调度的机制，其实就该先从Yarn的架构，以及基本组成结构开始说；Yarn是Hadoop-2.x之后出现的，实在MRv1的基础上演化而来的，它克服了MRv1中的各种局限性，在正式介绍
程序员小鹏·2018-12-01 21:10

Hadoop之SecondaryNameNode、CheckpointNode、BackupNode

原文地址：https://blog.csdn.net/skywalker_only/article/details/39120455在Hadoop-2.x版本之前只存在SecondaryNameNode
pengjunlee·2018-07-04 15:56

你必须要了解的Hadoop 3.0 特性

官网：http://hadoop.apache.org/docs/r3.0.1/ApacheHadoop3.0.1ApacheHadoop3.0.1与以前的主要发行版（hadoop-2.x）相比具有许多重要的增强功能
菜鸟级的IT之路·2018-04-24 00:00

Hadoop3.0安装以及新特性介绍

ApacheHadoop3.0.0在前一个主要发行版本（hadoop-2.x）中包含了许多重要的增强功能环境安装：192.168.18.160CDH1192.168.18.161CDH2192.168.18.162CDH3192.168.18.163CDH41
Xlucas·2017-12-26 23:02

hadoop-3.0新特性

Hadoop-3.0.0-alpha2版本发布，相比之前的hadoop-2.x有一系列的功能增强。但目前还是个alpha版本，有很多bug，且不能保证API的稳定和质量。
空中的鱼1987·2016-08-10 15:51

Eclipse环境下hive测试

在hadoop-2.x以前只要导入hadoop-xxx-core.jar就可以
shen_jz2012·2015-04-06 14:00

Hadoop社区版搭建

1.环境准备1.1硬件配置设备名参数数量6台系统centos6.5内存64G硬盘32T/台CPU16核/台1.2软件版本Hadoop-2.x下载地址JDK1.7下载地址至此搭建Hadoop集群的条件准备
哥不是小萝莉·2014-12-29 09:00

Hadoop-2.4.1学习之Map任务源码分析(上)

在Hadoop-2.x版本中虽然不再有JobTracker和TaskTracker，但Mapper任务的功能却没有变化，本篇文章将结合源代码深入分析Mapper任务时如何执行的，包括处理InputSplit
sky_walker85·2014-12-10 14:00

基于Hadoop生态技术构建阿里搜索离线系统

从2010年开始专注于Hadoop及其生态圈相关技术，成功应用于阿里巴巴集团搜索的离线数据处理业务中，并较早（2012年底开始）将Hadoop-2.x推向生产应用
任春德·2014-12-05 00:00

基于Hadoop生态技术构建阿里搜索离线系统

从2010年开始专注于Hadoop及其生态圈相关技术，成功应用于阿里巴巴集团搜索的离线数据处理业务中，并较早（2012年底开始）将Hadoop-2.x推向生产应用
任春德·2014-12-05 00:00

Hadoop-2.4.1学习之高可用ResourceManager

    在Hadoop-2.4之前，Yarn中的ResourceManager也是单点故障中的，就像Hadoop-1.x中的NameNode，由于Hadoop-2.X已经支持NameNode的HA（高可用性
sky_walker85·2014-12-04 16:00

hbase集群安装

Hbase集群安装前注意1）  Java：（hadoop已经安装了）2）  Hadoop0.20.x /Hadoop-2.x 已经正确安装，并且可以启动HDFS系统,可参考的Hadoop安装文档：Hadoop
u010310183·2014-11-24 17:00

hadoop-2.x --new features

  as of hadoop-2.5.1,there  are some important features of hadoop 2.x for me to learn these days   new key features abstract NN HA (high availability) standby meta node,failure
leibnitz·2014-11-08 17:00

Hadoop-2.4.1学习之Mapper和Reducer

Hadoop-2.X不再保留Ha
sky_walker85·2014-11-05 11:00

Hadoop-2.4.1学习之配置管理HDFS联盟

    Hadoop-1.x版本中的HDFS架构在整个集群中只允许一个命名空间，由一个NameNode管理整个命名空间，Hadoop-2.x版本中的HDFS联盟通过支持多个NameNode和命名空间解决了之前架构的局限性
sky_walker85·2014-10-13 16:00

Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性（一）

    在Hadoop-2.x版本之前，HDFS集群中的NameNode是单点故障的，即整个集群中只存在一个NameNode，虽然存在SecondaryNameNode，但由于二者关于命名空间的数据有可能不一致
sky_walker85·2014-10-11 16:00

Hadoop-2.4.1学习之Hadoop命令

    在Hadoop-1.x版本中主要使用hadoop脚本执行各种命令，包括运行jar文件（jar），运行文件系统客户端（fs），运行HDFS管理客户端（dfsadmin）等，但Hadoop-2.x将
sky_walker85·2014-10-09 15:00

Hadoop-2.4.1学习之NameNode -format源码分析

    在Hadoop-2.X中，使用hdfsnamenode–format对文件系统进行格式化。
sky_walker85·2014-09-16 16:00

Hadoop-2.4.1学习之SecondaryNameNode、CheckpointNode、BackupNode

    在Hadoop-2.x版本之前只存在SecondaryNameNode，没有CheckpointNode、BackupNode的概念，在2.x版本中引入了后两者，增强了对NameNode的同步和备份
sky_walker85·2014-09-07 16:00

Hadoop-2.4.1学习之配置管理Hadoop

    Hadoop-2.X较Hadoop-1.X有了很大的变化，比如YARN将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，配置文件及参数也有了很大变化，目录结构的调整等
sky_walker85·2014-08-26 16:00

Hadoop-2.4.1学习之以伪分布模式部署Hadoop

    Hadoop-2.x版本与Hadoop-1.x除了整体架构上的变化之外，比如HDFS联盟，YARN等，目录结构、配置管理及执行脚本都有了很大的改变，具体哪些地方做了改变还需要通过持续地学习来掌握
sky_walker85·2014-07-17 14:00

Hadoop-2.2.0学习之二HDFS联盟

在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构，有助于更好地理解2.x版本中HDFS的变化所带来的好处。
wenyusuran·2014-05-07 18:00

Hadoop学习之Eclipse构建Hadoop项目

基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习Hadoop-1.x的源码，而要想研究源代码最好的方法还是先构建Had
wenyusuran·2014-05-07 17:00

Hadoop学习之Eclipse构建Hadoop项目

基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习Hadoop-1.x的源码，而要想研究源代码最好的方法还是先构建H
sky_walker85·2014-05-07 16:00

Hadoop-2.2.0学习之二HDFS联盟

在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构，有助于更好地理解2.x版本中HDFS的变化所带来的好处。
sky_walker85·2014-01-08 10:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他