Hadoop-2.4.1

Hadoop-2.4.1完全分布式环境搭建

Hadoop-2.4.1完全分布式环境搭建 一、配置步骤如下： 主机环境搭建，这里是使用了5台虚拟机，在ubuntu 13系统上进行搭建hadoop环境。
·2015-11-11 18:49

Hadoop-2.4.1完全分布式环境搭建

  Hadoop-2.4.1完全分布式环境搭建   Hadoop-2.4.1完全分布式环境搭建 一、配置步骤如下： 主机环境搭建，这里是使用了5台虚拟机
·2015-11-11 12:43

单机/伪分布式Hadoop2.4.1安装文档

hadoop-common/SingleCluster.html 补充：建议添加如下环境变量 #hadoop configuration export PATH=$PATH:/home/jediael/hadoop
·2015-10-21 12:14

Hadoop-2.4.1安装配置

Hadoop-2.4.1安装配置1、下载地址http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/linux命令下具体操作如下：wgethttp
sherry20150511·2015-09-16 17:11

Hadoop-2.4.1安装配置

Hadoop-2.4.1安装配置 1、下载地址 http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/ linux命令下具体操作如下：
sherry20150511·2015-09-16 17:11

Hadoop-2.4.1安装配置

Hadoop-2.4.1安装配置 1、下载地址 http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/ linux命令下具体操作如下：
sherry20150511·2015-09-16 17:11

Spark-1.4.0集群搭建

主要内容Ubuntu10.04系统设置ZooKeeper集群搭建Hadoop-2.4.1集群搭建Spark1.4.0集群搭建假设已经安装好Ubuntu操作系统Ubuntu10.04设置1.主机规划主机名
lovehuangjiaju·2015-07-14 21:00

Hadoop tutorial - 2 - 安装hadoop 2015-3-23

工具：xshell()安装包：hadoop-2.6.0.tar.gz->2.4.1 http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/jdk
jayronwang·2015-03-23 22:00

Hadoop-2.4.1学习之InputFormat及源代码分析

    向Hadoop集群提交作业时，需要指定作业输入的格式（未指定时默认的输入格式为TextInputFormat）。在Hadoop中使用InputFormat类或InputFormat接口描述MapReduce作业输入的规范或者格式，之所以说InputFormat类或InputFormat接口是因为在旧的API（hadoop-0.x）中InputFormat被定义为接口，而在新的API（had
sky_walker85·2015-01-13 16:00

Hadoop-2.4.1学习之FileSystem及实战

    一提到hadoop文件系统，通常想到的就是HDFS，即HadoopDistributedFileSystem，但除了HDFS外，hadoop还支持其它类型的文件系统，比如AmazonS3、Swift文件系统等，而这些文件系统都扩展自抽象基础类FileSystem，该类提供了丰富的方法用于对文件系统进行操作，比如创建目录、删除文件、重命名等。无论使用的是HDFS还是Swift文件系统，或者其
sky_walker85·2014-12-30 13:00

Hadoop-2.4.1学习之Writable及其实现

    Hadoop基于DataInput和DataOutput实现了简单、高效的序列化协议，而Writable接口定义了Hadoop序列化的方法，MapReduce框架中的任何键值类型都实现了该接口，比如IntWritable、LongWritable等，详细的类关系见下图：    通过上图可以发现，MapReduce中常用的键值类型都没有直接实现Writable接口，而是实现了该接口的子接口W
sky_walker85·2014-12-23 09:00

Hadoop-2.4.1学习之RawComparator及其实现

    Hadoop支持对序列化的二进制流直接进行比较，相对于将序列化的二进制流反序列化对象再进行比较，显然前者具有更高的效率。而之所以需要对二进制流进行比较是因为Hadoop多个节点上的进程间通信是通过远程过程调用（RemoteProcedureCallProtocol，RPC）实现的，而RPC协议会将消息序列化为二进制流后再发送到远程节点，远程节点接收到二进制流后再反序列化为原始消息，如果对序
sky_walker85·2014-12-19 14:00

Hadoop-2.4.1学习之Map任务源码分析(下)

    在Map任务源码分析（上）中，对MAP阶段的代码进行了学习，这篇文章文章将学习Map任务的SORT阶段。如果Reducer的数量不为0，则还需要进行SORT阶段，但从上面的学习中并未发现与MAP阶段执行完毕调用mapPhase.complete()类似的在SORT阶段执行完毕调用sortPhase.complete()的源码，那SORT阶段是在什么时候启动的？对于Map任务来说，有输入就有
sky_walker85·2014-12-16 14:00

Hadoop-2.4.1学习之Map任务源码分析(上)

    众所周知，Mapper是MapReduce编程模式中最重要的环节之一（另一个当然是Reducer了）。在Hadoop-2.x版本中虽然不再有JobTracker和TaskTracker，但Mapper任务的功能却没有变化，本篇文章将结合源代码深入分析Mapper任务时如何执行的，包括处理InputSplit，mapper的输出、对输出分类等。在进行分析之前先明确几个概念：作业、任务、任务的
sky_walker85·2014-12-10 14:00

Hadoop-2.4.1学习之高可用ResourceManager

    在Hadoop-2.4之前，Yarn中的ResourceManager也是单点故障中的，就像Hadoop-1.x中的NameNode，由于Hadoop-2.X已经支持NameNode的HA（高可用性），那么自然也要在hadoop的某个版本中实现ResourceManager的HA，否则又会招致一些事后诸葛亮的诟病。本文将介绍RM的高可用性，并详细学习如何配置和使用该特性。就像NameNod
sky_walker85·2014-12-04 16:00

Hadoop-2.4.1学习之ResourceManager重启

    ResourceManager是管理资源和调度运行在YARN上的应用程序的中央机构，因此在一个YARN集群中ResourceManager可能是单点故障的，即只存在一个ResourceManager，这样在该节点出现故障时，就需要尽快重启ResourceManager，以尽可能地减少损失。本文将学习ResourceManager重启的特性，该特性使ResourceManager在重启时可以
sky_walker85·2014-11-27 14:00

Hadoop-2.4.1学习之容量调度器

    调度器在计算机世界中占有重要地位，从操作系统到大型应用系统都可见其身影，做为分布式应用系统的典范Hadoop以可插拔的方式提供了调度器的功能，这为实现自定义的调度器提供了接口。Hadoop内置了两种类型的调度器，分别为：CapacityScheduler.queues设置某个队列的子队列，如下所示： yarn.scheduler.capacity.root.queues a,b yar
sky_walker85·2014-11-21 17:00

Hadoop-2.4.1学习之Streaming编程

    在之前的文章曾提到Hadoop不仅支持用Java编写的job，也支持其它语言编写的作业，比如HadoopStreaming（shell、python）和HadoopPipes（c++），本篇文章将学习HadoopStreaming编程。Streaming是hadoop自带的工具，封装在hadoop-streaming-版本号.jar中，可以使用hadoopjarhadoop-streami
sky_walker85·2014-11-17 11:00

Hadoop-2.4.1学习之如何确定Mapper数量

在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.75)*节点数量*每个节点上最大的容器数，并可使用方法Job.setNu
sky_walker85·2014-11-11 16:00

Spark在Hadoop集群上的配置(spark-1.1.0-bin-hadoop2.4)

关键配置 修改conf/spark-env.sh文件： export JAVA_HOME=/usr/java/latest export HADOOP_CONF_DIR=/opt/hadoop-2.4.1
·2014-11-11 14:00

Hadoop 2.4.x集群安装配置问题总结

配置文件：/etc/profile export JAVA_HOME=/usr/java/latest export HADOOP_PREFIX=/opt/hadoop-2.4.1 export HADOOP_COMMON_LIB_NATIVE_DIR
·2014-11-09 11:00

Hadoop 2.x 安装常见问题FAQ（一） NodeManager 无法启动问题解决

一、问题描述 在搭建 Hadoop hadoop-2.4.1 集群的最后一步启动集群，在命令窗口并没有报任何错误，但是Slave 节点的 NodeManager进程始终启动不起来。
·2014-11-05 20:00

Hadoop-2.4.1学习之Mapper和Reducer

    MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如HadoopStreaming（shell、python）和HadoopPipes（c++）。Hadoop-2.X不再保留Ha
sky_walker85·2014-11-05 11:00

Hadoop-2.4.1学习之HDFS文件权限和ACL

    之前在论坛看到一个关于HDFS权限的问题，当时无法回答该问题。无法回答并不意味着对HDFS权限一无所知，而是不能准确完整的阐述HDFS权限，因此决定系统地学习HDFS文件权限。HDFS的文件和目录权限模型共享了POSIX（PortableOperatingSystemInterface，可移植操作系统接口）模型的很多部分，比如每个文件和目录与一个拥有者和组相关联，文件或者目录对于拥有者、组
sky_walker85·2014-11-02 14:00

Hadoop-2.4.1学习之edits和fsimage查看器

    在hadoop中edits和fsimage是两个至关重要的文件，其中edits负责保存自最新检查点后命名空间的变化，起着日志的作用，而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的，幸运的是hadoop为此准备了专门的工具用于查看文件的内容，这些工具分别为oev和oiv，可以使用hdfs调用执行。    oev是offlineeditsvie
sky_walker85·2014-10-31 10:00

Hadoop-2.4.1学习之HDFS快照

    HDFS快照是文件系统的只读的实时的拷贝，可以是文件系统的一部分或者整个文件系统。快照的一些通用场景是数据备份，对用户错误的保护和灾难恢复。HDFS的快照实现是高效的：快照的创建时瞬间完成的，排除查找inode的时间，需要花费O(1)，即常数时间。只有执行与快照相关的修改时才需要额外的内存，内存开销为O(M)，M为修改的文件或者目录的数量。DataNodes中的块不会被复制，快照文件只记录
sky_walker85·2014-10-23 14:00

Hadoop-2.4.1学习之ViewFs

    视图文件系统（ViewFileSystem，ViewFs）提供了管理多个Hadoop文件系统命名空间的方式，该系统在HDFS联盟的集群中有多个NameNode（因此有多个命名空间）是特别有用。ViewFs与某些Linux或Unix系统的客户端挂载表类似，可以被用于创建个性化的命名空间视图和整个集群共同的视图。本篇文章基于拥有几个集群，集群互相联合形成多个命名空间的Hadoop系统，也学习了
sky_walker85·2014-10-22 11:00

Hadoop-2.4.1学习之QJM HA的自动故障转移

    前面学习了使用命令hdfshaadmin-failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知
sky_walker85·2014-10-20 15:00

Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性（三）

    在学习了如何配置HA后，接下来是启动和管理HA。要启动HA集群，首先要在所有运行JournalNode的主机上启动JournalNodes守护进程，可以在每台主机上执行命令hdfsjournalnode启动journalnode守护进程。在journalnode守护进程启动完成之后，必须首先同步两个NameNode硬盘上的元数据，具体如下：如果正在搭建全新的HDFS集群，应该首先在其中一个
sky_walker85·2014-10-17 21:00

Linux x64 Hadoop-2.4.1配置-解决错误Unable to load native-hadoop library for your platform

网上配置hadoop的教程一堆，各不尽相同，但没有一个是完整系统的。下面给出遇到的错误的解决方法，相信能解决很多人的问题。错误：Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hdfs/server/namenode/NameNode检查不要使用jdk1.5，之前我相信了官方文档说的Jdk1.5，死活出
u011042188·2014-10-16 00:00

Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性（二）

    在了解了HA的特性和架构后，接下来学习如何配置管理HA，在学习与配置HA有关的参数之前，先明确部署HA所需要的主机数量。由HA的架构可知，存在两个NameNode主机，一个为现役NameNode主机，一个为待机NameNode主机，二者的硬件配置应该相同，同时还要有运行JournalNodes的主机。由于JournalNode守护进程是相对轻量级的，那么这些守护进程可与其它Hadoop守护
sky_walker85·2014-10-14 16:00

Hive安装配置

配置环境变量，vim/etc/profile修改配置文件$HIVE_HOME/conf，将所有配置文件名去掉.templatehive-env.sh，添加HADOOP_HOME=/opt/tools/hadoop
voyage1314·2014-10-13 17:00

Hadoop-2.4.1学习之配置管理HDFS联盟

    Hadoop-1.x版本中的HDFS架构在整个集群中只允许一个命名空间，由一个NameNode管理整个命名空间，Hadoop-2.x版本中的HDFS联盟通过支持多个NameNode和命名空间解决了之前架构的局限性。HDFS联盟的配置管理是向后兼容的，允许现存的单节点NameNode配置在不需要任何修改的情况下工作正常。新的配置管理允许集群中的所有节点使用相同的配置而不需要根据节点的不同类型
sky_walker85·2014-10-13 16:00

Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性（一）

    在Hadoop-2.x版本之前，HDFS集群中的NameNode是单点故障的，即整个集群中只存在一个NameNode，虽然存在SecondaryNameNode，但由于二者关于命名空间的数据有可能不一致，比如NameNode在两次检查点间隔之间出现问题，这势必会导致部分数据的丢失。如果NameNode所在的主机或者namenode进程不可用，整个集群直到NameNode重启或者转移到Sec
sky_walker85·2014-10-11 16:00

Hadoop-2.4.1学习之Hadoop命令

    在Hadoop-1.x版本中主要使用hadoop脚本执行各种命令，包括运行jar文件（jar），运行文件系统客户端（fs），运行HDFS管理客户端（dfsadmin）等，但Hadoop-2.x将hadoop脚本拆分为hadoop、hdfs、mapred几个脚本，并新增了yarn脚本用于执行与yarn有关的命令。在命令行直接执行上述脚本都会输出该脚本的使用方法，比如hadoop。其中--co
sky_walker85·2014-10-09 15:00

Hadoop-2.4.1学习之创建fsimage和edits源码分析

    在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfsnamenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。在NameNode的format方法中，有如下的代码：FSImagefsImage=newFSImage
sky_walker85·2014-09-24 15:00

hadoop2.4.1分布式安装结合hbase0.94.23

centos6.5x86虚拟机上安装完全分布式hadoop-2.4.1结合hbase-0.94.23一、环境准备：以下3台虚拟机:192.168.1.105  nn                namenode192.168.1.106
Onlyou_Linux·2014-09-18 22:22

hadoop2.4.1分布式安装结合hbase0.94.23

centos6.5x86虚拟机上安装完全分布式hadoop-2.4.1结合hbase-0.94.23一、环境准备：以下3台虚拟机:192.168.1.105nnnamenode192.168.1.106snsecondarynamenode
丶老龚·2014-09-18 22:22

Hadoop-2.4.1学习之NameNode -format源码分析

    在Hadoop-2.X中，使用hdfsnamenode–format对文件系统进行格式化。虽然无论是在生产环境还是测试环境中，已经使用了该命令若干次了，也大体了解该命令就是在本地文件系统中创建几个文件夹，但具体是如何执行的则需要通过阅读源代码来了解了。    要想看到该命令的源代码，需要看看hdfs脚本中是如何执行相应的java类的。在hdfs脚本中，下面的语句说明了实际执行的java类和
sky_walker85·2014-09-16 16:00

Hive-0.13.1的安装部署（内置元数据库）

环境说明：VirtualBoxCentOS-6.5三台（master一台），Hadoop-2.4.1，Hive-0.13.1。
悟空太多啦·2014-09-13 22:00

编译hadoop2.x的eclipse插件

注意：以下操作基于Hadoop-2.4.1，EclipseLuna，Win764位1、下载插件源码包https://github.com/winghc/hadoop2x-eclipse-plugin2、
悟空太多啦·2014-09-13 22:00

数学之路-分布式计算-hadoop、python与R(2)

下载hadoop:bash-4.2$wgethttp://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz同时有兴趣者也可同时下载
u010255642·2014-09-13 18:00

Hadoop-2.4.1学习之SecondaryNameNode、CheckpointNode、BackupNode

    在Hadoop-2.x版本之前只存在SecondaryNameNode，没有CheckpointNode、BackupNode的概念，在2.x版本中引入了后两者，增强了对NameNode的同步和备份。现在就学习一下2.x版本中的SecondaryNameNode、CheckpointNode、BackupNode，在开始之前先了解一下NameNode中的两个重要文件fsimage和edit
sky_walker85·2014-09-07 16:00

hadoop学习【11】——hadoop-2.4.1集群真实环境部署文档

【前言】由于运气不错在学校机房申请得到了几台PC机用于尝试部署真实环境下的hadoop集群，花了几个小时的时间终于大功告成，现在将安装部署的详细步骤记录如下，希望对大家有所帮助！一、机房环境描述：1.1、PC配置：4G内存i3-2130处理器主频：3.40GHz 硬盘：500GBPC共9台（两个用于namenode结点（HA：高可靠）配置的自动切换HA而不是手工切换）1.2、操作系统：centos
huangbin6·2014-08-31 12:00

Hadoop-2.4.1学习之配置管理Hadoop

    Hadoop-2.X较Hadoop-1.X有了很大的变化，比如YARN将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，配置文件及参数也有了很大变化，目录结构的调整等。另外在Hadoop-2.X版本中，通常专门指定一台主机为NameNode，另一台主机做为ResourceManager，这两台主机为masters，集群中剩余的主机既做为DataNode也做为N
sky_walker85·2014-08-26 16:00

Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException

新搭建了个集群，搭建完了，运行hadoopjar/opt/hadoop-2.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jarpi10100
chen517611641·2014-08-24 15:00

测试Hadoop的hdfs的问题？

在测试hadoop-2.4.1版本的hdfs时，总是报错：Unabletoloadnative-hadooplibraryforyourplatformHADOOP的本地库（NATIVELIBRARIES
LEON_SHI·2014-08-15 17:00

hadoop的dfs工具类一个【原创】

首先是一个配置，ztool.hadoop.properties hadoop.home.dir=G:/hadoop/hadoop-2.4.1 hadoop.user.name=hadoop
·2014-08-01 13:00

hadoop 2.4.1 集群安装一

Hadoop1.2.1集群安装一配置JDK环境参考Hadoop1.2.1集群安装二配置hadoopA：下载解压hadoophttp://mirrors.cnnic.cn/apache/hadoop/common/hadoop
wind520·2014-07-31 15:00

hadoop

一、安装说明系统环境：CentOS-6.4（OracleVMVirtualBox）Hadoop版本：hadoop-2.4.1以下都是采用root用户操作，建议另外创建一个用户和组，如：hadoop用户和
KingBoxing·2014-07-23 15:23
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他