Hadoop-2.4.1

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

出现上述问题可能是格式化两次hadoop，导致没有datanode解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh重启一下hadoop解决办法2：找到hadoop安装目录下hadoop
有一束阳光叫温暖·2024-01-31 23:56

hadoop namenode -format初始化时报错

报错如下/home/hadoop/app/hadoop-2.4.1/bin/hdfs:/home/hadoop/app/jdk1.7.0_65/bin/java:/lib/ld-linux.so.2:badELFinterpreter
荆皎·2023-10-14 18:31

hadoop启动报错JAVA_HOME is incorrectly set

错误信息：Error:JAVA_HOMEisincorrectlyset.PleaseupdateD:\work\hadoop-2.4.1\conf\hadoop-env.cmd'-Xmx512m'不是内部或外部命令
_荣耀之路_·2023-07-18 14:49

Hadoop-2.4.1源码分析--HDFS HeartBeat(心跳检测)整体结构

HDFS全称是HadoopDistributeFileSystem，即Hadoop分布式文件系统，有主从节点之分。在HDFS中，主节点是名字节点NameNode，它负责存储整个HDFS中文件元数据信息，保存了名字节点第一关系和名字节点第二关系。名字节点第一关系是文件与数据块的对应关系，在HDFS正常运行期间，保存在NameNode内存和FSImage文件中，并且在NameNode启动时就由FSIm
Jerry_Fu24·2023-04-02 19:53

大数据综合笔记

mapreduce分析参考文章Hadoop-2.4.1源码分析--MapReduce作业(job)提交源码跟踪Hadoop-2.4.1源码分析--MapReduce作业切片(Split)过程hadoop
等酒香醇V·2023-03-21 19:53

Hadoop-2.4.1源码分析--FileSystem的创建过程

HDFS，即HadoopDistributedFileSystem，为Hadoop的分布式文件系统。其实除了HDFS外，hadoop还支持其它类型的文件系统，比如FTP、本地文件系统等，而这些文件系统都扩展自抽象基础类FileSystem，该抽象类类提供了丰富的方法用于对文件系统进行操作，比如创建目录、删除文件、重命名等。无论使用的是HDFS还是本地文件系统，或者其它所支持的文件系统，推荐在应用程
Jerry_Fu24·2020-09-13 23:10

Hadoop-2.4.1学习之FileSystem及实战

一提到hadoop文件系统，通常想到的就是HDFS，即HadoopDistributedFileSystem，但除了HDFS外，hadoop还支持其它类型的文件系统，比如AmazonS3、Swift文件系统等，而这些文件系统都扩展自抽象基础类FileSystem，该类提供了丰富的方法用于对文件系统进行操作，比如创建目录、删除文件、重命名等。无论使用的是HDFS还是Swift文件系统，或者其它所支持
skyWalker_ONLY·2020-09-13 22:42

Hadoop-2.4.1源码分析--MapReduce作业切片(Split)过程

在上一篇文章《Hadoop-2.4.1源码分析--MapReduce作业(job)提交源码跟踪》中，我介绍了Job的提交过程源码，介绍的最后一个方法是submitJobInternal(Jobjob,Clustercluster
Jerry_Fu24·2020-09-12 07:33

Hadoop-2.4.1学习之QJM HA的自动故障转移

前面学习了使用命令hdfshaadmin-failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这
skyWalker_ONLY·2020-08-22 22:35

hadoop 2.4.1 安装全过程

1：首先下载hadoop安装介质地址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/2：安装虚拟机，配置好网络网络配置，参见我的博文
pianzif·2020-08-14 05:45

hadoop学习【11】——hadoop-2.4.1集群真实环境部署文档

【前言】由于运气不错在学校机房申请得到了几台PC机用于尝试部署真实环境下的hadoop集群，花了几个小时的时间终于大功告成，现在将安装部署的详细步骤记录如下，希望对大家有所帮助！一、机房环境描述：1.1、PC配置：4G内存i3-2130处理器主频：3.40GHz硬盘：500GBPC共9台（两个用于namenode结点（HA：高可靠）配置的自动切换HA而不是手工切换）1.2、操作系统：centos6
jonsen_hb·2020-08-14 05:29

Hadoop-2.4.1学习之InputFormat及源代码分析

向Hadoop集群提交作业时，需要指定作业输入的格式（未指定时默认的输入格式为TextInputFormat）。在Hadoop中使用InputFormat类或InputFormat接口描述MapReduce作业输入的规范或者格式，之所以说InputFormat类或InputFormat接口是因为在旧的API（hadoop-0.x）中InputFormat被定义为接口，而在新的API（hadoop-
skyWalker_ONLY·2020-07-14 22:39

Hadoop各个配置文件的作用

不能用localhostfs.defaultFShdfs://localhost:9000io.file.buffer.size131072hadoop.tmp.dirfile:/usr/local/hadoop
lockie_zou·2020-07-14 00:14

hadoop配置文件详解

/hadoop-2.4.1然后配环境变量，前提是jdk1.7已经安装好了。环境变量配置：exportJAV
笨伯我不笨·2020-07-12 22:21

7台机器的hadoop2.4.1高可用（HA）集群搭建

最新的hadoop-2.4.1又增加了YARNHA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop
wzcwmhp·2020-07-10 12:06

hadoop HA 模式集群配置文件

hadoo-env.shexportJAVA_HOME=/usr/app/jdk-7u_65-i585修改core-site.xmlfs.defaultFShdfs://ns1/hadoop.tmp.dir/usr/app/hadoop
灰尘666·2020-07-09 22:49

Hadoop高可用集群搭建（HA）

最新的hadoop-2.4.1又增加了YARNHA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，建议第一次安装用32位的系统,
只喝酸奶的周先森·2020-07-09 08:39

集群搭建

最新的hadoop-2.4.1又增加了YARNHA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop
发条香蕉·2020-07-08 22:39

Linux下配置Hadoop全分布式环境

hadoop-2.4.1又增加
weixin_33736649·2020-07-05 22:02

HADOOP之3节点集群

1.apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译
weixin_33676492·2020-07-05 22:25

(新手)解决Hadoop安装完毕后的启动报错 ssh: Could not resolve hostname Java: Name or service not known

环境：CentOS6.5(64bit)JDK1.7.0_79(64bit)Hadoop-2.4.1问题描述：安装时无异常，cd到sbin目录下启动start-dfs.sh时控制台报错，如ssh:CouldnotresolvehostnameJava
trackal·2020-07-05 15:51

Hadoop-2.4.1学习之SecondaryNameNode、CheckpointNode、BackupNode

在Hadoop-2.x版本之前只存在SecondaryNameNode，没有CheckpointNode、BackupNode的概念，在2.x版本中引入了后两者，增强了对NameNode的同步和备份。现在就学习一下2.x版本中的SecondaryNameNode、CheckpointNode、BackupNode，在开始之前先了解一下NameNode中的两个重要文件fsimage和edits以及N
skyWalker_ONLY·2020-07-05 12:15

在window下配置hadoop环境

配置hadoop跟配置jdk类似首先配置HADOOP_HOMEE:\hadoop-2.4.1(按照自己下载解压位置配置)再在path路径下后面添加%HADOOP_HOME%\bin;可能这就结束了，但是一般在终端输入
wangdong2017·2020-07-04 02:25

Hadoop-2.4.1源码分析--HDFS读取文件

在上一篇文章《Hadoop-2.4.1源码分析--FileSystem的创建过程》中(阅读地址--------------http://blog.csdn.net/u010010428/article/
Jerry_Fu24·2020-07-01 04:33

Hadoop-2.4.1学习之HDFS文件权限和ACL

之前在论坛看到一个关于HDFS权限的问题，当时无法回答该问题。无法回答并不意味着对HDFS权限一无所知，而是不能准确完整的阐述HDFS权限，因此决定系统地学习HDFS文件权限。HDFS的文件和目录权限模型共享了POSIX（PortableOperatingSystemInterface，可移植操作系统接口）模型的很多部分，比如每个文件和目录与一个拥有者和组相关联，文件或者目录对于拥有者、组内的其它
skyWalker_ONLY·2020-06-26 12:45

hadoop 运行 jar出错：java.lang.ClassNotFoundException: Class Mapper not found

bigdata00~]$hadoopjarwc.jarWCRunnerJavaHotSpot(TM)64-BitServerVMwarning:Youhaveloadedlibrary/home/yx/app/hadoop
Young Panda·2020-06-25 04:40

Hadoop配置基础

重启后生效三、第一步上传文件到/usr/loca目录第二步解压到/simple目录下tar-zxvf/usr/local/hadoop-2.4.1.tar.gz-C/simple第三步vi/simple/hadoop
爱吃韭菜·2020-04-14 17:00

hadoop(2)--伪分布式集群安装

安装包上传到服务器上，我采用的是2.4.1，是一个比较老的版本，能说明问题就可以啦，解压：tar-zxvfhadoop-2.4.1.tar.gz-Capp/将安装包解压到app目录下现在进入app中的hadoop
ROCK_杰哥·2020-02-08 07:14

hadoop wordcout测试

1006jps1007cd~切换到用户默认目录创建数据文件data.txt,输送值hellobeijinghelloChina1028vidata.txt切到hadoop-2.4.11032cd/usr/local/bin/hadoop
拓子·2019-01-13 00:00

MapReduce读文件

参考MapReduce怎样读取本地目录的文件MapReduce怎样读取本地目录的文件Hadoop-2.4.1学习之FileSystem及实战FileSystemDistributedCacheHadoopDistributedCache
羽溪夜·2018-08-09 16:30

hadoop 安装 dfs 时发生 找不到本地库解决方式

环境并且配置好相关vml文件后运行start-dfs.sh出现下面报错JavaHotSpot(TM)64-BitServerVMwarning:Youhaveloadedlibrary/home/hadoop/hadoop
RudyCC·2018-01-29 11:19

HADOOP之3节点集群

原文链接：https://yq.aliyun.com/articles/5156421.apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop一些C++的本地库，所以如果在
weixin_34174322·2017-11-12 14:00

hadoop2.x完全分布式环境搭建 | 适用于hadoop完全分布式集群环境搭建

最新的hadoop-2.4.1又增加了YARNHA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C
gamedevv·2017-11-05 13:55

java从hdfs中下载文件到本地

http://www.cnblogs.com/thinkpad/p/5173705.html接下来新建java项目引入HDFS所需要的包，这里的jar包可以从hadoop安装包里拿解压haddoopgz进入hadoop
Vitmin·2017-08-15 14:16

Mapreduce实例---统计单词个数（wordcount）

数据流程：二：需要的jar包Hadoop-2.4.1\share\hadoop\hdfs\hadoop-hdfs-2.4.1.jarhadoop-2.4.1\share\hadoop\hdfs\lib\
椰子Tyshawn·2017-05-03 20:32

大数据生态圈单节点环境搭建（hadoop、hbase、spark等）

准备工作linux机器一台hadoop-2.4.1文件hbase-1.0.0文件jdk-8u45-linux-i586.rpm文件spark-1.3.1文件将所有文件都传到linux
iteye_4668·2017-04-06 23:33

大数据生态圈单节点环境搭建（hadoop、hbase、spark等）

准备工作linux机器一台hadoop-2.4.1文件hbase-1.0.0文件jdk-8u45-linux-i586.rpm文件spark-1.3.1文件将所有文件都传到l
三年计划·2017-04-06 23:00

hadoop-更换ip

1、更改网卡的ip地址2、更改/etc/hosts中的master对应的ip（这个一定要写对啊）3、hadoopnamenode-format之前的准备阶段（删除一些文件重要）还要删除这个文件夹hadoop
李孟lm·2017-03-18 14:12

hadoop伪分布式的搭建

在安装hadoop之前确保已经安装好jdk，hadoop安装包路径Hadoop家族，此文章以hadoop-2.4.1为例，完成伪分布式集群的搭建1、上传hadoop-2.4.1到Linux上，并解压[hadoop01
叫我致远·2017-01-19 14:38

hadoop 高可用集群配置

最新的hadoop-2.4.1又增加了YARNHA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop
baoliangquan·2016-12-12 19:00

Hadoop之——随笔(基于Hadoop-2.4.1)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51316923*****副本存放策略：1、先在客户端所连接的datanode上存放一个副本2、再在另一个机架上选择一个datanode存放第二个副本3、最后在本机架上根据负载情况随机挑选一个datanode存放第三个副本****副本数量的配置优先级1、服务端hdfs-site.xml
l1028386804·2016-05-04 17:00

hadoop2.4.1伪分布配置

core-site.xmlfs.defaultFShdfs://master:9000hadoop.tmp.dir/home/hadoop/app/hadoop-2.4.1/tmpio.file.buffer.size
china_demon·2016-04-11 01:00

hadoop2.6.集群搭建

最新的hadoop-2.4.1又增加了YARNHA免密码登陆和时间同步关闭seliux配置hosts 注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些
bbaiggey·2016-03-14 18:00

Windows下的 Eclipse上调试Hadoop代码

1、配置好环境变量   Hadoop_homeF:\software\hadoop-2.4.1   PATH%PATH%;F:\software\hadoop-2.4.1\bin2、添加winutils.exewinutils.pdb
yangzongzhuan·2016-03-10 11:00

Linux中Hadoop的安装和配置方法

/appcd/home/hadoop/apptar-zxvf/software/hadoop-2.4.1.tar.gz3、切换创建etc/hadoop修改配置文件cd/home/hadoop/app/hadoop
yangzongzhuan·2016-03-07 14:00

Hadoop - 更换节点ip 地址之后（虚拟机中的伪分布模式,学习format）

1、更改网卡的ip地址2、更改/etc/hosts中的master对应的ip（这个一定要写对啊）3、hadoopnamenode-format之前的准备阶段（删除一些文件）还要删除这个文件夹hadoop
PeersLee·2016-03-05 21:37

Hadoop - 更换节点ip 地址之后（虚拟机中的伪分布模式,学习format）

1、更改网卡的ip地址2、更改/etc/hosts中的master对应的ip（这个一定要写对啊）3、hadoopnamenode-format之前的准备阶段（删除一些文件）还要删除这个文件夹 hadoop
PeersLee·2016-03-05 21:00

Hadoop-2.4.1集群搭建步骤

首先说明，博主以前也没学过Hadoop，更别提Linux。只不过买了点资料，觉得不看也是浪费，索性找了时间学习了一下，别说，还真是吸引人。言归正传，博主机器：笔记本Y50-70美版的搭建环境：VM11（VMwareWorkstation11），使用的是CenOS6.564位所需软件：SecureCRT1.先在VM上安装Linux虚1.1打开文件----新建虚拟机-----自定义（高级）-----按
豆芽炒粉丝·2016-03-02 07:01

Hadoop-2.4.1集群搭建步骤

首先说明，博主以前也没学过Hadoop，更别提Linux。只不过买了点资料，觉得不看也是浪费，索性找了时间学习了一下，别说，还真是吸引人。言归正传，博主机器：笔记本Y50-70美版的搭建环境：VM11（VMwareWorkstation11），使用的是CenOS6.564位所需软件：SecureCRT1.先在VM上安装Linux虚1.1打开文件----新建虚拟机-----自定义（高级）-----按
dingchenxixi·2016-03-02 07:00

hadoop之rpc

[root@localhost hadoop-2.4.1]#servicenetworkrestart启动网卡windos端的UserLoginControllerpackagecn.itcast.bigdata.hadoop.rpc
泡海椒·2015-12-05 19:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他