大数据Hadoop基础入门

hadoop快速入门,基本上按照里面步骤能快速入门hadoop,但这篇文档是针对hadoop 0.18写的,有些地方还是和hadoop 0.20不同。在文档“伪分布式模式的操作方法”中有下面配置说明:

  1. 配置  
  2. 使用如下的 conf/hadoop-site.xml:  
  3.   
  4.   
  5.     
  6.     fs.default.name  
  7.     localhost:9000  
  8.     
  9.     
  10.     mapred.job.tracker  
  11.     localhost:9001  
  12.     
  13.     
  14.     dfs.replication  
  15.     1  
  16.     
  17.   

在这里,你会发现在hadoop 0.20中并不存在conf/hadoop-site.xml文件,所以,如果你使用高版本的hadoop就要修改为下面的配置:

  1. 配置  
  2. 使用如下的 conf/core-site.xml:  
  3.   
  4.   
  5.     
  6.     fs.default.name  
  7.     hdfs://localhost:9000  
  8.     
  9.   
  1. 配置  
  2. 使用如下的 conf/hdfs-site.xml:  
  3.   
  4.   
  5.     
  6.     dfs.replication  
  7.     1  
  8.     
  9.   
  1. 配置  
  2. 使用如下的 conf/mapred-site.xml:  
  3.   
  4.   
  5.     
  6.     mapred.job.tracker  
  7.     localhost:9001  
  8.     
  9.   

只要在这里注意一下,再按照“hadoop快速入门”文档就能对hadoop快速入们了。

初学错误:

伪分布式模式下执行 bin/hadoop fs -put conf input命令,提示put: Target input/conf is a directory,是什么原因?

对策:你把conf文件夹都复制过去了,这是不对的。应该只复制conf下的.xml文件。

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

你可能感兴趣的:(2019年5月,2019年3月)