hadoop初始化和测试

只修改hadoop的5个配置文件并不能启动hadoop

还要把hadoop的环境变量配置一下

gedit  /etc/profile

在最后面添加

export HADOOP_HOME=/master/hadoop-2.5.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

然后source /etc/profile刷新配置

初始化HDFS（格式化HDFS）

格式化文件系统 ：hdfs namenode -format

出现successfully formated说明格式化成功

然后启动HDFS和YARN

然后调用

./start-all.sh

之后出现如下：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh。。。这句话的意思是该语句已经过时了，，，用后面的语句启动

但是有个问题，需要输入好多次密码、

通过浏览器的方式验证

http://192.168.8.88:50070   (hdfs管理界面)

http://192.168.8.88:8088  （yarn管理界面）

测试HDFS

上传文件到HDFS

hadoop fs -put /root/jdk-7u60-linux-x64.tar hdfs://master:9000/jdk

从HDFS下载文件到home下的jdk1.7

hadoop fs -get hdfs://master:9000/jdk /home/jdk1.7

查看上传到hdfs的文件，最后的/不能省了。。。。

hadoop fs -ls hdfs://master:9000/

测试MR和YARN

首先linux本身提供一个命令wc。。用来统计出现的单词，举例如下

words.txt文件内容如下

hello tom
hello jerry
hello kitty
hello world
hello tom

命令行输入w words.txt出现如下结果

 5 10 56 words.txt

意思分别是5行，10个单词，56个字母

--------------------------------------------------------------------

下面是利用hadoop的MR自带的wordcount计算

在/master/hadoop-2.5.2/share/hadoop/mapreduce这个目录下输入命令

hadoop jar hadoop-mapreduce-examples-2.5.2.jar wordcount hdfs://master:9000/words.txt hdfs://master:9000/wcout
hadoop jar hadoop-mapreduce-examples-2.5.2.jar wordcount。。。。。这个是调用hadoop下的jar包命令

然后要跟一个输入in和一个输出out

输入in放的就是要计算的那个文件。。。输出out到wcout文件。。。然后运行即可