配置HADOOP_HOME以及部分功能

配置HADOOP_HOME

 

配置完成后可以直接通过hadoop中的命令执行以下操作

 

hdfs开启namenode、datanode

格式化文件系统：

 $ bin/hdfs namenode -format 

启动服务：

 $ sbin/hadoop-daemon.sh start namenode

$ sbin/hadoop-daemon.sh start datanode

上传文件测试：

在HDFS系统中创建目录存放上传文件 ：

$ bin/hdfs dfs -mkdir /input 

存储文件：

$ bin/hdfs dfs -put wc.txt /input 

查看文件：

 $ bin/hdfs dfs -cat /output/wc.txt 

删除hdfs中的文件或者文件夹

hadoop fs -rm -r /aaa

查看hdfs中的文件或文件夹

hadoop fs -tail -f test.txt

(创建输入流

/bin/hadoop fs -mkdir /input 

文件放入到input

./bin/hadoop fs -put test.txt /input

文件输出

./bin/hadoop fs -cat /output/*)

web控制台浏览器： http://hadoop01:50070/ 

http://192.168.2.131:50070/

yarn开启resourcemanager、nodemanager

$ sbin/yarn-daemon.sh start resourcemanager 

$ sbin/yarn-daemon.sh start nodemanager

 

启动yarn $ sbin/yarn-daemon.sh start resourcemanager 

$ sbin/yarn-daemon.sh start nodemanager 

web控制台 http://192.168.1.131:8088/cluster

 

日志文件：

启动historyserver服务

 $ sbin/mr-jobhistory-daemon.sh start historyserver

重新执行wordcount，查看日志，需要重新指定输出目录 

$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/ /output2

 

---报错---- WARN security.UserGroupInformation: PriviledgedActionException as:johnny (auth:SIMPLE) cause:org.apache.hadoop.mapred. FileAlreadyExistsException: Output directory hdfs://bigdata01:8020/out01 already exists org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://bigdata01:8020/out01 already exists ---解决：因为hdfs上面存在着相同的目录，输出目录每次要不相同(不存在)