YARN 作业管理

启动 TDH Client

// 进入 TDH-Client 目录下

1. cd /transwarp/Desktop/TDH-Client
   // 执行 TDH Client 的 init.sh 脚本，此操作只对当前 Session 有效
2. source ./init.sh

上传作业输入文件

//将本地文件 wordcount.txt 上传至 HDFS 作业输入目录中。

// 在本地创建 wordcount.txt 文件，并完成数据写入

1. echo -e "Deer Bear River\nCar Car River\nDeer Car Bear" > wordcount.txt
   // 在 HDFS 中创建作业输入目录
2. hadoop fs -mkdir -p /training/hanwenhao/yarn_data/wordcount_input
   // 将 wordcount.txt 上传到作业输入目录
3. hadoop fs -put wordcount.txt /training/hanwenhao/yarn_data/wordcount_input/

执行作业

//将 Hadoop Mapreduce 样例程序 hadoop-mapreduce-examples-2.7.2-transwarp-6.0.2.jar 的 WordCount 作业提交
给 YARN，并执行得出结果。

// 切换目录

1. cd /transwarp/Desktop/TDH-Client/hadoop/hadoop-mapreduce
   /* 向 YARN 提交并执行作业。
2. hadoop jar hadoop-mapreduce-examples-2.7.2-transwarp-6.2.0.jar wordcount /training/hanwenhao/yarn_data/wordcount_input /training/hanwenhao/yarn_data/wordcount_output

查看作业输出结果

//查看 WordCount 作业的输出结果，先看输出目录是否创建，再看生成的输出文件是否完成了词频统计。

// 查看输出目录是否创建

1. hadoop fs -ls /training/hanwenhao/yarn_data/wordcount_output
   // 查看输出文件内容
2. hadoop fs -cat /training/hanwenhao/yarn_data/wordcount_output/{wordcount_output_filename}

管理作业

//进入 Yarn 的图形监控界面，查看之前运行的任务情况。
进入 Transwarp Manager 查看 Yarn 集群情况
找到 Yarn 的主节点，进入 Web 管理界面