云计算实例——统计程序的实现

 

6.1 使用说明

    Hadoop字处理程序的主对话框，如图6-1所示：

图6-1 Hadoop Test主对话框

        主控制窗口主要包括四个大方面，以Tab标签的形式一致排开，包括输入输出目录设置，启动任务标签，查看云计算任务信息标签和控制台信息查看标签。点击对应的标签即可以进入到对应的界面中，进行相关的操作。

6.1.1 输入输出设置对话框

        输入设置主要是选择需要进行统计任务的本地文件或者文件夹，用户根据单选按钮的选择可以选择一个文件作为任务的输入也可以选择整个文件夹作为任务的输入。中间的Put按钮是为了将本地的文件复制拷贝到HDFS文件系统上面，只有HDFS上的文件才能够真正的作为云计算任务的输入。输出设置主要是选择一个文件夹作为最后结果文件的输出目录，同样Hadoop云计算最后生成的结果应该是在HDFS 文件系统上面，所以需要进行相关的处理才能够将结果输出到用户选择的本地目录下面。如图6-2所示。

图6-2输入输出主对话框

1.        输入设置

1)        选择文件作为输入

     单击file单选按钮，然后点击”…”输入文件按钮出现只能选择文件的文件选择器，用户只要找到需要输入的文件点击确认即可。

图6-3 选择输入文件

2)        选择文件夹作为输入

     不选中file单选按钮，然后点击”…”输入文件按钮出现只能选择文件夹的选择器，用户选择需要输入的文件夹，点击确定即可。

图6-4 选择输入的文件夹

2.        复制文件到HDFS系统上面

     用户已经选择好输入的文件或文件夹，且Input path中已经显示输入的路径名称。点击Put按钮，程序执行将本地的的文件拷贝复制到HDFS文件系统上，以备云计算任务的使用，出现图6-5所示的消息对话框说明复制文件成功。

图6-5 复制文件

3.        输出设置

     只有在用户的输入文件成功的复制到HDFS文件系统上面，用户才能够选择相应的输出路径。用户点击”…”输出路径的选择，选择相应的目录作为最终结果的输出。如图6-6所示。

图6-6 输出路径设置

       点击”submit”提交按钮，程序将用户的输出路径设置到程序中。并在用户输出目录中随机生成一个与时间有关的文件夹存放任务最终生成的结果,如图6-7所示。

图6-7 提交设置

6.1.2 任务启动对话框

       通过一个run job按钮启动云计算任务，当然整个界面上面还有其他的相关的选项。用户可以选择统计任务的时候是否对大小写敏感，是否启动本地的统计任务（非云计算的方法）。界面提供用户可观的进度条，使得用户可以随时了解任务运行到什么程度了，同时将云计算所消耗的时间和本地非云计算所消耗的时间显示出来，方便用户比较。通过按钮view result，用户可以查看任务最终运行生成的结果。整个标签对话框如图6-8所示。

图6-8 启动主对话框

       点击run job按钮启动云任务和本地的运行任务(该任务是否启动视用户选择而定)。如下图6-9所示。

图6-9 任务运行

6.1.3 任务信息浏览对话框

       查看云计算任务信息标签，该模块主要包括：查询Datanode信息，查询Namenode信息及其扩展信息，查询Jobtracker信息及其扩展信息和查询Jobinfo信息及其扩展信息,如图6-10所示。

图6-10 查看信息

1.        查询Datanode信息

     点击view datanode按钮，出现查询得到的当前启动的datanode节点的所有的信息，包括datanode上文件系统的大小，使用的空间，还剩余的空间等等，如图6-11所示。

图6-11 查看Datanode信息

2.        查询Namenode信息

     点击view namenode按钮，出现查询信息界面（如图6-12所示），用户可以通过该界面查看Namenode上HDFS文件系统所剩的空间，已使用的空间等信息。

图6-12 查询Namenode信息

       点击View namenode info行最后面的”more…”按钮，出现Web界面显示更为详细的Namenode的信息，如图6-13所示。

图6-13 查询Namenode更多信息

3.        查询JobTracker信息

     点击view jobtracker按钮，出现查询信息界面（如图6-14所示），用户可以通过该界面查看该Hadoop系统上面的所运行的Job(包括已完成的Job和正在进行的Job)，作业的ID,用户,运行所花费的时间等信息。

图6-14 查询JobTracker信息

       点击View jobtracker info最后面的”more…”按钮，用户可以在网页上面查看更多更详细的jobtracker的信息，如图6-15所示。

图6-15 查询JobTracker更多信息

4.        查询Jobinfo信息

      点击view jobinfo按钮，出现作业信息界面（如图6-16所示），用户可以通过该界面查看刚刚所运行的Job的信息，作业文件所存放的地址,作业状态,作业中所得到的计数器的值等信息。

图6-16 查询Job信息

      点击View job info最后面的”more…”按钮，用户可以在网页上面查看更多更详细的Job信息，如图6-17所示。

图6-17 查询Job更多信息

6.1.4 结果信息浏览对话框

         点击view result后，用户可以查看云计算和本地计算统计的结果。前提是用户启动了本地计算的线程，若用户未启动本地计算，则只显示云计算得到的结果。从结果中可以看出两者统计计算得到的结果是完全一致的，说明MapReduce程序还是能够准确统计出结果的，如图6-18所示。

图6-18 查询结果信息

6.1.5 控制台信息查询对话框

       用户点击console info标签，用户可以查看到运行任务过程中出现的异常的具体信息，以方便用户查看出错的具体原因，如下图 6-19所示。

图 6-19 控制台信息