MapR命令行入门(第一部分)

Apache Hadoop社区为我们提供了很多工具,使我们可以与Hadoop分布式文件系统进行交互。 通过向我们展示一个简单易懂的界面,这些工具消除了无数机器在后台的复杂性。

hadoop fs是Hadoop入门的一个很好的工具。 hadoop fs工具集运行一个通用的文件系统用户客户端,该客户端与分布式文件系统进行交互,类似于我们与Unix文件系统进行交互的方式(但是使用的命令集非常有限)。 可以列出,更改权限,移动,复制以及对分布式文件系统中的文件和目录执行其他操作。 hadoop fs命令的完整列表可在hadoop.apache.org中找到

但是,由于HDFS是只读文件系统,并且hadoop fs工具集是为HDFS制作的,因此无法找到任何用于编辑文件的工具,例如vim或nano。 为了在Linux上编辑文件,MapR提供了对MapR文件系统的 NFS访问,因此所有Unix命令都可以在Hadoop 1上使用 。 如果您想了解MapR读/写文件系统和HDFS只读文件系统之间的重要性和区别,请阅读此博客文章。

1另一个伟大的博客文章,解释MAPR NFS

MapRCLI简介

除了所有Hadoop Shell命令之外,MapR还提供了一个完全互补的工具集,该工具集建立在Hadoop之上,可为您提供更多功能并深入了解MapR文件系统。 这些工具对于操作Hadoop集群的管理员以及尝试调试Hadoop应用程序的开发人员非常有用。 在此博客文章(MapR命令行界面简介)中,我将介绍maprcli节点列表命令,并讨论如何使用它来了解有关集群的更多信息。 在以后的博客文章中,我将介绍如何使用maprcli与MapR卷和存储池,MapR访问控制列表等一起使用!

MapR CLI节点列表

在现有群集中要做的第一件事是查看正在使用的节点数,找出群集中正在运行的服务以及找出这些服务的位置。 maprcli允许您查看此信息以及与集群中所有节点有关的很多信息。 通过运行以下命令自己尝试一下:

$ maprcli node list

输出结果如下所示:

MapR命令行入门(第一部分)_第1张图片

实际上,如果您尝试了该命令,您将发现输出的信息量太多了。 另一种方法是通过简单地运行以JSON格式返回数据:

$ maprcli node list -json

输出结果如下所示:

MapR命令行入门(第一部分)_第2张图片

看起来好多了,但是除非您尝试进行全面审核,否则仍然会有太多信息,并且很难找到您想要的任何特定内容。 为了磨练特定信息,您可以传递“ -columns”参数并为所需数据指定键(列名称)。 默认情况下,将返回节点的主机名和IP,但是如果您想查看集群中的服务是什么,请尝试以下操作:

$ maprcli node list -columns service

MapRCommandLine-Part1-Blog-Img3

这非常有用,因为我们现在知道集群中正在使用的工具。 该命令准确地告诉我们正在运行多少个节点,每个节点中正在运行的服务,以及与每个节点关联的主机名和IP。 其余信息呢? 您如何利用甚至不知道存在的其余可能信息? 为此,只需运行以下命令,列出此命令可为每个节点输出的所有信息的列名:

for f in `maprcli node list | head -1`; do echo $f; done | sort

既然您知道每个服务在哪里,就可以使用带有不同参数的相同工具来管理每个服务。 您可能想要停止/启动服务的原因之一是可以启动新的配置更改。例如,如果您运行的Spark作业需要比默认分配的内存更多的内存,则可能需要更改“ yarn.scheduler”。 yarn-site.xml中的“ maximum-allocation-mb”属性。 为了使YARN知道新的配置,必须按以下方式重新启动资源管理器:

maprcli node services -name resourcemanager -action stop -nodes 

验证服务不再运行:

maprcli node list -columns service

并再次启动资源管理器:

maprcli node services -name resourcemanager -action start -nodes 

同样,您可以简单地将初始的“停止”替换为“重新启动”。

玩这个工具。 您可以向此命令提供许多其他选项和参数,以获取许多您不知道可以得到的新信息。

在下一篇博客文章中,我们将介绍如何创建MapR卷,如何设置特定于卷的特性(例如复制因子,配额和权限)以及如何轻松地将它们用于HA和灾难恢复。

如果您对使用MapR命令行有任何疑问,请在下面的评论部分中提问。

翻译自: https://www.javacodegeeks.com/2015/11/getting-started-with-the-mapr-command-line-part-i.html

你可能感兴趣的:(大数据,python,linux,java,hadoop)