Apache Zeppelin 中 HDFS文件系统 解释器

概述

Hadoop文件系统是hadoop项目的分布式，容错文件系统的一部分，通常用作Hadoop MapReduce和Apache Spark或Alluxio等底层文件系统等分布式处理引擎的存储。

 

配置

属性	默认	描述
hdfs.url	http://localhost:50070/webhdfs/v1/	WebHDFS的URL
hdfs.user	HDFS	WebHDFS用户
hdfs.maxlength	1000	获取的最大行结果行数

该解释器使用HTTP WebHDFS接口连接到HDFS。它支持应用于HDFS的基本shell文件命令，它目前只支持浏览。

• 您可以使用ls [PATH]和ls -l [PATH]列出目录。如果路径丢失，则列出当前目录。 ls支持用于人类可读文件大小的-h标志。
• 您可以使用cd [PATH]通过给出相对或绝对路径来更改当前目录。
• 您可以调用pwd来查看当前目录。

提示：使用（Ctrl +。）进行自动完成。

 

创建解释器

在笔记本中，要启用HDFS解释器，请单击齿轮图标并选择HDFS。

 

WebHDFS REST API 

您可以通过针对提供给解释器的WebHDFS终端运行curl命令来确认您是否可以访问WebHDFS API。

这是一个例子：

$> curl  "<a href="http://localhost:50070/webhdfs/v1/?op=LISTSTATUS" "="" style="text-decoration-line: none; border-radius: 0px; background: 0px center; border: 0px; bottom: auto; float: none; height: auto; left: auto; line-height: 20px; margin: 0px; outline: 0px; overflow: visible; padding: 0px; position: static; right: auto; top: auto; vertical-align: baseline; width: auto; box-sizing: content-box; min-height: inherit; color: rgb(42, 0, 255) !important;">http://localhost:50070/webhdfs/v1/?op=LISTSTATUS"