大数据——熟悉常用的HDFS操作（命令行和JAVA实现）

1. 实验目的
   1. 理解 HDFS 在 Hadoop 体系结构中的角色；
   2. 熟练使用 HDFS 操作常用的 Shell 命令；
   3. 熟悉 HDFS 操作常用的 Java API。
2. 实验平台

操作系统：Linux

Hadoop 版本：2.6.0 或以上版本JDK 版本：1.6 或以上版本Java IDE：Eclipse

1. 实验内容和要求

1. 编程实现以下指定功能，并利用 Hadoop 提供的 Shell 命令完成相同任务：
   1. 向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；

Shell命令行实现：

创建带有文本内容的文件：

创建指定的空文本文件：

用-test检测文件是否存在，1表示不存在：

上传文件：

再次检测文件是否存在：

此时回应是0，证明已经存在了。

用appendFile将text1.txt添加到text2.txt末尾：

用CopyFromLocal进行文件的覆盖：

加了-f表示强制覆盖。

Java实现：

Hadoop对于写操作提供了一个类：FSDataOutputStream，这个类重载了很多write方法，用于写入很多类型的数据：比如字节数组，long，int，char等等。像FSDataInputStream一样，要获得FSDataOutputStream的实例，必须通过FileSystem该类来和HDFS建立连接，然后通过路径返回FSDataOutputStream实例。FileSystem返回FSDataOutputStream实例的方法有两组：
1、create(Path p)函数，创建一个空文件，然后可以向该文件顺序写入
2、append(Path p)函数，打开一个已有文件，并最做文件末尾追加数据
以上两组函数都有多个重载版本，可以查阅手册。FSDataOutputStream不允许在文件中定位（而FSDataInputStream可以），这是因为hadoop只允许在一个已打开文件顺序写入或在文件尾追加数据，不允许在结尾之外其他文件写入数据。

测试文件是否存在：

文件覆盖：

追加文件：

主函数：

运行结果：

（2）从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；

JAVA实现：

主函数：

运行结果：

（3）将 HDFS 中指定文件的内容输出到终端中；

         用-cat命令读取文件并显示在终端。

JAVA实现：

读取文件内容函数实现：

    

主函数：

   

     运行结果：

（4）显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息；

JAVA实现：

FileStatus的属性和提供的方法：

代码：

运行结果：

 

（5）给定 HDFS 中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信 息；

用-R递归输出了指定目录user下所有文件的相关信息。

JAVA实现：

主函数：

运行结果：

（6）提供一个 HDFS 内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录

JAVA实现：

判断路径是否存在：

创建目录：

创建文件：

主函数：

运行结果：

当文件不存在时，创建目录和文件：

（7）提供一个 HDFS 的目录的路径，对该目录进行创建和删除操作。创建目录时， 如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定 当该目录不为空时是否还删除该目录；

rmdir只能删除空目录，不能删除非空目录。

JAVA实现，代码见（6）,

实现与创建或删除文件相同，当目录不存在时创建文件夹，运行结果如图所示：

（8）向 HDFS 中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾；

appendToFile是添加在末尾，后面是添加在头；

JAVA实现：

判断路径是否存在：

追加文本内容：

追加文件内容：

移动文件到本地 移动后，删除源文件：

创建文件：

主函数：

运行结果：

追加到末尾：

添加在头：

 

（9）删除 HDFS 中指定的文件；

证明已经删除

JAVA代码：

运行结果：

 

（10）删除 HDFS 中指定的目录，由用户指定目录中如果存在文件时是否删除目录；

运行结果如图所示：

 

（11）在 HDFS 中，将文件从源路径移动到目的路径。

用-mv命令进行文件移动：

 

JAVA实现：

主函数：

运行结果：

2.编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInput Stream”，要求如下：实现按行读取 HDFS 中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。

代码：

运行结果：

 

3.查看 Java 帮助手册或其它资料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStre amHandlerFactory”编程完成输出 HDFS 中指定文件的文本到终端中。

代码：

运行结果：