大数据上机基础—HDFS文件操作

本文为在校学习大数据课程期间，对厦门大学林子雨老师大数据技术原理与应用 第三章 分布式文件系统HDFS学习指南一文进行的整理，方便自己学习查看
原文地址为大数据技术原理与应用 第三章 分布式文件系统HDFS学习指南
操作系统为Ubuntu16.04
虚拟机为VirtualBox

一、HDFS文件操作

启动Hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

1.shell命令与HDFS交互

1.1目录操作

第一次使用HDFS时，需要首先在HDFS中创建用户目录。

cd /usr/local/hadoop
./bin/hdfs dfs –mkdir –p /user/hadoop

列出HDFS上所有目录

./bin/hdfs dfs –ls

创建一个input目录

 ./bin/hdfs dfs –mkdir input #相对路径，完整路径为“/user/hadoop/input”

1.2文件操作

使用vim在本地Linux系统“/home/hadoop/”目录下创建一个文件myLocalFile.txt

Hadoop
Spark
XMU DBLAB

本地文件系统的“/home/hadoop/myLocalFile.txt”上传到HDFS中的当前用户目录的input目录

./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input

查看HDFS中input目录下文件

./bin/hdfs dfs –ls input

Found 1 items   
-rw-r--r--   1 hadoop supergroup         36 2022-03-18 10:47 input/ myLocalFile.txt

查看HDFS中myLocalFile.txt这个文件的内容

./bin/hdfs dfs –cat input/myLocalFile.txt

HDFS中myLocalFile.txt文件下载到本地文件系统中的“/home/hadoop/下载/”目录

./bin/hdfs dfs -get input/myLocalFile.txt  /home/hadoop/下载

HDFS中文件从一个目录拷贝到另一个目录中，如将“/user/hadoop/input/myLocalFile.txt”文件，拷贝到HDFS的另外一个目录“/user/hadoop/input01/”中

./bin/hdfs dfs -cp input/myLocalFile.txt  input01

2.运行程序部署

将IDE中java文件打jar包至Linux中/usr/local/hadoop/myapp目录下(jar包导出操作详见置顶原文)

使用hadoop jar命令运行程序

cd /usr/local/hadoop
./bin/hadoop jar ./myapp/HDFSExample.jar
#或者
cd /usr/local/hadoop
java -jar ./myapp/HDFSExample.jar