熟悉常用的HDFS操作

实验环境

ubuntu18.04

实验内容

开启hadoop

当前工作目录

编程实现一下指定功能，并利用Hadoop提供的shell命令完成相同的任务

1. 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已存在，由用户指定是追加到原有文件末尾还是覆盖原有文件

input=$1        #获得第一个参数，也就是需要上传的文件
filename=$(basename $input)     #获得该文件的文件名
dst="/root/update"      #上传的文件目录

if  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -test -e $dst"/"$filename` ;then
        echo "该文件已存在，是否追加到该文件尾部“
        echo "追加到尾部:y 覆盖源文件:n”
        read opt
        case $opt in
                [yY]*)
                        `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -appendToFile  $input $dst"/"$filename`
                ;;
                [nN]*)
                        `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -rm $dst"/"$filename`
                        `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -put $input $dst`
                ;;
                *)
                        echo "input err, shell out"
                ;;
        esac
else
        `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -put $intput $dst`

fi
echo "the shell is completed"

---

2. 从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名

downloadPath=$1 #HDFS中下载的文件的路径
savePath=$2 #保存在本地的路径
downloadFilename=$(basename $downloadPath) #下载的文件的文件名
nowtime=$(date "+%Y%m%d%H%M%S") #获取当前时间
if [ -e $savePath"/"$downloadFilename ]; then
  #如果存在相同文件名文件，则以当前时间当作文件名
  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -get $downloadPath $savePath"/"$nowtime`
  echo "the original filename is existed, now the filename is $savePath"/"$nowtime"
else
  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -get $downloadPath $savePath`
fi
echo "copyOver"

将hdfs系统下/root/update/tag.txt文件复制到当前目录（./）

---

3. 将HDFS中指定的文件的内容输出到终端

filePath=$1		#获得需要指定的HDFS中的文件路径
#echo $filePath
echo `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -cat $filePath`

---

4. 显示HDFS中指定的文件的读写权限，大小，创建时间，路径等信息

bin/hadoop fs -ls /root

or

#codecodecoderr
echo `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -ls $1`

---

5. 给定HDFS中的某一个目录，输出该目录下的所有文件的读写权限，大小，创建时间，路径等信息，如果该文件是目录，则递归输出该目录下的所有文件相关信息。

/root/rDesk/hadoop-3.3.2/bin/hadoop fs -ls -R /root

---

6. 提供一个HDFS中的文件的路径，对该文件进行创建和删除操作，如果文件所在目录不存在，则自动创建目录

#codecodecoderr
path=$1   #获取指定的文件路径
if `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -test -e $path`;then
  echo "the file is exist"
else
  echo "the file is not exist"
  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -mkdir  $path`	
  echo "the dir is created"
fi

---

7. 提供一个HDFS中的文件的路径，对该文件进行创建和删除操作。创建目录时，如果目录文件所在目录不存在这自动创建相应目录，删除目录时，由用户指定当该目录不为空时是否还删除该目录
   进行递归创建文件夹

bin/hadoop fs -mkdir -p /root/update/a/b/c

删除一个文件夹，当不为空的时候指定是否进行删除

bin/hadoop fs -rmdir /root/update/a
当该文件夹不为空任然删除
bin/hadoop fs -rm -r /root/update/a

---

8. 向HDFS中指定的文件追加内容，由用户指定将内容追加到原有文件的开头还是结尾

hdfsPath=$2 #HDFS中指定文件的路径
localPath=./tmp__  #临时本地文件存储路径
type=$1 #操作类型 -h表示追加到开头，-t表示追加到末尾

#判断是否该目录下是否存在tmp__文件，存在删除
if [ -e $localPath ];then
  `rm -rf $localPath`
  fi
case $type in

-h)
  #追加到开头，操作流程：先将HDFS指定文件复制到本地，使用sed命令在开头写入内容，然后删除HDFS的文件，再将编辑好的文件上传到HDFS
  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -copyToLocal $hdfsPath $localPath`
  read -p "输入需要插入的内容:" text
  `sed -i "1 i $text" $localPath`
  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -rm $hdfsPath`
  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -put $localPath $hdfsPath`
  `rm -rf $localPath`
  ;;
-t)
  #策略：以输入的文件内容在本地临时创建一个文件，然后使用appendToFile命令将该文件内容追加到HDFS指定文件末尾
  read -p "输入需要追加到末尾的内容:" text
  `echo $text > $localPath`
  `/root/rDesk/hadoop-3.3.2/bin/hadoop fs -appendToFile $localPath $hdfsPath`
  `rm -rf $localPath`
  ;;
*)
  echo "llxxx操作数错误xxxll"
  ;;
esac
echo "Over"

---

9. 删除HDFS中指定的文件

删除指定文件
bin/hadoop fs -rm /root/update/tag.txt
删除指定空目录
bin/hadoop fs -rmdir /root/update/new

---

10. 在HDFS中将文件从源路径移动到目的路径

bin/hadoop fs -cp /root/update/tag.txt /root

资料参考

https://www.jianshu.com/p/52e16e9ce24e
https://blog.csdn.net/weixin_43215948/article/details/107290768
http://c.biancheng.net/view/2767.html
https://blog.csdn.net/Olivia_Vang/article/details/104081096
https://blog.csdn.net/weixin_39962758/article/details/116929907