HDFS常用命令及使用Big Data Tools操作HDFS

一键启动和停止

# 一键启动
start-dfs.sh
# 一键停止
stop-dfs.sh

单进程启动和停止

#格式 hdfs --daemon (start|status|stop) (namenode|datanoded|secondarynamenode)
# 启动
hdfs --daemon start datanode
# 停止
hdfs --daemon stop datanode

文件上传

老版本命令：hadoop fs -put test.txt /
新版本命令：hdfs dfs -put test.txt /

# 上传-f 强制覆盖
hadoop fs -put test.txt /
# 负责本地文件到hdfs
hadoop fs -copyFromLocal test.txt /
# 移动本地文件到hdfs
hadoop fs -moveFromLocal test.txt /
# 追加文件到test.txt中
hadoop fs -appendToFile ./hello.txt /test.txt

文件下载

hadoop fs -get /test.txt ./
hadoop fs -copyToLocal /test.txt ./
# 将多个文件下载到1.txt中
hadoop fs -getmerge /*.txt ./1.txt 

hdfs的其他命令操作

其他的操作与linux命令类似，大概过一下就OK了

# 创建目录
hadoop fs -mkdir /pipi
# 创建目录的全路径
hadoop fs -mkdir hdfs://node1:8020/pipi
# 在linux机器上创建文件夹的全路径
hadoop fs -mkdir file:///home/itheima
# 查看列表
hadoop fs -ls /
# 查看文件，查看大文件时建议加上 | more
hadoop fs -cat /test.txt
# 复制文件
hadoop fs -cp
# 移动文件
hadoop fs -mv

使用Big Data Tools连接HDFS操作文件

通过pycharm(JetBrains的其他idea同样可以)的插件平台下载Big Data Tools

下载后重启pycharm,在右侧找到插件并进行连接操作

连接完成后你就可以像操作本地文件一样进行文件的增删改查的工作了