【Hadoop】HDFS笔记(三):HDFS的Shell操作

HDFS处理文件的命令和Linux命令差不多,但注意区分大小写。

(Linux区分大小写,Windows不区分大小写)

 

一、fs命令

键入命令“./bin/hadoop fs”将输出能够支持的命令列表。

Usage: java FsShell

     [-ls <path>]

     [-lsr <path>]

     [-df <path>]

     [-du [-s] [-h] <path>]

     [-dus <path>]

     [-count [-q] <path>]

     [-mv <src> <dst>]

     [-cp <src> <dst>]

     [-rm [-skipTrash] <path>]

     [-rmr [-skipTrash] <path>]

     [-expunge]

     [-put <localsrc> … <dst>]

     [-copyFromLocal <localsrc> … <dst>]

     [-moveFromLocal <localsrc> … <dst>]

     [-get [-ignoreCrc] [-crc] <src> <localdst>]

     [-getmerge <src> <localdst> [addnl]]

     [-cat <src>]

     [-text <src>]

     [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]

     [-moveToLocal [-crc] <src> <localdst>]

     [-mkdir <path>]

     [-setrep [-R] [-w] <rep> <path/file>]

     [-touchz <path>]

     [-test –[ezd] <path>]

     [-stat [format] <path>]

     [-tail [-f] <file>]

     [-chmod [-R] <MODE[, MODE] … | OCTALMODE> PATH…]

     [-chown [-R] [OWNER] [: [GROUP]] PATH…]

     [-chmod [-R] GROUP PATH…]

     [-help [cmd]]

下面说说最主要的几个命令。

1. 创建文件夹

HDFS上的文件目录结构类似Linux,根目录使用/表示。下面的命令在/user/hadoop目录下建立input。

denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –mkdir /user/hadoop/input

denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –ls /user/hadoop

Found1 items

drwxr-xr-x  - denny supergroup     0  2014-09-21  23:38  /user/hadoop/input

 

2. 上传文件test.txt到input下。

denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –put test.txt /user/hadoop/input

denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –ls /user/hadoop/input

Found1 items

-rw-r--r--1 denny supergroup      75  2014-09-21  23:45  /user/hadoop/input/test.txt

还可以用-copyFromLocal命令。

 

3.查看test.txt文件内容

denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –text /user/hadoop/input/test.txt

helloworld

helloworld…

还可以用-cat、-tail命令查看文件内容,但是对于压缩文件只能用-text参数查看,否则是乱码。

 

4.把test.txt文件复制到本地(下载,导出)

denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –get /user/hadoop/input/test.txt

还可以用-copyToLocal命令。

 

5.删除test.txt文件

denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –rm /user/hadoop/input/test.txt

 

二、namenode命令

运行namenode进行格式化、升级、回滚等操作。

命令选项

功能描述

-format

格式化NameNode,启动NameNode,格式化NameNode,之后关闭NameNode

-upgrade

分发新版本的Hadoop后,NameNode应以upgrade选项启动

-rollback

将NameNode回滚到前一版本。此选项要在停止集群、分发Hadoop旧版本后使用

-finalize

删除文件系统的前一状态。最近的升级会被持久化,rollback选项将再不可用升级终结操作之后,会停掉NameNode

-importCheckPoint

从检查点目录装在镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定

(注:Hadoop集群第一次启动时一定要格式化NameNode,否则NameNode会报错)

 

三、job命令

命令选项

功能描述

-submit <job file>

提交作业

-status <job-id>

打印Map和Reduce完成百分比和所计数器

-counter <job-id> <group-name> <counter-name>

打印计数器的值

-kill <job-id>

杀死指定作业

-events <job-id> <from-event-#> <#-of-events>

打印给定范围内的JobTracker接收到的事件细节

-history [all] <jobOutputDir>

-history <jobOutputDir>用于打印作业细节,失败及被杀死原因细节。更多关于一个作业细节(如成功的任务、做过的任务尝试等信息)可以通过指定[all]选项查看

-list [all]

显示所有作业。-list只显示将要完成的作业

-kill-task <task-id>

杀死任务,被杀死的任务不会不利于失败尝试

-fail-task <task-id>

使任务失败,被失败的任务会对失败尝试不利

 

四、fsck命令

显示块的信息,列出文件系统中各文件由那些块构成。用于和MapReduce作业交互和命令。

命令选项

描述信息

<path>

检查起始的目录

-move

移动受损文件到/lost+found

-delete

删除受损文件

openforwrite

打印写打开的文件

-files

打印正在被检查的文件

-blocks

打印块信息报告

-locations

打印每个块的位置信息

-racks

打印datanode的网络拓扑结构

 

五、pipe命令

该命令用于运行pipe作业。

命令选项

描述信息

-conf <path>

作业的配置

-jobconf <key=value>, <key=value>, …

增加/覆盖作业的配置项

-input <path>

输入目录

-output <path>

输出目录

-jar<jar file>

JAR文件名

-inputformat <class>

InputFormat类

-map <class>

Java Map类

-partitioner <class>

Java Partitioner

-reduce <class>

Java Reduce类

-write <class>

Java RecordWriter

-program <executable>

可执行程序的URI

-reduces <num>

Reduce个数

你可能感兴趣的:(shell,hdfs)