Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!

1. Hadoop 基本命令

1.1 查看版本信息

hadoop version

用于检查 Hadoop 的版本信息以及编译信息。

1.2 启动和停止 Hadoop 集群

start-dfs.sh
start-yarn.sh
stop-dfs.sh
stop-yarn.sh

start-dfs.shstop-dfs.sh 分别用于启动和停止 HDFS,而 start-yarn.shstop-yarn.sh 用于管理 YARN 服务。

1.3 格式化 HDFS

hdfs namenode -format

首次安装 Hadoop 后,需要格式化 HDFS。这会清除所有数据,因此仅在初次设置或重置集群时执行。

2. HDFS 相关命令

2.1 HDFS 目录与文件管理

  • 列出目录内容:
    hdfs dfs -ls /path/to/directory
  • 创建新目录:
    hdfs dfs -mkdir /path/to/new_directory
  • 上传文件到 HDFS:
    hdfs dfs -put /local/path/to/file /hdfs/path/to/destination
  • 从 HDFS 下载文件:
    hdfs dfs -get /hdfs/path/to/file /local/path/to/destination
  • 删除文件或目录:
    hdfs dfs -rm /hdfs/path/to/file
    hdfs dfs -rm -r /hdfs/path/to/directory
    

2.2 查看文件内容

hdfs dfs -cat /hdfs/path/to/file

用于查看HDFS中文件的内容。

2.3 文件系统检查

hdfs fsck /

检查 HDFS 的健康状况,显示文件、块和副本的分布信息。

3. MapReduce 相关命令

3.1 运行 MapReduce 示例程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

运行 Hadoop 提供的示例程序,这里以 wordcount 为例。

3.2 查看 MapReduce 作业状态

hadoop job -status job_id

用于查询作业的当前状态。

4. YARN 相关命令

4.1 列出所有运行中的应用

yarn application -list

列出所有当前正在 YARN 上运行的应用程序。

4.2 杀死 YARN 应用

yarn application -kill application_id

停止指定的 YARN 应用程序。

4.3 查看应用程序日志

yarn logs -applicationId application_id

获取特定应用程序的日志信息。

5. 其他常用命令

5.1 查看 Hadoop 集群报告

hdfs dfsadmin -report

显示 HDFS 集群的整体健康状况和配置状态。

5.2 安全模式操作

  • 进入安全模式:
    hdfs dfsadmin -safemode enter
  • 离开安全模式:
    hdfs dfsadmin -safemode leave
  • 查看安全模式状态:
    hdfs dfsadmin -safemode get

总结

以上命令涵盖了日常使用 Hadoop 时最常见的操作,掌握这些命令可以帮助你更轻松地管理和维护 Hadoop 集群。通过熟练使用这些命令,你将能够更加自信地应对各种 Hadoop 相关的任务。

你可能感兴趣的:(大数据,Hadoop,容器,大数据,hadoop,分布式)