Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接

HDFSHadoop的分布式文件系统,负责海量数据的存取
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第1张图片
HDFS系列文章请参考:

  • 一、HDFS 概述 | 优缺点 | 组成架构 | 文件块大小
  • 二、HDFS 常用Shell命令 | 图文详解
  • 三、HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接
  • 四、HDFS API 操作图文详解及参数解读
  • 五、HDFS 读写流程 | 图文详解
  • 六、HDFS | NameNode和SecondaryNameNode的工作机制
  • 七、HDFS | DataNode工作机制 | 数据完整性 | 掉线时限参数设置

文章目录

  • 一、下载Hadoop客户端环境
  • 二、配置Hadoop环境变量
  • 三、在IDEA创建Maven工程


一、下载Hadoop客户端环境

Hadoop客户端环境与所需要微软运行库

链接:https://pan.baidu.com/s/1pjDSImaztgGUIOj7dMUTEQ
提取码:7qrk

二、配置Hadoop环境变量

将下载的Hadoop依赖包放在一个非中文且不能有空格存在的路径中!
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第2张图片
右键单击此电脑=>属性=>高级系统设置=>高级=>环境变量,到如下图所示的界面:
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第3张图片
点击系统变量下的新建,输入:

  • 变量名:HADOOP_HOME
  • 变量值:D:\opt\hadoop-3.1.0(你的安装目录)
    Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第4张图片

点击确定,在系统变量对话框中找到Path,选中它,点击下面的编辑,之后会弹出一个界面,然后点击新建,复制以下内容到里面去:

%HADOOP_HOME%\bin

最后点击确定

Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第5张图片

这时候环境变量就算配置好了,验证一下环境:

找到hadoop安装目录,打开bin,找到winutils.exe,双击它:
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第6张图片
双击之后,如果一闪而过就表示安装成功了!

如果出现以下报错:
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第7张图片
这表示缺少一些微软的运行库,直接安装就好了,安装包都在最上面的连接里面,双击安装重启电脑,再次运行就成功了!

三、在IDEA创建Maven工程

打开IDEA,点击新建工程,然后选择Maven
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第8张图片
然后点击Next
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第9张图片
点击下一步,选择工程存放位置:
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第10张图片
点击Finish即可。

打开之后一定要把Maven改为自己的Maven:(如果没有搭建自己的Maven环境,可以参照我的另一篇博客搭建环境,点击这串文字前往连接!)
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接_第11张图片

然后,打开pom.xml,将以下依赖粘贴到中:


<dependency>
	<groupId>org.apache.hadoopgroupId>
	<artifactId>hadoop-clientartifactId>
	<version>3.1.3version>
dependency>

<dependency>
	<groupId>junitgroupId>
	<artifactId>junitartifactId>
	<version>4.12version>
dependency>

<dependency>
	<groupId>org.slf4jgroupId>
	<artifactId>slf4j-log4j12artifactId>
	<version>1.7.30version>
dependency>

然后在src/resources目录下,创建文件:log4j.properties,粘贴以下内容:

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

HadoopAPI相关操作将在下篇博客中详解!

你可能感兴趣的:(大数据学习笔记,Hadoop,maven,大数据,log4j,hadoop,hdfs)