集群HDFS文件操作（客户端开发java）

1 环境

1.1 win10专业版下编译过的hadoop jar包

1.2 配置HADOOP_HOME环境变量

1.3 配置Path环境变量

2.测试程序

2.1创建一个Maven工程(博主的工程名为：HdfsTest)

2.2导入相应的依赖坐标

<dependencies>
		<dependency>
			<groupId>junitgroupId>
			<artifactId>junitartifactId>
			<version>RELEASEversion>
		dependency>
		<dependency>
			<groupId>org.apache.logging.log4jgroupId>
			<artifactId>log4j-coreartifactId>
			<version>2.8.2version>
		dependency>
		<dependency>
			<groupId>org.apache.hadoopgroupId>
			<artifactId>hadoop-commonartifactId>
			<version>2.7.2version>
		dependency>
		<dependency>
			<groupId>org.apache.hadoopgroupId>
			<artifactId>hadoop-clientartifactId>
			<version>2.7.2version>
		dependency>
		<dependency>
			<groupId>org.apache.hadoopgroupId>
			<artifactId>hadoop-hdfsartifactId>
			<version>2.7.2version>
		dependency>
dependencies>

2.3 创建包名（com.lsl.hdfs）和类(HdfsClient)写一个测试方方法testMkdirs

2.3.1 获取文件系统

Configuration configuration = new Configuration();

2.3.2 配置在集群上运行

//hadoop102如果没配置Windows的映射是访问不到的，可以写节点的ip地址
configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
FileSystem fs = FileSystem.get(configuration);

2.3.3 创建目录

fs.mkdirs(new Path("/daxian/nide"));

2.3.4 关闭资源

fs.close();

2.3.5 总代码

public class HdfsClient{	
@Test
public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{		
		// 1 获取文件系统
		Configuration configuration = new Configuration();
		// 配置在集群上运行
		// configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
		// FileSystem fs = FileSystem.get(configuration);

		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "lsl");
		
		// 2 创建目录
		fs.mkdirs(new Path("/daxian/nide"));
		
		// 3 关闭资源
		fs.close();
	}
}

2.4 运行

1.右击类名 Run As ==》 Run Configurations…

2.自定义项目名=>Arguments=>VM arguments

3.最后在集群上查看文件夹是否创建成功

版权声明：本博客为记录本人自学感悟，转载需注明出处！
https://me.csdn.net/qq_39657909