程序设计
package com.wjw.cslg;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WJW01 {
public static void main(String[] args) {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
FileSystem fs = null;
args = new String[2];
args[0] = "hdfs://master:9000/wjw02.txt";
args[1] = "hdfs://master:9000/wjw02";
try{
for(int i=0; i<args.length; i++){
fs = FileSystem.get(URI.create(args[i]), conf);
fs.mkdirs(new Path(args[i]));
}
}catch (IOException e){
e.printStackTrace();
}
}
}
程序分析
本程序是一个Java程序,使用了Hadoop的API,主要功能是在HDFS上创建指定路径的目录。
首先,程序利用Configuration类创建一个配置对象conf,用于指定Hadoop的配置信息。然后利用FileSystem类创建一个文件系统对象fs,用于与HDFS交互。args数组表示用户在命令行中传入的参数,其中args[0]表示要创建的路径,args[1]表示要创建的目录名。
接下来,程序进入for循环语句,遍历args数组中的所有路径。在循环体中,程序调用FileSystem的get()方法获取一个文件系统对象,该方法的参数是一个URI对象和一个配置对象conf。URI对象表示HDFS上的路径,可以通过URI.create()方法创建。创建好文件系统对象后,程序调用mkdirs()方法创建指定的目录。
最后,程序捕获可能的IOException异常,并打印出错误信息。
总体来说,本程序比较简单,主要是熟悉Hadoop API的使用和理解创建HDFS目录的基本原理。
运行结果
程序设计
package com.wjw.cslg;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WJW02 {
public static void main(String[] args) {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
FileSystem fs = null;
args = new String[2];
args[0] = "hdfs://master:9000/wjw02.txt";
args[1] = "hdfs://master:9000/wjw02";
try{
for(int i=0; i<args.length; i++){
fs = FileSystem.get(URI.create(args[i]), conf);
fs.delete(new Path(args[i]));
}
}catch (IOException e){
e.printStackTrace();
}
}
}
程序分析
本程序是一个Java程序,使用了Hadoop的API,主要功能是在HDFS上删除指定路径的文件或目录。
首先,程序利用Configuration类创建一个配置对象conf,用于指定Hadoop的配置信息。然后利用FileSystem类创建一个文件系统对象fs,用于与HDFS交互。args数组表示用户在命令行中传入的参数,其中args[0]表示要删除的路径,args[1]表示要删除的目录名。
接下来,程序进入for循环语句,遍历args数组中的所有路径。在循环体中,程序调用FileSystem的get()方法获取一个文件系统对象,该方法的参数是一个URI对象和一个配置对象conf。URI对象表示HDFS上的路径,可以通过URI.create()方法创建。创建好文件系统对象后,程序调用delete()方法删除指定的文件或目录。
最后,程序捕获可能的IOException异常,并打印出错误信息。
总体来说,本程序也比较简单,主要是熟悉Hadoop API的使用和理解删除HDFS文件或目录的基本原理。需要注意的是,删除文件或目录时,需要确保目标存在并且没有被其他程序或用户锁定,否则会删除失败。
运行结果
程序设计
package com.wjw.cslg;
import java.io.*;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.*;
import org.apache.hadoop.conf.*;
import java.net.*;
public class WJW03 {
public static void main(String[] args) {
// TODO Auto-generated method stub
Configuration conf=new Configuration();
args=new String[1];
args[0]="hdfs://master:9000/wjw01.txt";
conf.set("fs.DefailtFS","hdfs://master:9000/");
FileSystem fs=null;
try{
fs=FileSystem.get(URI.create(args[0]),conf);
FileStatus filestatus[]=fs.listStatus(new Path(args[0]));
for(int i=0;i<filestatus.length;i++){
System.out.println(filestatus[i]);
}
}catch(IOException e){
e.printStackTrace();
}
}
程序分析
本程序是一个Java程序,使用了Hadoop的API,主要功能是在HDFS上获取指定路径下的所有文件或目录。
首先,程序利用Configuration类创建一个配置对象conf,用于指定Hadoop的配置信息。接着,程序使用URI.create()方法创建一个URI对象并将其作为参数传递给FileSystem.get()方法,该方法返回一个FileSystem对象,用于与HDFS交互。args数组表示用户在命令行中传入的参数,其中args[0]表示要获取的路径。
接下来,程序调用FileSystem的listStatus()方法获取指定路径下的所有文件或目录的信息,并将结果存储在一个FileStatus数组中。最后,程序遍历该数组并输出每个文件或目录的信息到控制台。
需要注意的是,程序在创建配置对象conf时,使用了set()方法设置了fs.DefaultFS属性,用于指定Hadoop集群的默认文件系统地址,即"fs.defaultFS",而不是"fs.DefailtFS"(注意单词拼写的正确性)。
总体来说,本程序也比较简单,主要用于熟悉Hadoop API的使用和理解获取HDFS路径下文件或目录信息的基本原理。需要注意的是,listStatus()方法只返回指定路径下的直接子文件或目录的信息,而不会递归地返回所有子文件或目录的信息。如果要获取所有子文件或目录的信息,需要使用递归算法来实现。
运行结果